JP2020166537A - Moving body display system and moving body display program - Google Patents
Moving body display system and moving body display program Download PDFInfo
- Publication number
- JP2020166537A JP2020166537A JP2019066209A JP2019066209A JP2020166537A JP 2020166537 A JP2020166537 A JP 2020166537A JP 2019066209 A JP2019066209 A JP 2019066209A JP 2019066209 A JP2019066209 A JP 2019066209A JP 2020166537 A JP2020166537 A JP 2020166537A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- vehicle
- sight
- line
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、運転者に移動体を視認させる移動体表示システムおよび移動体表示プログラムに関する。 The present invention relates to a mobile display system and a mobile display program that allow a driver to visually recognize a moving body.
従来、車両の周囲に存在する移動体に関する警告を表示する技術が知られている。例えば、特許文献１には、視認困難な物体や危険度が所定危険度を超えている物体の画像を拡大して表示する技術が開示されている。 Conventionally, there is known a technique for displaying a warning about a moving body existing around a vehicle. For example, Patent Document 1 discloses a technique for enlarging and displaying an image of an object that is difficult to see or an object whose risk level exceeds a predetermined risk level.
従来の技術においては、視認性の難度が所定難度を超えている場合に拡大画像のコントラストを高くする構成や、危険度が所定危険度を超えている場合に拡大画像の外周部の表示状態を変化させる構成等が開示されている。しかし、視認性の難度や危険度が同一である場合に表示態様を変化させることは開示されていない。 In the conventional technology, the contrast of the enlarged image is increased when the difficulty level of visibility exceeds the predetermined difficulty level, and the display state of the outer peripheral portion of the enlarged image is displayed when the risk level exceeds the predetermined risk level. The configuration to be changed is disclosed. However, it is not disclosed that the display mode is changed when the difficulty and the risk of visibility are the same.
そして、視認性の難度や危険度が同一である場合に、一律の内容で警告が行われると、運転者は移動体を認識しづらいことがあった。例えば、運転者が認識し得る範囲から遠い位置に存在する移動体が、他の位置にいる移動体と同じように、例えば、拡大表示されても、運転者は当該拡大表示に気づかない可能性がある。
本発明は、前記課題にかんがみてなされたもので、運転者に対して効果的な警告が行われる可能性を高める技術の提供を目的とする。
Then, when the difficulty level of visibility and the degree of danger are the same, if a warning is given with a uniform content, it may be difficult for the driver to recognize the moving body. For example, even if a moving object located at a position far from the driver's recognizable range is enlarged in the same manner as a moving object at another position, the driver may not notice the enlarged display. There is.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for increasing the possibility that an effective warning is given to a driver.
上記の目的を達成するため、移動体表示システムは、車両の運転者の視線の方向を検出する視線検出部と、車両の周囲に存在し、車両に影響を与える既定の動作を行っている移動体を検出する移動体検出部と、車両の前方の実風景に重畳された画像を運転者に視認させる表示部と、を備え、表示部は、視線の方向と移動体の位置との関係に応じた表示態様で移動体を示す画像を運転者に視認させる・ In order to achieve the above objectives, the mobile display system includes a line-of-sight detector that detects the direction of the line-of-sight of the driver of the vehicle, and a movement that exists around the vehicle and performs a predetermined operation that affects the vehicle. It includes a moving body detection unit that detects the body and a display unit that allows the driver to visually recognize an image superimposed on the actual landscape in front of the vehicle. The display unit determines the relationship between the direction of the line of sight and the position of the moving body. Make the driver visually recognize the image showing the moving object in the corresponding display mode.
また、上記の目的を達成するため、移動表示プログラムは、コンピュータを、車両の運転者の視線の方向を検出する視線検出部、車両の周囲に存在し、車両に影響を与える既定の動作を行っている移動体を検出する移動体検出部、車両の前方の実風景に重畳された画像を運転者に視認させる表示部、として機能させる移動体表示プログラムであって、表示部は、視線の方向と移動体の位置との関係に応じた表示態様で移動体を示す画像を運転者に視認させるようにコンピュータを機能させる。 Further, in order to achieve the above object, the movement display program has a computer, a line-of-sight detection unit that detects the direction of the line-of-sight of the driver of the vehicle, and a predetermined operation that exists around the vehicle and affects the vehicle. It is a moving body display program that functions as a moving body detection unit that detects a moving body and a display unit that allows the driver to visually recognize an image superimposed on the actual scenery in front of the vehicle. The display unit is the direction of the line of sight. The computer is made to function so that the driver can visually recognize an image showing the moving body in a display mode according to the relationship between the moving body and the position of the moving body.
すなわち、移動体表示システム、移動表示プログラムにおいては、運転者の視線の方向と移動体の位置との関係が異なると、運転者が移動体の存在を認識するまでの思考過程が異なる。例えば、運転者の視線の方向と移動体の方向とが大きく異なる場合、運転者が移動体を認識するためには、視野を広くする意識をするか、視線の方向を変化させる必要がある。一方、運転者の視線の方向に遮蔽物が存在する場合、遮蔽物の先に移動体が存在する場合に備えた危険予知をする意識を持つと、遮蔽物の先に存在する移動体に気づきやすくなる。 That is, in the mobile display system and the mobile display program, if the relationship between the direction of the driver's line of sight and the position of the moving body is different, the thinking process until the driver recognizes the existence of the moving body is different. For example, when the direction of the driver's line of sight and the direction of the moving body are significantly different, in order for the driver to recognize the moving body, it is necessary to be conscious of widening the field of view or to change the direction of the line of sight. On the other hand, when there is a shield in the direction of the driver's line of sight, if you are conscious of predicting danger in case there is a moving object in front of the shield, you will notice the moving object in front of the shield. It will be easier.
従って、運転者の視線の方向と移動体の位置との関係が異なる場合、運転者に対して移動体を意識させるための効果的な警告方法は異なり得る。そこで、視線の方向と移動体の位置との関係に応じた表示態様で移動体を示す画像を運転者に視認させる構成とすれば、運転者に対して効果的な警告が行われる可能性を高めることができる。 Therefore, when the relationship between the direction of the driver's line of sight and the position of the moving body is different, the effective warning method for making the driver aware of the moving body may be different. Therefore, if the driver is configured to visually recognize the image showing the moving body in a display mode according to the relationship between the direction of the line of sight and the position of the moving body, an effective warning may be given to the driver. Can be enhanced.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）移動体表示システムの構成：
（２）移動体表示処理：
（２−１）見えない判定処理：
（２−２）見ていない判定処理：
（３）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of mobile display system:
(2) Mobile display processing:
(2-1) Invisible judgment process:
(2-2) Judgment process not seen:
(3) Other embodiments:
（１）移動体表示システムの構成：
図１は、本発明の一実施形態にかかる移動体表示システムを含む移動体表示システム１０の構成を示すブロック図である。移動体表示システム１０は、車両に備えられており、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０、記録媒体３０を備えている。移動体表示システム１０は、記録媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。
(1) Configuration of mobile display system:
FIG. 1 is a block diagram showing a configuration of a
記録媒体３０には、予め構造物情報３０ａが記録されている。構造物情報３０ａは、車内の構造物の３次元モデルを示す情報であり、少なくとも、車両の構造物の最外面を構成する表面の形状を、３次元仮想空間内で特定可能な情報である。本実施形態においては、ポリゴンによって表面の形状が特定されるが、構造物情報３０ａのフォーマットは種々のフォーマットであってよい。
The
構造物情報３０ａは、少なくとも、運転者の視線の延長上に存在し得る車両の構造物であれば良く、車両全体の構造物を示していてもよいし、運転者が視認し得る範囲に存在する構造物を示していてもよい。運転者の視線は主に車室を構成する構造物に遮蔽され得るため、車室内の構造物が構造物情報３０ａに含まれるが、車室外に存在する構造物、例えばボンネットやバックミラーが運転者の視線の方向に存在し得る場合、これらの構造物を示す情報が構造物情報３０ａに含まれ得る。また、車両の構造物には、後述するＨＵＤ４２による画像の表示対象となる部位（フロントガラス等）が含まれ、当該部位には構造物が透明であることを示す情報が対応づけられている。
The
本実施形態における車両は、視線検出センサ４０とカメラ４１とＨＵＤ（Head-Up Display）４２と表示デバイス４３とを備えている。視線検出センサ４０は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された運転者の眼の像に基づいて、眼の位置および運転者の視線の方向（ベクトル）を検出し、出力する。
The vehicle in this embodiment includes a line-of-
制御部２０は、当該出力に基づいて、予め定義された３次元空間内で眼の位置および視線の方向を特定することができる。視線の方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線の方向の平均値等によって運転者の視線の方向を１方向に特定することができるが、視線の方向の特定方法も種々の方法が採用され得る。
Based on the output, the
カメラ４１は、車両の前方に向けられており、運転者の視野内の画像を取得する装置である。制御部２０は、当該カメラ４１の出力する画像を取得し、特徴量の抽出等によって画像を解析することによって車両の周辺に存在する移動体を検出することができる。ＨＵＤ４２は、車両に搭載された投影部からの出力光によって車両のフロントガラスに任意の情報を投影する装置であり、制御部２０からの指示によりフロントガラスの所望の位置に任意の情報を表示することが可能である。
The
表示デバイス４３は、車室内に設けられており、各種の情報を表示するディスプレイを有する装置である。表示デバイス４３は、複数の装置を含み得る。すなわち、運転者の正面に設置されるインストルメントパネルや、車室内の前方中央に設置されるナビゲーションシステムが表示デバイス４３となり得る。本実施形態において、制御部２０は、表示デバイス４３に対して指示を行い、各種の情報を表示させることができる。なお、表示デバイス４３は、何らかの情報を表示可能なディスプレイを有していればよく、本実施形態においては、ＨＵＤ４２も表示デバイス４３に含まれ得る。
The
本実施形態において制御部２０は、以上の構成を利用して、車両の周囲に存在する移動体に関する警告のための表示を行うことができる。このために、制御部２０は、移動体表示プログラム２１を実行することが可能である。移動体表示プログラム２１は、視線検出部２１ａと移動体検出部２１ｂと表示部２１ｃとを備えている。
In the present embodiment, the
視線検出部２１ａは、車両の運転者の視線の方向を検出する機能を制御部２０に実行させるプログラムモジュールである。本実施形態において制御部２０は、視線検出センサ４０の出力に基づいて、利用者の眼の位置および視線の方向を取得する。制御部２０は、視線検出センサ４０の検出結果が表現される座標系から、車両の構造物が表現される座標系への座標変換等を利用し、車両の構造物の３次元形状を表現するための３次元仮想空間内で利用者の眼の位置および視線の方向を特定する。
The line-of-
移動体検出部２１ｂは、車両の周囲に存在し、車両に影響を与える既定の動作を行っている移動体を検出する機能を制御部２０に実行させるプログラムモジュールである。本実施形態において、制御部２０は、カメラ４１の出力信号に基づいて移動体を検出する。具体的には制御部２０は、カメラ４１で連続的に撮影された画像を取得し、移動体（例えば、歩行者、４輪車、２輪車等）の特徴が含まれるか否か判定することにより、移動体の画像を検出する。
The moving
なお、画像内の特徴に基づく移動体の検出は、種々の手法で実施されてよく、例えば、画像から直線を抽出することによって道路を検出し、道路に接したタイヤの特徴を有する部分が検出されることで車両が検出される構成や、ヘッドライト等の特徴に基づいて車両が検出される構成など、種々の構成が採用されてよい。歩行者も同様に、路面上のオブジェクトの形状や色、動作等の特徴に基づいて歩行者が検出される構成等を採用可能である。むろん、各種のテンプレートマッチングを利用した検出や、ＹＯＬＯ（You Only Look Once）等の人工知能を利用した検出等が行われてもよい。 The detection of the moving body based on the features in the image may be carried out by various methods. For example, the road is detected by extracting a straight line from the image, and the portion having the features of the tire in contact with the road is detected. Various configurations may be adopted, such as a configuration in which the vehicle is detected by the operation, and a configuration in which the vehicle is detected based on features such as headlights. Similarly, pedestrians can adopt a configuration in which pedestrians are detected based on characteristics such as the shape, color, and movement of objects on the road surface. Of course, detection using various template matching, detection using artificial intelligence such as YOLO (You Only Look Once), and the like may be performed.
本実施形態においては、カメラ４１で撮影される画像内の位置毎に、当該位置に像が存在する物体と車両との位置関係（方向および距離）が予め特定されている。従って、制御部２０は、カメラ４１が出力した画像内における移動体の位置に基づいて車両からみた移動体の方向と、移動体までの距離を取得することができる。車両から見た移動体の方向および距離が特定されると、当該方向および距離を表現する座標系と、車両の構造物を表現するために利用される座標系との間の座標変換により、車両の構造物を表現するために利用される３次元仮想空間内で、移動体の位置を表現することが可能である。従って、車両の構造物を表現するために利用される３次元仮想空間内で運転者の眼の位置を特定すれば、運転者から見た移動体の方向および距離を特定可能である。
In the present embodiment, for each position in the image captured by the
なお、本実施形態において制御部２０は、移動体の輪郭の複数の位置（例えば、上下左右に存在する複数の位置）について、運転者から見た移動体の方向および距離を特定する。この結果、制御部２０は、運転者から移動体を見た場合に移動体が視認される角度範囲を特定する。
In the present embodiment, the
本実施形態において、制御部２０は、警告の対象となる移動体を検出するように構成されている。すなわち、制御部２０は、移動体が車両に影響を与える既定の動作を行っている場合に、当該移動体を警告の対象として検出する。具体的には、移動体が車両に近づいている場合、制御部２０は、当該移動体が車両に影響を与えるとみなす。このために、制御部２０は、各移動体と車両との距離の時間変化を特定し、距離が時間とともに減少している移動体を警告の対象として検出する。
In the present embodiment, the
表示部２１ｃは、車両の前方の実風景に重畳された画像を運転者に視認させる機能を制御部２０に実行させるプログラムモジュールであり、本実施形態において、制御部２０は、視線の方向と移動体の位置との関係に応じた表示態様で移動体を示す画像を運転者に視認させる。すなわち、制御部２０は、表示部２１ｃの機能により、ＨＵＤ４２を制御し、車両の周囲に存在し、車両に影響を与える既定の動作を行っている移動体を示す画像を運転者に認識させることで、当該移動体を運転者に対して警告する。
The
本実施形態において制御部２０は、ＨＵＤ４２によって移動体を示すアイコンを表示させることで運転者に対して警告する。当該警告の表示態様は、視線の方向と移動体の位置との関係に応じて異なる。具体的には、制御部２０は、視線を移動体に向けた場合に移動体と眼との間に移動体を遮蔽する車両の構造物が存在する、見えない関係である場合と、視線の方向を含む既定の範囲の外に移動体が存在する、見ていない関係である場合と、で異なる表示態様で移動体を示す画像を運転者に視認させる。双方の関係を満たす場合、いずれか一方、例えば見えない関係である場合の表示態様で、移動体を示す画像を運転者に視認させる。
In the present embodiment, the
制御部２０は、視線の方向と移動体の位置との関係に基づいて、見えない関係、見ていない関係のいずれであるのかを特定する。なお、本実施形態において制御部２０は、運転者がフロントガラスを通して外を見ている状態において、視線の方向と移動体の位置との関係に応じてアイコンの表示態様を変化させる。このため、制御部２０は、視線の方向に車両の構造物が存在する場合（運転者が車両の構造物を見ていると推定される場合）は例外としての表示態様で移動体に関する表示を行う。
The
本実施形態において、見えない関係は、視線を移動体に向けた場合に移動体と眼との間に移動体を遮蔽する車両の構造物が存在するような関係である。そこで、制御部２０は、車両の構造物を規定する３次元仮想空間内に運転者の眼の位置を配置する。また、制御部２０は、当該眼の位置を起点とし、視線を移動体に向けた場合の方向に相当する直線を３次元仮想空間内で定義する。さらに、制御部２０は、構造物情報３０ａに基づいて、車両の構造物を３次元仮想空間に配置する。この結果、視線を移動体に向けた場合の方向に相当する直線が車両の構造物と交差する場合、制御部２０は、当該移動体が見えない関係にあるとみなす。
In the present embodiment, the invisible relationship is such that when the line of sight is directed toward the moving body, there is a vehicle structure that shields the moving body between the moving body and the eyes. Therefore, the
図２Ａは、車両の周囲に存在する他の車両Ｃｏが見えない関係にある場合の例を示している。図２Ａにおいては、車両の右前方に存在する他の車両Ｃｏを破線で示し、当該他の車両ＣｏがピラーＰ1に遮蔽されている状態を模式的に示している。このように、車両の周囲の移動体が、ピラーＰ1等の車両の構造物に遮蔽されている場合、制御部２０は、視線の方向と、車両の構造物の３次元情報に基づいて運転者にとって移動体が見えない関係であると特定する。
FIG. 2A shows an example in which other vehicle Cos existing around the vehicle are invisible. In FIG. 2A, another vehicle Co existing in the right front of the vehicle is shown by a broken line, and a state in which the other vehicle Co is shielded by the pillar P 1 is schematically shown. Operation in this manner, mobile around the vehicle, if it is blocked by the structure of the vehicle such as the pillar P 1, the
本実施形態において、見ていない関係は、視線の方向を含む既定の範囲の外に移動体が存在するような関係である。本実施形態において既定の範囲は、当該既定の範囲内に存在する移動体であれば、運転者がその存在を認識していると推定できる範囲（認識範囲）である。既定の範囲は、種々の手法によって定義されてよいが、本実施形態においては、視線方向を中心とした楕円の範囲が既定の範囲とされる。すなわち、運転者の前方の既定距離に、視線方向に垂直な面が仮想的に想定され、当該面に視線方向を中心とした楕円を描画した場合に、運転者の眼の位置と当該楕円の境界とを結ぶ範囲が既定の範囲である。なお、本実施形態において、既定の範囲は運転者の視野よりも狭い範囲である。 In the present embodiment, the unseen relationship is such that the moving body exists outside the predetermined range including the direction of the line of sight. In the present embodiment, the default range is a range (recognition range) in which it can be estimated that the driver recognizes the existence of a moving body that exists within the predetermined range. The default range may be defined by various methods, but in the present embodiment, the range of the ellipse centered on the line-of-sight direction is defined as the default range. That is, when a plane perpendicular to the line-of-sight direction is virtually assumed at a predetermined distance in front of the driver and an ellipse centered on the line-of-sight direction is drawn on the plane, the position of the driver's eyes and the ellipse are drawn. The range connecting the boundary is the default range. In this embodiment, the default range is narrower than the driver's field of view.
移動体検出部２１ｂの機能によって検出された、運転者から移動体を見た場合に移動体が視認される角度範囲が既定の範囲に含まれない場合、制御部２０は、見ていない関係であるとみなす。図２Ｂは、車両の周囲に存在する他の車両Ｃｏが見ていない関係にある場合の例を示している。図２Ｂにおいては、車両が走行中の道路に向けて他の車両Ｃｏが走行している状態を示している。また、視線の方向を符号Ｄｅによって示し、既定の範囲Ｚｅを破線によって示している。このように、他の車両Ｃｏが既定の範囲Ｚｅから離れており、運転者から他の車両Ｃｏを見た場合に他の車両Ｃｏが視認される角度範囲が既定の範囲Ｚｅに含まれない場合、制御部２０は、運転者の視線の方向と他の車両Ｃｏの位置との関係は、見ていない関係であると特定する。
If the angle range in which the moving body is visible when the driver sees the moving body, which is detected by the function of the moving
視線の方向と移動体の位置との関係が見えない関係である場合、本実施形態において制御部２０は、見えない移動体の存在を示すアイコンを移動体の近傍に表示させる。すなわち、制御部２０は、見えない関係であると判定された移動体の位置に基づいて、ＨＵＤ４２の表示領域の中から当該移動体の位置に隣接する領域を表示位置として特定する。そして、制御部２０は、見えない移動体の存在を示すアイコンを当該領域に表示させる。この結果、見えない位置に存在する移動体の近傍にアイコンが表示される。
When the relationship between the direction of the line of sight and the position of the moving body is invisible, the
図２Ａにおいては、ピラーＰ1に遮蔽された他の車両Ｃｏの近傍のフロントガラス上に、他の車両Ｃｏの存在を示すアイコンＩ1が表示されている例を示している。すなわち、アイコンＩ1においては、車両を模式的に示す画像が枠の中に表示されており、ピラーＰ1によって車両が遮蔽されていることが示されている。また、枠内の車両の下方には車両が移動してくることが、連なって表現された３個の三角形の頂点の向きによって示されている。なお、移動体の種類は、移動体検出部２１ｂによって検出された移動体の特徴に基づいて特定可能であり、移動体の移動方向は、移動体検出部２１ｂによって検出された移動体の位置の推移によって特定可能である。
FIG. 2A shows an example in which an icon I 1 indicating the presence of another vehicle Co is displayed on the windshield in the vicinity of the other vehicle Co shielded by the pillar P 1 . That is, in the icon I 1 , an image schematically showing the vehicle is displayed in the frame, and it is shown that the vehicle is shielded by the pillar P 1 . In addition, the movement of the vehicle below the vehicle in the frame is indicated by the directions of the vertices of the three triangles expressed in a row. The type of the moving body can be specified based on the characteristics of the moving body detected by the moving
図２Ａに示す例のように、車両の構造物に移動体が遮蔽されている場合、運転者が、遮蔽物の先に移動体が存在する場合に備えた危険予知をする意識を持つと、遮蔽物の先に存在する移動体に気づきやすくなる。このような場合において、遮蔽された移動体の近傍にアイコンＩ1が表示されると、運転者が遮蔽物の先に移動体が存在すると気づくことができ、見ようとしても見えない状態にある移動体に容易に気づくことができる。また、本実施形態においてアイコンＩ1は、移動体の近傍に表示され、後述するアイコンＩ2のように移動しない。従って、アイコンＩ1は死角に存在する移動体の近傍に表示され続け、当該移動体に対する警告を実行し続けることになる。この結果、運転者は容易に移動体に気づくことができる。 As in the example shown in FIG. 2A, when the moving body is shielded by the structure of the vehicle, the driver is conscious of predicting the danger in case the moving body is present in front of the shield. It becomes easier to notice the moving object that exists in front of the shield. In such a case, when the icon I 1 is displayed in the vicinity of the shielded moving body, the driver can notice that the moving body exists in front of the shield, and the movement is invisible even if he / she tries to see it. You can easily notice it on your body. Further, in the present embodiment, the icon I 1 is displayed in the vicinity of the moving body and does not move like the icon I 2 described later. Therefore, the icon I 1 will continue to be displayed in the vicinity of the moving body existing in the blind spot, and will continue to execute the warning for the moving body. As a result, the driver can easily notice the moving body.
視線の方向と移動体の位置との関係が見ていない関係である場合、本実施形態において制御部２０は、見られていない移動体が移動していることを示すアイコンを移動体に関連づけて表示させる。すなわち、制御部２０は、見ていない関係とされた移動体の前方に当該移動体が移動していることを示すアイコンを表示させる。
When the relationship between the direction of the line of sight and the position of the moving body is not seen, the
本実施形態において、移動体が移動していることを示すアイコンは、移動体の進行方向を示す矢印であり、かつ、当該移動体の前方の位置を起点として当該移動体の進行方向に向けて移動するアイコンである。このようなアイコンを表示するため、制御部２０は、移動体検出部２１ｂによって検出された移動体の方向および距離の変化から移動体の移動方向を特定する。
In the present embodiment, the icon indicating that the moving body is moving is an arrow indicating the traveling direction of the moving body, and the position in front of the moving body is the starting point and is directed toward the traveling direction of the moving body. It is an icon to move. In order to display such an icon, the
さらに、制御部２０は、移動体の移動方向に基づいて、当該移動体の前方の領域を特定する。さらに、制御部２０は、構造物情報３０ａを参照し、ＨＵＤ４２による画像の表示対象となるフロントガラスの位置および形状を特定する。さらに、制御部２０は、移動体の前方の領域と運転者の眼の位置とを結ぶ線が、フロントガラスと交わる交点を取得する。そして、制御部２０は、ＨＵＤ４２を制御し、当該交点に、アイコンを表示させる。また、制御部２０は、ＨＵＤ４２を制御し、当該アイコンを移動体の移動方向（移動体の移動方向に移動するアイコンをフロントガラスに投影した方向）に向けて移動させる。
Further, the
図２Ｂにおいては、車両が走行中の道路に向けて移動中している他の車両Ｃｏの前方に相当するフロントガラス上の位置に、他の車両Ｃｏの存在を示すアイコンＩ2が表示されている例を示している。アイコンＩ2は、連なって表現された３個の三角形の頂点の向きによって車両が移動していることを示している。また、当該アイコンＩ2は、他の車両Ｃｏの移動速度よりも早く他の車両Ｃｏの移動方向に移動するように表示される。従って、アイコンＩ2は、他の車両Ｃｏの移動方向を示している。当該アイコンＩ2の移動によって示される動画は、例えば、既定の範囲内や視線の位置まで移動された後、繰り返して表示されてもよい。なお、アイコンＩ2は、他の車両Ｃｏの直前の位置に表示され、最初の表示位置を起点に移動することにより、移動体に関連づけて表示されていると言える。 In FIG. 2B, an icon I 2 indicating the presence of another vehicle Co is displayed at a position on the windshield corresponding to the front of the other vehicle Co moving toward the road on which the vehicle is traveling. An example is shown. Icon I 2 indicates that the vehicle is moving according to the orientation of the vertices of the three triangles represented in a row. Further, the icon I 2 is displayed so as to move in the moving direction of the other vehicle Co faster than the moving speed of the other vehicle Co. Therefore, the icon I 2 indicates the moving direction of the other vehicle Co. The moving image indicated by the movement of the icon I 2 may be displayed repeatedly after being moved to a predetermined range or a line-of-sight position, for example. It can be said that the icon I 2 is displayed at a position immediately before the other vehicle Co, and is displayed in association with the moving body by moving from the first display position as the starting point.
図２Ｂに示す例のように、既定の範囲の外部に移動体が存在する場合、運転者が移動体を認識するためには、視野を広くする意識をするか、視線の方向を変化させる必要がある。このような場合において、移動体に関連づけられて移動するアイコンＩ2が表示されると、運転者の注意が移動体に引き寄せられやすくなる。従って、運転者は、見ていなかった移動体に気づきやすくなる。また、本実施形態においてアイコンＩ2は、移動体の前方に表示されるのみならず、移動体の前方に表示された後に、移動体の移動方向に向けて移動する。従って、単に移動体の前方に表示される構成と比較して運転者は容易に移動体に気づくことができる。 As in the example shown in FIG. 2B, when the moving body exists outside the predetermined range, the driver needs to be conscious of widening the field of view or changing the direction of the line of sight in order to recognize the moving body. There is. In such a case, when the icon I 2 that moves in association with the moving body is displayed, the driver's attention is easily drawn to the moving body. Therefore, the driver can easily notice the moving object that he has not seen. Further, in the present embodiment, the icon I 2 is not only displayed in front of the moving body, but also moves in the moving direction of the moving body after being displayed in front of the moving body. Therefore, the driver can easily notice the moving body as compared with the configuration simply displayed in front of the moving body.
図２Ｂに示す例において、運転者の視線の方向Ｄｅは車両の直進方向を向いており、見られていない移動体が移動していることを示すアイコンは、移動体側から運転者の視線の方向を含む既定の範囲に向けて移動するアイコンであると言える。移動体を示すアイコンをこのように表示させれば、アイコンが運転者の認識範囲に移動してくることになる。従って、運転者は容易にアイコンに気づくことができ、容易に移動体に気づくことができる。 In the example shown in FIG. 2B, the driver's line-of-sight direction De points in the straight-ahead direction of the vehicle, and the icon indicating that the unseen moving body is moving is the direction of the driver's line of sight from the moving body side. It can be said that it is an icon that moves toward the default range including. If the icon indicating the moving object is displayed in this way, the icon will move to the recognition range of the driver. Therefore, the driver can easily notice the icon and can easily notice the moving object.
以上の構成によれば、運転者が移動体の存在を認識するまでの思考過程に応じて、運転者が移動体に気づきやすくなるように移動体を示す画像を表示することができる。この結果、運転者に対して効果的な警告が行われる可能性を高めることができる。 According to the above configuration, it is possible to display an image showing the moving body so that the driver can easily notice the moving body according to the thinking process until the driver recognizes the existence of the moving body. As a result, it is possible to increase the possibility that an effective warning is given to the driver.
（２）移動体表示処理：
次に、図３に示すフローチャートに基づいて制御部２０が実行する移動体表示処理を説明する。移動体表示システム１０が起動されると、制御部２０は、一定期間毎（例えば、１００ｍｓ毎）に移動体表示処理を実行する。移動体表示処理が実行されると、制御部２０は、視線検出部２１ａの機能により、運転者の視線の方向を検出する（ステップＳ１００）。すなわち、制御部２０は、視線検出センサ４０の出力に基づいて、運転者の眼の位置および視線の方向を取得する。また、制御部２０は、検出された眼の位置および視線方向を、座標変換によって車両の構造物の３次元モデルを表現するための３次元仮想空間内の位置および視線の方向に変換する。
(2) Mobile display processing:
Next, the mobile display process executed by the
次に、制御部２０は、表示部２１ｃの機能により、構造物情報３０ａを取得する（ステップＳ１０５）。すなわち、制御部２０は、記録媒体３０を参照して構造物情報３０ａを取得し、ＲＡＭに記録する。
Next, the
次に、制御部２０は、移動体検出部２１ｂの機能により、車両の周囲に存在し、車両に影響を与える既定の動作を行っている移動体を検出する（ステップＳ１１０）。具体的には、制御部２０は、カメラ４１から出力された各画像から特徴量を抽出し、移動体の画像を検出する。また、制御部２０は、各移動体の画像内での位置に基づいて各移動体を車両から見た方向および車両からの距離を特定する。本実施形態において制御部２０は、移動体の輪郭の複数の位置について方向および距離を特定する。
Next, the
さらに、制御部２０は、検出された移動体の中から、車両に近づいている移動体を警告対象として検出する。図６は、図２Ａに示す例を上方から眺めた状態を模式的に示す平面図である。この例において、他の車両Ｃｏは、車両Ｃの前方右側から車両Ｃが走行中の道路Ｒに向かって走行している（図６において車両Ｃはその概形が破線で示されている）。従って、他の車両Ｃｏと車両Ｃがこのまま走行を続けると、両者の距離は徐々に短くなるため、他の車両Ｃｏが警告対象として検出される。
Further, the
図７は、図２Ｂに示す例を上方から眺めた状態を模式的に示す平面図である。この例において、他の車両Ｃｏは、車両Ｃが走行中の道路Ｒに向かって走行している。従って、他の車両Ｃｏと車両Ｃがこのまま走行を続けると、両者の距離は徐々に短くなるため、他の車両Ｃｏが警告対象として検出される。 FIG. 7 is a plan view schematically showing a state in which the example shown in FIG. 2B is viewed from above. In this example, the other vehicle Co is traveling toward the road R on which the vehicle C is traveling. Therefore, if the other vehicle Co and the vehicle C continue to travel as they are, the distance between them gradually becomes shorter, so that the other vehicle Co is detected as a warning target.
さらに、制御部２０は、警告対象として検出された移動体について、移動体の輪郭の複数の位置についての方向および距離に基づいて、運転者から移動体を見た場合に移動体が視認される角度範囲を特定する。図６、図７においては、運転者が、移動体である他の車両Ｃｏの水平方向の右端の輪郭を見た場合の視線の方向が一点鎖線Ｌ1で示されている。また、他の車両Ｃｏの水平方向の左端の輪郭を見た場合の視線の方向が一点鎖線Ｌ2で示されている。これらの場合、制御部２０は、運転者から移動体を見た場合に移動体が視認される角度範囲が水平方向に範囲Ｚ1であると取得する。制御部２０は、このような処理を、輪郭の複数の位置（例えば、上下左右に存在する位置）について行うことで、運転者から移動体を見た場合に移動体が視認される角度範囲を特定する。
Further, the
（２−１）見えない判定処理：
次に、制御部２０は、表示部２１ｃの機能により、見えない判定処理を実行する（ステップＳ１１５）。図４は、見えない判定処理を示すフローチャートである。見えない判定処理は、視線の方向と移動体の位置との関係が見えない関係であるか否かを判定するための処理である。見えない判定処理において、制御部２０は、３次元仮想空間内に構造物、運転者の眼、移動体を配置する（ステップＳ２００）。構造物情報３０ａは、予め決められた座標系で定義された３次元仮想空間内で車両の構造物の３次元構造を表現する情報である。
(2-1) Invisible judgment process:
Next, the
そこで、制御部２０は、構造物情報３０ａを参照し、当該３次元仮想空間に車両の構造物を配置する。図６に示す例においては、車両Ｃが有する構造物の中で、ピラーＰ1，Ｐ2を例にしてその位置を示している。なお、図６および図７に示す例において図示されていないが、車両の他の構造物、例えば、インストルメントパネルやダッシュボードなども、その位置および形状が３次元仮想空間で再現される。
Therefore, the
さらに、制御部２０は、ステップＳ１００で取得した運転者の眼の位置を当該３次元仮想空間内に配置し、当該眼の位置を起点とした視線の方向（ベクトル）を特定する。図６および図７において、運転者の眼の位置は位置Ｐｅであり、視線の方向Ｄｅを二点鎖線によって示している。
Further, the
さらに、制御部２０は、運転者の眼の位置を起点とし、ステップＳ１１０で検出した移動体が視認される角度範囲を３次元仮想空間内で特定する。図６および図７においては、運転者から他の車両Ｃｏ見た場合の角度範囲を、運転者の眼の位置を基準とした角度範囲Ｚ1として示している。
Further, the
次に、制御部２０は、視線を移動体に向けた場合の移動体の画像を取得する（ステップＳ２０５）。すなわち、制御部２０は、運転者が視線を移動体の中央に向けた場合の視線の方向に対して垂直な仮想投影面を想定し、当該仮想投影面に移動体の画像を投影した場合の画像を生成する。なお、ここでは、少なくとも移動体の輪郭の範囲が仮想投影面上で判断可能であれば良く、移動体の画像が正確に仮想投影面に投影されることは必須ではない。
Next, the
次に、制御部２０は、構造物に移動体が遮蔽されている割合を取得する（ステップＳ２１０）。すなわち、制御部２０は、運転者の眼と移動体との間に移動体を遮蔽し得る車両の構造物（透明ではない構造物）が存在する場合に、ステップＳ２０５で想定した仮想平面に対して車両の構造物を投影し、両者が重なっている面積を移動体の面積で除した値を、構造物に移動体が遮蔽されている割合として取得する。例えば、図２Ａおよび図６に示す例においては、他の車両ＣｏがピラーＰ1に完全に遮蔽されているため、構造物に移動体が遮蔽されている割合が１００％と特定される。図２Ｂおよび図７に示す例においては、運転者の眼の位置と他の車両Ｃｏとの間にフロントガラスが存在するのみであるため、運転者の眼と移動体との間に移動体を遮蔽し得る車両の構造物が存在しないため、構造物に移動体が遮蔽されている割合は０％であるとみなされる。
Next, the
次に、制御部２０は、ステップＳ２１０で取得された割合が閾値より大きいか否かを判定する（ステップＳ２１５）。閾値は、移動体が遮蔽されて見えない状態にあるか否かを判定するための値として予め決められた値である。ステップＳ２１５において、割合が閾値より大きいと判定された場合、制御部２０は、視線の方向と移動体の位置との関係が見えない関係であると判定する（ステップＳ２２０）。すなわち、制御部２０は、視線の方向と移動体の位置との関係を示す変数に、判定対象の移動体に対して見えない関係にあることを示す情報（フラグ等）を代入する。ステップＳ２１５において、割合が閾値より大きいと判定されない場合、制御部２０は、ステップＳ２２０をスキップする。なお、ステップＳ２０５以降の処理は、車両の周辺において警告対象として検出された移動体のそれぞれを処理対象として実施される（図３に示すフローチャートに復帰後も同様）。
Next, the
以上のような見えない判定処理が行われると、車両の周辺において警告対象として検出された移動体のそれぞれについて見えない関係であるか否かが判定された状態となる。この状態で、制御部２０は、図３に示すフローチャートに復帰し、見えない判定が行われたか否かを判定する（ステップＳ１２０）。
When the above-mentioned invisible determination process is performed, it is determined whether or not each of the moving objects detected as a warning target in the vicinity of the vehicle has an invisible relationship. In this state, the
見えない判定が行われたと、ステップＳ１２０において判定された場合、制御部２０は、移動体の近傍の表示デバイスを検索する（ステップＳ１３０）。すなわち、制御部２０は、運転者が処理対象の移動体に視線を向けた場合に、視線に交わる車両の構造物を特定する。そして、当該構造物に隣接する領域にオブジェクトを表示可能な表示デバイスを表示対象のデバイスとする。例えば、図２Ａおよび図６に示す例において、運転者が他の車両Ｃｏに視線を向けた場合に、視線の方向と交わる車両の構造物はピラーＰ1である。
If it is determined in step S120 that the invisible determination has been made, the
この例において、当該ピラーＰ1に隣接する領域にオブジェクトを表示可能な表示デバイスはＨＵＤ４２である。すなわち、ＨＵＤ４２であれば、ピラーＰ1に隣接した領域に画像を表示可能である。従って、この場合制御部２０は、表示デバイスの検索結果としてＨＵＤ４２を取得する。
In this example, the display device capable of displaying the object in the area adjacent to the pillar P 1 is the
次に、制御部２０は、検索された表示デバイスと音声によって移動体を通知する（ステップＳ１３５）。すなわち、制御部２０は、検索された表示デバイス毎に予め決められた態様で移動体に関する警告を行う。むろん、この際、移動体に関する音声の警告を行ってもよい。なお、表示デバイスがＨＵＤ４２である場合、制御部２０は、移動体の存在を示すアイコンを移動体の近傍に表示させる。
Next, the
すなわち、見えない関係であると判定された処理対象の移動体の位置に基づいて、ＨＵＤ４２の表示領域の中から当該移動体の位置に隣接する領域を表示位置として特定する。そして、制御部２０は、見えない移動体の存在を示すアイコンを当該領域に表示させる。この結果、見えない位置に存在する移動体の近傍にアイコン（例えば、図２Ａに示されたアイコンＩ1）が表示される。この結果、運転者は、ピラーＰ1によって他の車両Ｃｏが遮蔽されていると認識することができる。
That is, based on the position of the moving body to be processed that is determined to be invisible, the area adjacent to the position of the moving body is specified as the display position from the display area of the
なお、ステップＳ１３０において、ＨＵＤ４２以外の表示デバイス４３が移動体の近傍の表示デバイスとして検索された場合、検索された表示デバイス４３において予め決められた態様で移動体の警告を行う。例えば、表示デバイス４３がインストルメントパネルである場合、制御部２０は、インストルメントパネル上の特定の部位を点滅させる表示等を実行可能である。また、表示デバイス４３がナビゲーションシステムである場合、制御部２０は、ナビゲーションシステムが備えるディスプレイに移動体の存在を警告する表示を行わせる。当該表示の態様は種々の態様であってよい。
In step S130, when a
（２−２）見ていない判定処理：
一方、ステップＳ１２０において、見えない判定が行われたと判定されない場合、制御部２０は、表示部２１ｃの機能により、見ていない判定処理を実行する。（ステップＳ１４０）。図５は、見ていない判定処理を示すフローチャートである。見ていない判定処理は、視線の方向と移動体の位置との関係が見ていない関係であるか否かを判定するための処理である。見ていない判定処理において、制御部２０は、３次元仮想空間内に構造物、運転者の眼、移動体を配置する（ステップＳ３００）。当該処理はステップＳ２００と同様の処理である。従って、ステップＳ２００の結果が保持され、流用されてもよい。
(2-2) Judgment process not seen:
On the other hand, if it is not determined in step S120 that the invisible determination has been made, the
次に、制御部２０は、運転者の視線の方向に存在するオブジェクトを取得する（ステップＳ３０５）。すなわち、制御部２０は、ステップＳ３００の結果に基づいて、現在の運転者の視線の方向を特定し、当該視線と交差する物体（車両の構造物や移動体等）を取得する。
Next, the
次に、制御部２０は、オブジェクトが車両の構造物が存在であるか否かを判定する（ステップＳ３１０）。すなわち、制御部２０は、構造物情報３０ａを参照し、ステップＳ３０５において取得されたオブジェクトが車両の構造物であるか否かを判定する。ステップＳ３１０において、オブジェクトが車両の構造物が存在であると判定された場合、制御部２０は、運転者が車内を見ていると判定する（ステップＳ３１５）。すなわち、制御部２０は、運転者が車内を見ているか否かを示す変数に、運転者が車内を見ていることを示す情報（フラグ等）を代入する。なお、運転者が車内を見ているか否かを示す変数は、視線の方向と移動体の位置との関係を示す情報ではないが、後の表示制御に利用するため、制御部２０は、ステップＳ３１５において、当該変数に値を代入する。
Next, the
一方、ステップＳ３１０において、オブジェクトが車両の構造物が存在であると判定されない場合、制御部２０は、視線の方向に基づいて既定の範囲を取得する（ステップＳ３２０）。すなわち、制御部２０は、視線方向を中心とした楕円の範囲を既定の範囲として取得する。図２Ｂにおいては、視線の方向Ｄｅを含む既定の範囲が範囲Ｚｅとして示されている。本実施形態においては、当該既定の範囲内に存在する移動体は運転者によって存在が認識されており、既定の範囲外に存在する移動体は運転者によって存在が認識されていないと推定される。
On the other hand, in step S310, when the object does not determine that the structure of the vehicle exists, the
次に、制御部２０は、移動体が既定の範囲に含まれるか否かを判定する（ステップＳ３２５）。すなわち、制御部２０は、ステップＳ１１０で取得された移動体毎の角度範囲と、既定の範囲とを比較し、角度範囲の少なくとも一部が既定の範囲に含まれる場合に、移動体が既定の範囲に含まれると判定する。
Next, the
ステップＳ３２５において、移動体が既定の範囲に含まれると判定されない場合、制御部２０は、視線の方向と移動体の位置との関係が見えていない関係であると判定する（ステップＳ３３０）。すなわち、制御部２０は、視線の方向と移動体の位置との関係を示す変数に、判定対象の移動体に対して見えていない関係にあることを示す情報（フラグ等）を代入する。ステップＳ３２５において、移動体が既定の範囲に含まれると判定された場合、制御部２０は、ステップＳ３３０をスキップする。
If it is not determined in step S325 that the moving body is included in the predetermined range, the
以上のような見えていない判定処理が行われると、車両の周辺において警告対象として検出された移動体のそれぞれについて見えていない関係であるか否かが判定された状態となる。この状態で、制御部２０は、図３に示すフローチャートに復帰し、判定結果に基づく分岐処理を行う（ステップＳ１４５）。すなわち、見ていない判定処理の結果、運転者が車内を見ていると判定された場合、制御部２０は、ステップＳ１３０以降の処理を実施する。この場合、運転者の視線の先の移動体が遮蔽されていない状態であり、複数の移動体が警告対象である場合、制御部２０は、その中から１個の移動体を選択してステップＳ１３０以降の処理を実行する。具体的には、ステップＳ１３０において制御部２０は、選択された移動体に視線を向けた場合の視線方向に最も近い表示デバイスを表示対象のデバイスとする。この結果、ＨＵＤ４２以外の表示デバイス４３から検索結果が得られる。そして、制御部２０は、ステップＳ１３５において、予め決められた態様で移動体の警告を行う。
When the above-mentioned invisible determination process is performed, it is determined whether or not each of the moving objects detected as a warning target in the vicinity of the vehicle has an invisible relationship. In this state, the
見ていない判定処理の結果、見ていない関係であるとステップＳ１４５で判定された場合、制御部２０は、移動体が移動していることを示すアイコンを表示する（ステップＳ１５０）。すなわち、制御部２０は、ステップＳ１１０で検出された移動体の方向および距離の変化から移動体の移動方向を特定し、ＨＵＤ４２を制御して現在の移動体の位置からみて移動体の移動方向に隣接する位置にアイコンを表示させる。そして、制御部２０は、ＨＵＤ４２を制御し、当該アイコンを移動体の移動方向に向けて移動させる。この結果、例えば、図２Ｂに示すように、他の車両Ｃｏの直前にアイコンＩ2が表示され、当該アイコンＩ2が他の車両Ｃｏの移動方向に移動する動画が表示される。
When it is determined in step S145 that the relationship is not seen as a result of the unseen determination process, the
なお、以上のように、本実施形態において制御部２０は、ステップＳ１２０において、視線の方向と移動体の位置との関係が見えない関係であるか否か判定し、ステップＳ１２０において視線の方向と移動体の位置との関係が見えない関係であると判定されない場合に、ステップＳ１４０における見ていない判定処理を実行する。従って、ステップＳ１２０において視線の方向と移動体の位置との関係が見えない関係であると判定された場合、制御部２０は、ステップＳ１４０を実行しない。このため、見えない関係である場合に、見ていない判定処理を省略することができ、必要がない場合に高負荷の処理を行わないようにすることができる。
As described above, in the present embodiment, the
さらに、本実施形態においては、見ていない判定処理の結果、該当無しであった場合（車内を見ていると判定されず、見ていない関係であるとも判定されなかった場合）、制御部２０は、警告対象の移動体の視認困難性を取得する（ステップＳ１５５）。すなわち、制御部２０は、カメラ４１で撮影された警告対象の移動体の画像に基づいて、予め決められた視認困難性を取得する。視認困難性は、運転者が移動体を視認することが困難であるか否かを示す指標であり、例えば、移動体の画像のコントラストや、移動体の画像の輪郭の複雑度等である。
Further, in the present embodiment, when the result of the determination process of not seeing is not applicable (when it is not determined that the vehicle is being viewed and it is not determined that the relationship is not being viewed), the
次に、制御部２０は、警告対象の移動体が視認困難であるか否かを判定する（ステップＳ１６０）。例えば、制御部２０は、移動体の画像のコントラストが既定の判定基準未満である場合や、移動体の画像の輪郭の複雑度が既定の判定基準より複雑である場合に、視認困難であると判定する。
Next, the
ステップＳ１６０において、警告対象の移動体が視認困難であると判定された場合、制御部２０は、移動体を強調表示する（ステップＳ１６５）。強調表示は移動体に気づきやすくなるような表示であれば良く、例えば、輪郭の強調や移動体を囲む枠の表示が挙げられる。いずれにしても、制御部２０は、ＨＵＤ４２を制御し、視認困難であると判定された移動体に強調のためのアイコンを関連づけて表示させる。ステップＳ１６０において、警告対象の移動体が視認困難であると判定されない場合、制御部２０は、ステップＳ１６５をスキップする。
When it is determined in step S160 that the moving body to be warned is difficult to see, the
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、移動体表示システムは、複数の装置（例えば、クライアントとサーバや、ナビゲーション装置内の制御部とユーザＩ／Ｆ部内の制御部等）によって実現されるシステムであっても良い。また、ＨＵＤ４２における表示態様は、アイコンによる表示に限定されず、例えば、移動体の近傍に存在する領域を点灯させる態様等であってもよい。
(3) Other embodiments:
The above embodiment is an example for carrying out the present invention, and various other embodiments can be adopted. For example, the mobile display system may be a system realized by a plurality of devices (for example, a client and a server, a control unit in a navigation device, a control unit in a user I / F unit, and the like). Further, the display mode in the
移動体表示システムを構成する視線検出部２１ａ、移動体検出部２１ｂ、表示部２１ｃの少なくとも一部が複数の装置に分かれて存在しても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。例えば、図４に示す移動体表示処理において、ステップＳ１００〜Ｓ１１０の各処理の順序が入れ替わるなどの変動があっても良い。また、上述の実施形態においては、ステップＳ１２０において見えない関係であると判定された場合と、ステップＳ１４５において車内を見ていると判定された場合と、の双方においてステップＳ１３０が実行されるが、各場合で異なる処理が行われてもよい。また、図４に示す見えない判定処理において、移動体が遮蔽されているか否かは、より簡易に判定されてもよい。例えば、運転者の眼と移動体を結ぶ方向と、運転者の眼と構造物とを結ぶ方向の角度が閾値以内である場合に移動体が遮蔽されていると判定する構成等を採用可能である。
At least a part of the line-of-
視線検出部は、車両の運転者の視線の方向を検出することができればよい。すなわち、視線検出部は、運転者が見ている方向を検出することができればよい。例えば、上述の実施形態のように、利用者の眼を撮影するカメラの出力に基づいて利用者の眼の動作を特定することにより視線の方向を特定する構成等を採用可能である。検出対象となる眼は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の眼は２個であることが好ましい。２個の眼の視線の方向が特定される場合、各視線の方向から統計的に運転者の視線の方向が特定されても良いし、利き眼によるバイアスに基づいて視点が特定されても良い。むろん、視線検出の方式としては、各種の態様を採用可能であり、例えば、運転者の顔の向きを検出し、視線の方向とみなす構成等であってもよい。 The line-of-sight detection unit may be able to detect the direction of the line of sight of the driver of the vehicle. That is, the line-of-sight detection unit only needs to be able to detect the direction the driver is looking at. For example, as in the above-described embodiment, it is possible to adopt a configuration in which the direction of the line of sight is specified by specifying the movement of the user's eyes based on the output of the camera that captures the user's eyes. The number of eyes to be detected may be one or two, but in order to improve the accuracy, it is preferable that the number of eyes to be detected is two. When the directions of the lines of sight of the two eyes are specified, the direction of the line of sight of the driver may be statistically specified from the direction of each line of sight, or the viewpoint may be specified based on the bias of the dominant eye. .. Of course, various modes can be adopted as the line-of-sight detection method, and for example, the configuration may be such that the direction of the driver's face is detected and regarded as the direction of the line of sight.
移動体検出部は、車両の周囲に存在し、車両に影響を与える既定の動作を行っている移動体を検出することができればよい。すなわち、移動体を示す画像を表示する対象は、車両に対して影響を与え得る移動体である。車両に対する影響は種々の手法で定義されてよく、影響を与える動作が予め決まっていればよい。従って、上述の実施形態のように、車両に近づく動作が車両に影響を与える動作であり、車両から遠ざかる動作が車両に影響を与えない動作であると予め決められている構成以外にも種々の構成を採用可能である。 It suffices if the moving body detection unit can detect a moving body that exists around the vehicle and performs a predetermined operation that affects the vehicle. That is, the target for displaying the image showing the moving body is a moving body that can affect the vehicle. The effect on the vehicle may be defined by various methods, and the action that affects the vehicle may be determined in advance. Therefore, as in the above-described embodiment, there are various configurations other than the predetermined configuration in which the motion of approaching the vehicle affects the vehicle and the motion of moving away from the vehicle does not affect the vehicle. The configuration can be adopted.
例えば、車両の移動経路に近づく動作や車両の移動経路に交差する動作が、車両に影響を与える既定の動作であってもよいし、時刻毎の車両の推定位置に対して所定距離以内の範囲に接近する動作が、車両に影響を与える既定の動作であってもよい。また、車両から既定距離以内に存在する移動体の速度が既定値以上である場合に、当該移動体の動作が車両に影響を与える既定の動作であってもよい。すなわち、車両の移動体との関係が既定の関係であり、移動体の存在に応じて車両において回避や減速等の動作を行うべき状況が発生し得る場合に、当該移動体が車両に影響を与えるとみなされる。そして、車両の運転者が、当該移動体の動作に注意すべき場合に当該動作が既定の動作として定義されていればよい。 For example, the action of approaching the moving path of the vehicle or the action of crossing the moving path of the vehicle may be a default action affecting the vehicle, or a range within a predetermined distance with respect to the estimated position of the vehicle for each time. The action of approaching the vehicle may be the default action that affects the vehicle. Further, when the speed of the moving body existing within the predetermined distance from the vehicle is equal to or higher than the default value, the movement of the moving body may be the default movement affecting the vehicle. That is, when the relationship with the moving body of the vehicle is the default relationship and a situation in which the vehicle should perform an action such as avoidance or deceleration may occur depending on the presence of the moving body, the moving body affects the vehicle. Considered to give. Then, when the driver of the vehicle should pay attention to the movement of the moving body, the movement may be defined as a default movement.
車両の周囲は、例えば、運転者が視認し得る範囲として予め決められていればよく、車両からの距離等によって定義されてよい。移動体は、車両の周囲で移動し得る物体であれば良く、車両や歩行者に限定されない。例えば、野生動物等であってもよいし、公園等から道路に転がってくるボール等であってもよく、移動し得る種々の物体が移動体となってよい。 The circumference of the vehicle may be, for example, predetermined as a range that can be visually recognized by the driver, and may be defined by a distance from the vehicle or the like. The moving body may be an object that can move around the vehicle, and is not limited to the vehicle or a pedestrian. For example, it may be a wild animal or the like, a ball or the like rolling on a road from a park or the like, and various movable objects may be moving objects.
表示部は、車両の前方の実風景に重畳された画像を運転者に視認させる。すなわち、実風景は、利用者の眼を通して直接視認される風景であり、典型的には車両のフロントガラス等を通して利用者が見る風景である。従って、ガラス等の透明な物体を通して視認される風景は実風景であるが、間接的に視認される風景、例えば、車両が備えるカメラによって撮影された風景がディスプレイに表示された画像は実風景に含まれない。実風景に重畳された画像を運転者に視認させるための構成は、ＨＵＤに限られず、シースルー型のＨＭＤ（Head Mounted Display）等であってもよい。 The display unit allows the driver to visually recognize an image superimposed on the actual landscape in front of the vehicle. That is, the actual landscape is a landscape that is directly visible through the eyes of the user, and is typically a landscape that the user sees through the windshield of the vehicle or the like. Therefore, the landscape that is visually recognized through a transparent object such as glass is a real landscape, but the landscape that is indirectly visible, for example, the image of the landscape taken by the camera of the vehicle displayed on the display is the actual landscape. Not included. The configuration for allowing the driver to visually recognize the image superimposed on the actual landscape is not limited to the HUD, and may be a see-through type HMD (Head Mounted Display) or the like.
表示部が、移動体を示す画像を運転者に視認させる際には、視線の方向と移動体の位置との関係に応じた表示態様で移動体を視認させることができればよい。表示態様は、視線の方向と移動体の位置との関係によって異なればよく、種々の態様であってよい。例えば、運転者が移動体の存在を認識している可能性に応じて、移動体を示す画像の強調度合いを変化させてもよい。より具体的には、視線の方向と移動体の方向との差異が大きいほど、運転者が移動体の存在を認識している可能性が低いと推定される。そこで、視線の方向と移動体の方向との差異が大きいほど、移動体を示す画像の強調度合いを大きくする構成等が採用されてもよい。むろん、表示態様の変化は、強調度合いの変化に限られず、種々の変化であってよい。例えば、動画の有無や色、大きさ等を視線の方向と移動体の位置との関係に応じて変化させる構成等を採用可能である。 When the display unit makes the driver visually recognize the image showing the moving body, it is sufficient that the moving body can be visually recognized in a display mode according to the relationship between the direction of the line of sight and the position of the moving body. The display mode may be different depending on the relationship between the direction of the line of sight and the position of the moving body, and may be various modes. For example, the degree of emphasis of the image showing the moving object may be changed according to the possibility that the driver is aware of the presence of the moving object. More specifically, it is presumed that the larger the difference between the direction of the line of sight and the direction of the moving body, the lower the possibility that the driver is aware of the existence of the moving body. Therefore, a configuration or the like may be adopted in which the greater the difference between the direction of the line of sight and the direction of the moving body, the greater the degree of emphasis of the image showing the moving body. Of course, the change in the display mode is not limited to the change in the degree of emphasis, and may be various changes. For example, it is possible to adopt a configuration in which the presence / absence, color, size, etc. of moving images are changed according to the relationship between the direction of the line of sight and the position of the moving body.
視点と移動体の位置との関係は、連続的に変化する関係であってもよいし、段階的に変化する関係であってもよいし、双方とも考慮されてもよい。例えば、見えない関係、見ていない関係のいずれかであることにより表示態様が変化してもよいし、見えない関係に属する複数の関係についての表示態様が、視線の方向と移動物との連続的な関係（例えば、視線の方向と移動物の方向との差異や角度）に応じて表示態様が変化してもよい。 The relationship between the viewpoint and the position of the moving body may be a continuously changing relationship, a stepwise changing relationship, or both may be considered. For example, the display mode may change depending on whether the relationship is invisible or not, and the display mode for a plurality of relationships belonging to the invisible relationship is a continuation of the direction of the line of sight and the moving object. The display mode may change depending on the relationship (for example, the difference or angle between the direction of the line of sight and the direction of the moving object).
見えない関係は、実際に見ているか否かにかかわらず、仮に視線を移動体方向に向けたとしても、見えないような関係であれば良く、移動物の少なくとも一部が遮蔽されている状態である。車両の構造物は、移動体を遮蔽し得る構造物であれば良く、例えば、車室の一部を構成するピラーや、車体など、視線の方向と移動体との間に存在する各種の物体が該当する。なお、移動体を遮蔽する物体が車両の構造物であれば、車両の設計等に基づいて、構造物の形状、大きさ、位置を容易に特定可能であるため、視線の方向と移動体との間に車両の構造物が存在するか否かを容易に特定可能である。 The invisible relationship may be invisible even if the line of sight is directed toward the moving body, regardless of whether or not it is actually seen, and at least a part of the moving object is shielded. Is. The structure of the vehicle may be a structure that can shield the moving body. For example, various objects existing between the direction of the line of sight and the moving body, such as pillars forming a part of the passenger compartment and a vehicle body. Applies to. If the object that shields the moving body is a vehicle structure, the shape, size, and position of the structure can be easily specified based on the vehicle design, etc., so that the direction of the line of sight and the moving body It is possible to easily identify whether or not there is a vehicle structure between the two.
移動体が遮蔽されている状態は、移動体の全てが遮蔽されている状態、移動体の一部が遮蔽されている状態のいずれであってもよい。すなわち、移動体の少なくとも一部が遮蔽されている場合に、見えない関係であるとみなす。見えない関係と、見ていない関係とで表示態様が変化する構成は、少なくとも、見えない関係にある移動体の方向に視線を向けている場合と、見ようと思えば見えるが見ていない関係である場合とで、表示態様が異なる構成であれば良い。一方、見えない関係であり、見ていない関係でもある場合は例外であり、いずれかの関係である場合の表示態様で移動体を示す画像が表示されればよい。 The state in which the moving body is shielded may be either a state in which all of the moving body is shielded or a state in which a part of the moving body is shielded. That is, when at least a part of the moving body is shielded, it is regarded as an invisible relationship. The configuration in which the display mode changes depending on the invisible relationship and the unseen relationship is at least in the case where the line of sight is directed toward the moving body in the invisible relationship and the relationship in which the user can see but does not see it. It suffices if the display mode is different depending on the case. On the other hand, the case where the relationship is invisible and the relationship is not seen is an exception, and an image showing a moving body may be displayed in the display mode in the case of either relationship.
視線の方向を含む既定の範囲は、予め決められていればよい。すなわち、当該既定の範囲内であれば見えており、当該既定の範囲外であれば見えていないと推定できるように予め範囲が規定されていればよい。運転者にとって見えているか否かは、個別の運転者や運転者の意識によって異なり得るが、既定の範囲は、多くの運転者にとって見えている範囲として予め決められていればよい。既定の範囲と視線の方向との関係は種々の関係であってよいが、例えば、既定の範囲の中心や重心が視線方向である構成が採用されてよい。むろん、時間帯や季節、運転者の年齢等によって既定の範囲が変化してもよい。 The default range including the direction of the line of sight may be predetermined. That is, the range may be defined in advance so that it can be estimated that it is visible if it is within the predetermined range and not visible if it is outside the predetermined range. Whether or not it is visible to the driver may differ depending on the individual driver and the driver's consciousness, but the predetermined range may be predetermined as the range visible to many drivers. The relationship between the predetermined range and the direction of the line of sight may be various, and for example, a configuration in which the center or the center of gravity of the predetermined range is the direction of the line of sight may be adopted. Of course, the predetermined range may change depending on the time of day, the season, the age of the driver, and the like.
既定の範囲は、種々の手法で決められてよく、例えば、視線の方向に対して既定の角度にある範囲として規定されてもよいし、運転者の眼を基準にして視線の方向を含む円や楕円等の図形を仮想的に想定し、運転者の眼から当該図形を通る範囲が既定の範囲として規定されていてもよいし、他にも種々の手法で規定されていてよい。 The predetermined range may be determined by various methods, for example, may be defined as a range at a predetermined angle with respect to the direction of the line of sight, or a circle including the direction of the line of sight with respect to the driver's eye. A figure such as an ellipse or an ellipse may be virtually assumed, and the range passing through the figure from the driver's eyes may be defined as a default range, or may be defined by various other methods.
移動体の存在や動作を示すアイコンは、上述の態様に限定されず、各種の態様であってよい。また、アイコンは移動体に重ねられてもよいし、移動体を含む図形であってもよいし、移動体の近傍に表示されてもよい。ここで、近傍とは、移動体とアイコンとが関連していると推定できるような距離であれば良い。 The icon indicating the existence or operation of the moving body is not limited to the above-mentioned embodiment, and may be various embodiments. Further, the icon may be superimposed on the moving body, may be a figure including the moving body, or may be displayed in the vicinity of the moving body. Here, the neighborhood may be a distance that can be estimated to be related to the moving object and the icon.
見られていない移動体が移動していることを示すアイコンは、移動体側から視線の方向を含む既定の範囲に向けて移動するアイコンに限定されない。例えば、見られていない移動体に引き出し線等を付し、移動体の移動とともに引き出し線が移動する構成であってもよいし、接近中であることを示す文字を含むアイコンが表示されてもよいし、種々の態様が採用可能である。 The icon indicating that the unseen moving object is moving is not limited to the icon that moves from the moving object side toward a predetermined range including the direction of the line of sight. For example, a leader line or the like may be attached to a moving body that has not been seen, and the leader line may move as the moving body moves, or an icon including a character indicating that the moving body is approaching may be displayed. However, various aspects can be adopted.
さらに、本発明のように、視線の方向と移動体の位置との関係に応じた表示態様で移動体を示す画像を前記運転者に視認させる手法は、プログラムや方法としても適用可能である。また、以上のような移動体表示システム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。さらに、以上のような移動体表示システムの少なくとも一部を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、移動体表示システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Further, a method of making the driver visually recognize an image showing a moving body in a display mode according to the relationship between the direction of the line of sight and the position of the moving body as in the present invention can also be applied as a program or a method. In addition, the mobile display system, program, and method as described above may be realized as a single device, or may be realized by using parts shared with each part provided in the vehicle. It includes aspects. Further, it is possible to provide a navigation device, a method, and a program provided with at least a part of the mobile display system as described above. In addition, some of them are software and some of them are hardware, which can be changed as appropriate. Further, the invention is also established as a recording medium for a program that controls a mobile display system. Of course, the recording medium of the software may be a magnetic recording medium or a semiconductor memory, and any recording medium developed in the future can be considered in exactly the same way.
１０…移動体表示システム、２０…制御部、２１…移動体表示プログラム、２１ａ…視線検出部、２１ｂ…移動体検出部、２１ｃ…表示部、３０…記録媒体、３０ａ…構造物情報、４０…視線検出センサ、４１…カメラ、４２…ＨＵＤ、４３…表示デバイス 10 ... Mobile display system, 20 ... Control unit, 21 ... Mobile display program, 21a ... Line-of-sight detection unit, 21b ... Mobile detection unit, 21c ... Display unit, 30 ... Recording medium, 30a ... Structure information, 40 ... Line-of-sight detection sensor, 41 ... camera, 42 ... HUD, 43 ... display device
Claims (7)
前記車両の周囲に存在し、前記車両に影響を与える既定の動作を行っている移動体を検出する移動体検出部と、
前記車両の前方の実風景に重畳された画像を前記運転者に視認させる表示部と、を備え、
前記表示部は、
前記視線の方向と前記移動体の位置との関係に応じた表示態様で前記移動体を示す画像を前記運転者に視認させる、
移動体表示システム。 A line-of-sight detector that detects the direction of the line of sight of the driver of the vehicle,
A moving body detection unit that detects a moving body that exists around the vehicle and performs a predetermined operation that affects the vehicle,
A display unit that allows the driver to visually recognize an image superimposed on the actual scenery in front of the vehicle is provided.
The display unit
The driver is made to visually recognize an image showing the moving body in a display mode corresponding to the relationship between the direction of the line of sight and the position of the moving body.
Mobile display system.
前記視線を前記移動体に向けた場合に前記移動体と眼との間に前記移動体を遮蔽する前記車両の構造物が存在する、見えない関係である場合と、
前記視線の方向を含む既定の範囲の外に前記移動体が存在する、見ていない関係である場合と、
で異なる前記表示態様で前記移動体を示す画像を前記運転者に視認させる、
請求項１に記載の移動体表示システム。 In the display unit, the relationship between the direction of the line of sight and the position of the moving body is determined.
When the line of sight is directed toward the moving body, there is an invisible relationship in which the structure of the vehicle that shields the moving body exists between the moving body and the eyes.
When the moving body exists outside the predetermined range including the direction of the line of sight, and the relationship is not seen.
The driver is made to visually recognize an image showing the moving body in the display mode different from the above.
The mobile display system according to claim 1.
見えない前記移動体の存在を示すアイコンを前記移動体の近傍に表示させる、
請求項２に記載の移動体表示システム。 When the relationship between the direction of the line of sight and the position of the moving body is the invisible relationship, the display unit displays.
An icon indicating the presence of the invisible moving body is displayed in the vicinity of the moving body.
The mobile display system according to claim 2.
見られていない前記移動体が移動していることを示すアイコンを前記移動体に関連づけて表示させる、
請求項２または請求項３に記載の移動体表示システム。 When the relationship between the direction of the line of sight and the position of the moving body is a relationship not seen, the display unit may display the display unit.
An icon indicating that the moving body that has not been seen is moving is displayed in association with the moving body.
The mobile display system according to claim 2 or 3.
前記移動体側から前記既定の範囲に向けて移動する、
請求項４に記載の移動体表示システム。 The icon indicating that the moving object that has not been seen is moving is
Moving from the moving body side toward the predetermined range,
The mobile display system according to claim 4.
前記視線の方向と前記移動体の位置との関係が前記見えない関係であるか否か判定し、前記視線の方向と前記移動体の位置との関係が前記見えない関係でない場合に、前記視線の方向と前記移動体の位置との関係が前記見ていない関係であるか否か判定する、
請求項２〜請求項４のいずれかに記載の移動体表示システム。 The display unit
It is determined whether or not the relationship between the direction of the line of sight and the position of the moving body is the invisible relationship, and when the relationship between the direction of the line of sight and the position of the moving body is not the invisible relationship, the line of sight. It is determined whether or not the relationship between the direction of the moving body and the position of the moving body is the relationship not seen.
The mobile display system according to any one of claims 2 to 4.
車両の運転者の視線の方向を検出する視線検出部、
前記車両の周囲に存在し、前記車両に影響を与える既定の動作を行っている移動体を検出する移動体検出部、
前記車両の前方の実風景に重畳された画像を前記運転者に視認させる表示部、として機能させる移動体表示プログラムであって、
前記表示部は、
前記視線の方向と前記移動体の位置との関係に応じた表示態様で前記移動体を示す画像を前記運転者に視認させるようにコンピュータを機能させる、
移動体表示プログラム。 Computer,
Line-of-sight detector, which detects the direction of the line of sight of the driver of the vehicle,
A moving body detection unit that detects a moving body that exists around the vehicle and performs a predetermined operation that affects the vehicle.
A mobile display program that functions as a display unit that allows the driver to visually recognize an image superimposed on the actual landscape in front of the vehicle.
The display unit
The computer is made to function so that the driver can visually recognize an image showing the moving body in a display mode according to the relationship between the direction of the line of sight and the position of the moving body.
Mobile display program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019066209A JP2020166537A (en) | 2019-03-29 | 2019-03-29 | Moving body display system and moving body display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019066209A JP2020166537A (en) | 2019-03-29 | 2019-03-29 | Moving body display system and moving body display program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020166537A true JP2020166537A (en) | 2020-10-08 |
Family
ID=72715324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019066209A Pending JP2020166537A (en) | 2019-03-29 | 2019-03-29 | Moving body display system and moving body display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020166537A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014120113A (en) * | 2012-12-19 | 2014-06-30 | Aisin Aw Co Ltd | Travel support system, travel support method, and computer program |
| JP2018173862A (en) * | 2017-03-31 | 2018-11-08 | アイシン・エィ・ダブリュ株式会社 | Driving support apparatus and computer program |
-
2019
- 2019-03-29 JP JP2019066209A patent/JP2020166537A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014120113A (en) * | 2012-12-19 | 2014-06-30 | Aisin Aw Co Ltd | Travel support system, travel support method, and computer program |
| JP2018173862A (en) * | 2017-03-31 | 2018-11-08 | アイシン・エィ・ダブリュ株式会社 | Driving support apparatus and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11156472B2 (en) | User interface for augmented reality navigation | |
| EP2857886B1 (en) | Display control apparatus, computer-implemented method, storage medium, and projection apparatus | |
| US20120224060A1 (en) | Reducing Driver Distraction Using a Heads-Up Display | |
| EP2544161B1 (en) | Surrounding area monitoring device for vehicle | |
| JP6440115B2 (en) | Display control apparatus, display control method, and display control program | |
| EP2860971A1 (en) | Display control apparatus, method, recording medium, and vehicle | |
| JP6834704B2 (en) | Driving support device and computer program | |
| EP3576973B1 (en) | Method and system for alerting a truck driver | |
| CN111788459A (en) | Presentation of auxiliary information on a display unit | |
| CN111595357B (en) | Visual interface display method and device, electronic equipment and storage medium | |
| CN113597617A (en) | Display method, display device, display equipment and vehicle | |
| WO2017169273A1 (en) | Information processing device, information processing method, and program | |
| US20210323540A1 (en) | Vehicle driving and monitoring system, vehicle including the vehicle driving and monitoring system, method for maintaining a situational awareness at a sufficient level, and computer readable medium for implementing the method | |
| EP3456574B1 (en) | Method and system for displaying virtual reality information in a vehicle | |
| JP2017187955A (en) | Line of sight guiding device | |
| US9875562B2 (en) | Vehicle information display device and vehicle information display method | |
| CN113165510A (en) | Display control apparatus, method and computer program | |
| CN108885802B (en) | Information processing apparatus, information processing method, and storage medium | |
| US20230022485A1 (en) | Vehicle display control device, vehicle display device, vehicle display control method, and non-transitory storage medium | |
| JP6805974B2 (en) | Driving support device and computer program | |
| JP2020166537A (en) | Moving body display system and moving body display program | |
| US10650601B2 (en) | Information processing device and information processing method | |
| JP2020126478A (en) | Display control device and display control program | |
| JP2022072972A (en) | Visual line guidance device | |
| JP2019119357A (en) | Display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210423 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221028 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230419 |