JP2022103717A - 視線キャリブレーションシステム - Google Patents
視線キャリブレーションシステム Download PDFInfo
- Publication number
- JP2022103717A JP2022103717A JP2020218516A JP2020218516A JP2022103717A JP 2022103717 A JP2022103717 A JP 2022103717A JP 2020218516 A JP2020218516 A JP 2020218516A JP 2020218516 A JP2020218516 A JP 2020218516A JP 2022103717 A JP2022103717 A JP 2022103717A
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- unit
- line
- driver
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 claims description 18
- 239000003550 marker Substances 0.000 claims description 14
- 238000012806 monitoring device Methods 0.000 claims description 14
- 230000007704 transition Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 abstract description 12
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Abstract
【課題】カメラの光軸から外れた領域を含む広域において、視線キャリブレーションの精度を向上させる。【解決手段】運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００と、第１の表示部２０の外縁上部に設けられた撮像部１０と、第１の表示部２０と第２の表示部２００に表示させる表示画像を制御する表示画像制御部３４と、該撮像された画像から運転者Ｄが第１の表示部２０を視認した時の顔の向きおよび視線方向と、運転者Ｄが第２の表示部２００を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成するキャリブレーションデータ生成部３１と、該生成されたキャリブレーションデータに基づいて、第１の表示部２０を視認する場合に基準となる顔の向きに対応する視線方向および第２の表示部２００を視認する場合に基準となる顔の向きに対応する視線方向に対するキャリブレーションを行うキャリブレーション部３２と、備える。【選択図】図１
Description
本発明は、視線キャリブレーションシステムに関する。
近年、車両の安全運転を支援するためにドライバの状態をモニタリングする、所謂、ドライバモニタリングシステム（ＤＭＳ）の開発が進んでいる。このようなドライバモニタリングシステムでは、例えば、運転者がどこを注視しているのかを検出し、運転者が現在の状況に気付いていない場合には、運転者に警報を行うようになっている。
そのため、こうした機能を実現するためには、運転者の視線方向を精度よく検出することが重要であり、視線方向検出のキャリブレーション処理を精度よく行う必要がある。
そのため、こうした機能を実現するためには、運転者の視線方向を精度よく検出することが重要であり、視線方向検出のキャリブレーション処理を精度よく行う必要がある。
しかしながら、特許文献１に記載のような従来の視線キャリブレーション処理では、１つのターゲットにおいて得られた視線キャリブレーションデータに基づいて、視線キャリブレーション処理を実行していたため、視線キャリブレーションの精度がカメラの光軸から外れた領域では、十分ではないという課題があった。
また、特許文献２に記載のように、ターゲットを複数とした場合であっても、当該複数のターゲットが近接しているために、カメラの光軸から外れた領域を含む広域の視線キャリブレーションの精度が向上しないという課題もあった。
そこで、本発明は、上述の課題に鑑みてなされたものであって、カメラの光軸から外れた領域を含む広域において、視線キャリブレーションの精度を向上させる視線キャリブレーションシステムを提供することを目的とする。
形態１；本発明の１またはそれ以上の実施形態は、運転席の前方で車幅方向の中央部に設けられた第１の表示部と、前記運転席の正面に設けられた第２の表示部と、前記第１の表示部の外縁上部に設けられた撮像部と、前記第１の表示部と前記第２の表示部に表示させる表示画像を制御する表示画像制御部と、該撮像部により撮像された画像から前記運転者が前記第１の表示部を視認した時の顔の向きおよび視線方向と、運転者が前記第２の表示部を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成するキャリブレーションデータ生成部と、前記キャリブレーションデータ生成部において生成されたキャリブレーションデータに基づいて、前記第１の表示部を視認する場合に基準となる顔の向きに対応する視線方向および前記第２の表示部を視認する場合に基準となる顔の向きに対応する視線方向に対するキャリブレーションを行うキャリブレーション部と、を備えたことを特徴とする視線キャリブレーションシステムを提案している。
形態２；本発明の１またはそれ以上の実施形態は、前記第１の表示部と、前記撮像部と、前記表示画像制御部と、前記キャリブレーションデータ生成部と、前記キャリブレーション部と、が前記運転者のモニタリングを行う運転状態監視装置に備えられていることを特徴とする視線キャリブレーションシステムを提案している。
形態３；本発明の１またはそれ以上の実施形態は、前記運転状態監視装置を用いて、前記運転者が個人登録を行うための前記運転者の顔画像を取得した後に、前記表示画像制御部が前記第２の表示部に画像を表示することを特徴とする視線キャリブレーションシステムを提案している。
形態４；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は、前記第２の表示部に動画像を表示させることを特徴とする視線キャリブレーションシステムを提案している。
形態５；本発明の１またはそれ以上の実施形態は、前記表示画像制御部は、順次、前記運転者に視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を前記第２の表示部の全域に表示させることを特徴とする視線キャリブレーションシステムを提案している。
形態６；本発明の１またはそれ以上の実施形態は、前記キャリブレーションデータ生成部において生成されたキャリブレーションデータを格納するデータ格納部を備え、前記キャリブレーション部は、前記データ格納部に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行することを特徴とする視線キャリブレーションシステムを提案している。
形態７；本発明の１またはそれ以上の実施形態は、前記第２の表示部がヘッドアップディスプレイで構成されていることを特徴とする視線キャリブレーションシステムを提案している。
本発明の１またはそれ以上の実施形態によれば、カメラの光軸から外れた領域を含む広域において、視線キャリブレーションの精度を向上させることができるという効果がある。
＜実施形態＞
図１から図１３を用いて、本実施形態に係る視線キャリブレーションシステム１について説明する。
図１から図１３を用いて、本実施形態に係る視線キャリブレーションシステム１について説明する。
＜視線キャリブレーションシステム１の構成＞
図１に示すように、本実施形態に係る視線キャリブレーションシステム１は、運転状態監視装置１００と、第２の表示部２００と、を含んで構成されている。
図１に示すように、本実施形態に係る視線キャリブレーションシステム１は、運転状態監視装置１００と、第２の表示部２００と、を含んで構成されている。
運転状態監視装置１００は、図２に示すように、運転席の前方で車幅方向の中央部に設けられ、後述する撮像部１０により車両の運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態（顔の向きや目の開度等）に基づいて運転者の運転状態を監視する装置である。
なお、詳細な構成については、別途、詳述する。
なお、詳細な構成については、別途、詳述する。
第２の表示部２００は、図２に示すように、運転席の正面に設けられた表示部であり、例えば、フロントガラスに運転者向けの基本的な情報画像を提示するヘッドアップディスプレイ（Head-Up Display；ＨＵＤ）を例示することができる。
なお、図２にはウインドシールドに投影するＨＵＤを例示したが、ダッシュボード上に設けられたコンバイナーに投影するＨＵＤであってもよい。
また、本実施形態においては、ＨＵＤに限らず、運転席の正面に画像を提示する表示部を含む。
なお、図２にはウインドシールドに投影するＨＵＤを例示したが、ダッシュボード上に設けられたコンバイナーに投影するＨＵＤであってもよい。
また、本実施形態においては、ＨＵＤに限らず、運転席の正面に画像を提示する表示部を含む。
＜運転状態監視装置１００の構成＞
図１に示すように、運転状態監視装置１００は、撮像部１０と、第１の表示部２０と、ＣＰＵ３０と含んで構成されている。
図１に示すように、運転状態監視装置１００は、撮像部１０と、第１の表示部２０と、ＣＰＵ３０と含んで構成されている。
撮像部１０は、例えば、ＣＣＤ（Charge Coupled Device）、またはＣＩＳ(CMOS Image Sensor)等の撮像素子を内蔵し、撮像素子によって撮像された車両内の運転者の画像を出力する。
撮像部１０は、図２に示すように、後述する第１の表示部２０の外縁上部に設けられ、運転者の顔画像を取得する。
撮像部１０は、例えば近赤外線カメラあるいはＲＧＢカメラ等であって、照射された近赤外光に反射した反射光を受光することにより、運転者の顔を撮像する。撮像部１０は、撮像した画像信号を、後述するＣＰＵ３０に送出する。
撮像部１０は、図２に示すように、後述する第１の表示部２０の外縁上部に設けられ、運転者の顔画像を取得する。
撮像部１０は、例えば近赤外線カメラあるいはＲＧＢカメラ等であって、照射された近赤外光に反射した反射光を受光することにより、運転者の顔を撮像する。撮像部１０は、撮像した画像信号を、後述するＣＰＵ３０に送出する。
第１の表示部２０は、図２に示すように、運転席の前方で車幅方向の中央部に設けられる、例えば、液晶ディスプレイであって、例えば、運転者に対して、運転者の個人登録等に関する情報を表示する。
なお、第１の表示部２０は、車両に搭載されたナビゲーションシステムの表示部を兼ねていてもよい。
なお、第１の表示部２０は、車両に搭載されたナビゲーションシステムの表示部を兼ねていてもよい。
ＣＰＵ３０は、図示しない周知のＣＰＵ、ＲＡＭ、ＲＯＭおよびＩ／Ｏバス等を備え、ＲＯＭに格納された制御プログラムに従って運転状態監視装置１００全体の制御を実行する。
また、本実施形態においては、特に、第１の表示部２０および第２の表示部２００に対して、表示画像の制御を行う。また、ＣＰＵ３０は、撮像部１０から入力した運転者の顔画像から運転者の顔の向きおよび視線方向を検出する。また、ＣＰＵ３０は、検出した運転者の顔の向きおよび視線方向に関する情報に基づいて、視線のキャリブレーション処理を実行する。
なお、ＣＰＵ３０の構成の詳細については後述する。
また、本実施形態においては、特に、第１の表示部２０および第２の表示部２００に対して、表示画像の制御を行う。また、ＣＰＵ３０は、撮像部１０から入力した運転者の顔画像から運転者の顔の向きおよび視線方向を検出する。また、ＣＰＵ３０は、検出した運転者の顔の向きおよび視線方向に関する情報に基づいて、視線のキャリブレーション処理を実行する。
なお、ＣＰＵ３０の構成の詳細については後述する。
＜ＣＰＵ３０の構成＞
図１に示すように、ＣＰＵ３０は、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、データ格納部３３と、表示画像制御部３４とを含んで構成されている。
図１に示すように、ＣＰＵ３０は、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、データ格納部３３と、表示画像制御部３４とを含んで構成されている。
キャリブレーションデータ生成部３１は、撮像部１０により撮像された画像から運転者が第１の表示部２０を視認した時の顔の向きおよび視線方向と、運転者が第２の表示部２００を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成する。
キャリブレーションデータ生成部３１は、撮像部１０による運転者の撮影画像を解析することにより、運転者の顔向きを検出する。
なお、顔向き検出の手法としては、周知の方法を用いてもよい。
キャリブレーションデータ生成部３１は、撮像部１０による運転者の撮影画像を解析することにより、運転者の顔向きを検出する。
なお、顔向き検出の手法としては、周知の方法を用いてもよい。
また、キャリブレーションデータ生成部３１は、撮像部１０による運転者の撮影画像を解析することにより、運転者の視線方向を検出する。
なお、視線方向検出の手法としては、検出した顔の向きから視線方向を検出してもよいし、基準点を目頭、動点を虹彩の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（目頭－ 虹彩法）を用いてもよいし、基準点を角膜反射点（プルキンエ像）、動点を瞳孔の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（瞳孔－角膜反射法）を用いてもよい。
なお、視線方向検出の手法としては、検出した顔の向きから視線方向を検出してもよいし、基準点を目頭、動点を虹彩の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（目頭－ 虹彩法）を用いてもよいし、基準点を角膜反射点（プルキンエ像）、動点を瞳孔の中心にして基準点に対する動点の位置に基づいて視線方向を検出する方法（瞳孔－角膜反射法）を用いてもよい。
キャリブレーションデータ生成部３１は、例えば、図３、図４に示すように、キャリブレーションデータを生成する。
ここで、図３（Ａ）、図４（Ａ）は、運転者の頭上斜方向から前方を見た時の図であり、図３（Ａ）は運転者が第１の表示部２０を見た場合、図４（Ａ）は、運転者が第２の表示部２００を見た場合を示している。図中、Ｄは運転者、Ｍはマーカー、一点鎖線は、マーカーＭを直視したときのマーカーＭに対する運転者Ｄの顔の向き（実際の顔の向き）を示し、実線は、マーカーＭを見た場合に画像から検出された運転者Ｄの顔の向きを示し、点線は、マーカーＭを見た場合に画像から検出された運転者Ｄの視線方向を示している。
ここで、図３（Ａ）、図４（Ａ）は、運転者の頭上斜方向から前方を見た時の図であり、図３（Ａ）は運転者が第１の表示部２０を見た場合、図４（Ａ）は、運転者が第２の表示部２００を見た場合を示している。図中、Ｄは運転者、Ｍはマーカー、一点鎖線は、マーカーＭを直視したときのマーカーＭに対する運転者Ｄの顔の向き（実際の顔の向き）を示し、実線は、マーカーＭを見た場合に画像から検出された運転者Ｄの顔の向きを示し、点線は、マーカーＭを見た場合に画像から検出された運転者Ｄの視線方向を示している。
図３（Ｂ）では、運転者Ｄの顔の向きに相当する直線（図３（Ａ）の実線）と第１の表示部２０の表示面の交点をＦとし、そのときの運転者Ｄの視線方向に相当する直線（図３（Ａ）の点線）と第１の表示部２０の表示面の交点をＲＥ（右目）、ＬＥ（左目）として示している。
なお、本実施形態の場合では、運転者が第１の表示部２０を斜め方向から視認しているため、Ｍに対して、Ｆ、ＲＥ、ＲＬは、斜め直線状となるが、図３では、理解を容易にするために、Ｍに対して、Ｆ、ＲＥ、ＲＬを鉛直方向に配列した状態で示している。
なお、本実施形態の場合では、運転者が第１の表示部２０を斜め方向から視認しているため、Ｍに対して、Ｆ、ＲＥ、ＲＬは、斜め直線状となるが、図３では、理解を容易にするために、Ｍに対して、Ｆ、ＲＥ、ＲＬを鉛直方向に配列した状態で示している。
上記Ｆ、ＲＥ、ＲＬの表示面における位置は、第１の表示部２０の表示面の座標により求めることができる。
この位置情報から、キャリブレーションデータ生成部３１は、運転者が第１の表示部２０を見た場合における顔の向きの誤差（Δ１１）と右目の誤差（Δ１２）および左目の誤差（Δ１３）を算出する。
同様に、キャリブレーションデータ生成部３１は、運転者が第２の表示部２００を見た場合における顔の向きの誤差（Δ２１）と右目の誤差（Δ２２）および左目の誤差（Δ２３）を算出する。
キャリブレーションデータ生成部３１は、上記誤差データから運転者Ｄが第１の表示部２０を視認した時の顔向きゲインおよび視線方向ゲイン、運転者Ｄが第２の表示部２００を視認した時の顔向きゲインおよび視線方向ゲインをキャリブレーションデータとして生成する。
なお、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、後述するデータ格納部３３に格納される。
この位置情報から、キャリブレーションデータ生成部３１は、運転者が第１の表示部２０を見た場合における顔の向きの誤差（Δ１１）と右目の誤差（Δ１２）および左目の誤差（Δ１３）を算出する。
同様に、キャリブレーションデータ生成部３１は、運転者が第２の表示部２００を見た場合における顔の向きの誤差（Δ２１）と右目の誤差（Δ２２）および左目の誤差（Δ２３）を算出する。
キャリブレーションデータ生成部３１は、上記誤差データから運転者Ｄが第１の表示部２０を視認した時の顔向きゲインおよび視線方向ゲイン、運転者Ｄが第２の表示部２００を視認した時の顔向きゲインおよび視線方向ゲインをキャリブレーションデータとして生成する。
なお、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、後述するデータ格納部３３に格納される。
キャリブレーション部３２は、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータに基づいて、運転者Ｄが第１の表示部２０を視認した時の視線方向および運転者Ｄが第２の表示部２００を視認した時の視線方向のキャリブレーションを行う。
キャリブレーション部３２は、後述するデータ格納部３３に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行する。
キャリブレーション部３２は、後述するデータ格納部３３に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行する。
データ格納部３３は、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータを格納する。
また、データ格納部３３は、後述する表示画像制御部３４に用いられる表示データが格納される。
また、データ格納部３３は、後述する表示画像制御部３４に用いられる表示データが格納される。
表示画像制御部３４は、第１の表示部２０と第２の表示部２００に表示させる表示画像を制御する。
表示画像制御部３４は、例えば、第１の表示部２０に個人登録画面を表示させる。
表示画像制御部３４は、例えば、第１の表示部２０に個人登録画面を表示させる。
また、表示画像制御部３４は、例えば、ＣＰＵ３０からの制御信号により、ＣＰＵ３０が、運転者Ｄの個人登録を行うための運転者の顔画像を取得した後に、第２の表示部２００に画像を表示させる。
また、表示画像制御部３４は、第２の表示部２００に動画像を表示させる。
なお、当該動画像は、運転者Ｄの動作を一意に定めるようなものが好ましい。例えば、動画像としては、順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を例示することができる。
なお、当該動画像は、運転者Ｄの動作を一意に定めるようなものが好ましい。例えば、動画像としては、順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を例示することができる。
順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像としては、図５から図９に示すような動画像を例示することができる。
例えば、図５（Ａ）は、横一列にマーカーＭが直線状に順次、遷移して左端から右端に表示された後に、向きを変えて、右端から左端に交互に表示されるものであり、図５（Ｂ）は、縦一列にマーカーＭが直線状に順次、遷移して上端から下端に表示された後に、向きを変えて、下端から上端に交互に表示されるものである。
例えば、図５（Ａ）は、横一列にマーカーＭが直線状に順次、遷移して左端から右端に表示された後に、向きを変えて、右端から左端に交互に表示されるものであり、図５（Ｂ）は、縦一列にマーカーＭが直線状に順次、遷移して上端から下端に表示された後に、向きを変えて、下端から上端に交互に表示されるものである。
例えば、図６（Ａ）は、斜め一列にマーカーＭが直線状に順次、遷移して左上端から右下端に表示された後に、向きを変えて、右下端から左上端に交互に表示されるものであり、図６（Ｂ）は、斜め一列にマーカーＭが直線状に順次、遷移して右上端から左下端に表示された後に、向きを変えて、左下端から右上端に交互に表示されるものである。
例えば、図７（Ａ）は、横に複数列、マーカーＭが直線状に順次、遷移して左端から右端に表示された後に、下の列に移って向きを変え、右端から左端に交互にされる表示が繰り返されるものであり、図７（Ｂ）は、縦に複数列、マーカーＭが直線状に順次、遷移して上端から下端に表示された後に、右隣の列に移って向きを変え、下端から上端に交互にされる表示が繰り返されるものである。
例えば、図８は、複数列配列され、マーカーＭが左上端から右下端に順次、斜めに遷移するものである。なお、遷移の方向を右下端から左上端に、左下端から右上端に、右上端から左下端に、左上端から左下端に、左下端から左上端に、右上端から右下端に、右下端から右上端にしてもよい。
例えば、図９は、複数列配列され、マーカーＭが左上端から左下端に順次、ジグザグに遷移するものである。なお、遷移の方向を左下端から左上端に、右上端から右下端に、左上端から右下端に、左上端から右上端に、右上端から左下端に、右下端から左下端に、右下端から右上端にしてもよい。
＜視線キャリブレーションシステム１の処理＞
図１０から図１３を用いて、本実施形態に係る視線キャリブレーションシステム１の処理について説明する。
図１０から図１３を用いて、本実施形態に係る視線キャリブレーションシステム１の処理について説明する。
＜視線キャリブレーションシステム１のメイン処理＞
図１０に示すように、視線キャリブレーションシステム１のメイン処理は、第１の表示部２０からのキャリブレーションデータ収集処理（ステップＳ１００）と、第２の表示部２００からのキャリブレーションデータ収集処理（ステップＳ２００）と、キャリブレーション処理（ステップＳ３００）とからなっている。
以下、それぞれの処理ステップについて詳述する。
図１０に示すように、視線キャリブレーションシステム１のメイン処理は、第１の表示部２０からのキャリブレーションデータ収集処理（ステップＳ１００）と、第２の表示部２００からのキャリブレーションデータ収集処理（ステップＳ２００）と、キャリブレーション処理（ステップＳ３００）とからなっている。
以下、それぞれの処理ステップについて詳述する。
＜第１の表示部２０からのキャリブレーションデータ収集処理＞
図１１を用いて、第１の表示部２０からのキャリブレーションデータ収集処理について説明する。
図１１を用いて、第１の表示部２０からのキャリブレーションデータ収集処理について説明する。
まず、表示画像制御部３４は、ＣＰＵ３０からの制御信号に基づいて、第１の表示部２０に運転状態監視装置１００を利用するための個人登録画面を表示する（ステップＳ１１０）。
この時、撮像部１０は、ＣＰＵ３０からの制御信号に基づいて、運転者Ｄの顔画像を撮像する（ステップＳ１２０）。
撮像部１０は、撮像を完了すると、運転者Ｄの顔画像データをキャリブレーションデータ生成部３１に出力する。
撮像部１０は、撮像を完了すると、運転者Ｄの顔画像データをキャリブレーションデータ生成部３１に出力する。
キャリブレーションデータ生成部３１は、入力した運転者Ｄの顔画像データから、運転者Ｄの顔の向き、視線方向を抽出する。
そして、キャリブレーションデータ生成部３１は、抽出した運転者Ｄの顔の向き、視線方向と運転者ＤがマーカーＭを視認したときの顔の向きとから、運転者Ｄが第１の表示部２０を見た場合の顔の向きの誤差（Δ１１）と右目の誤差（Δ１２）および左目の誤差（Δ１３）を算出する。
そして、キャリブレーションデータ生成部３１は、抽出した運転者Ｄの顔の向き、視線方向と運転者ＤがマーカーＭを視認したときの顔の向きとから、運転者Ｄが第１の表示部２０を見た場合の顔の向きの誤差（Δ１１）と右目の誤差（Δ１２）および左目の誤差（Δ１３）を算出する。
さらに、キャリブレーションデータ生成部３１は、上記誤差データから運転者Ｄが第１の表示部２０を視認した時の顔向きゲインおよび視線方向ゲインをキャリブレーションデータとして生成する（ステップＳ１３０）。
そして、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、データ格納部３３に格納される（ステップＳ１４０）。
そして、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、データ格納部３３に格納される（ステップＳ１４０）。
＜第２の表示部２００からのキャリブレーションデータ収集処理＞
図１２を用いて、第２の表示部２００からのキャリブレーションデータ収集処理について説明する。
図１２を用いて、第２の表示部２００からのキャリブレーションデータ収集処理について説明する。
まず、表示画像制御部３４は、ＣＰＵ３０からの制御信号に基づいて、第１の表示部２０において運転者Ｄの顔画像が撮像されたタイミングで第２の表示部２００に動画像を表示する（ステップＳ２１０）。
なお、第２の表示部２００に表示される動画像としては、図５から図９に示すような順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を例示することができる。
なお、第２の表示部２００に表示される動画像としては、図５から図９に示すような順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を例示することができる。
この時、撮像部１０は、ＣＰＵ３０からの制御信号に基づいて、第２の表示部２００に表示される動画像を注視する運転者Ｄの顔画像を撮像する（ステップＳ２２０）。
撮像部１０は、撮像を完了すると、運転者Ｄの顔画像データをキャリブレーションデータ生成部３１に出力する。
撮像部１０は、撮像を完了すると、運転者Ｄの顔画像データをキャリブレーションデータ生成部３１に出力する。
キャリブレーションデータ生成部３１は、入力した運転者Ｄの顔画像データから、運転者Ｄの顔の向き、視線方向を抽出する。
そして、キャリブレーションデータ生成部３１は、抽出した運転者Ｄの顔の向き、視線方向と運転者ＤがマーカーＭを視認したときの顔の向きとから、運転者Ｄが第２の表示部２００を見た場合における顔の向きの誤差（Δ２１）と右目の誤差（Δ２２）および左目の誤差（Δ２３）を算出する。
そして、キャリブレーションデータ生成部３１は、抽出した運転者Ｄの顔の向き、視線方向と運転者ＤがマーカーＭを視認したときの顔の向きとから、運転者Ｄが第２の表示部２００を見た場合における顔の向きの誤差（Δ２１）と右目の誤差（Δ２２）および左目の誤差（Δ２３）を算出する。
さらに、キャリブレーションデータ生成部３１は、上記誤差データから運転者Ｄが第２の表示部２００を視認した時の顔向きゲインおよび視線方向ゲインをキャリブレーションデータとして生成する（ステップＳ２３０）。
そして、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、データ格納部３３に格納される（ステップＳ２４０）。
そして、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータは、データ格納部３３に格納される（ステップＳ２４０）。
＜キャリブレーション処理＞
図１３を用いて、キャリブレーション処理について説明する。
図１３を用いて、キャリブレーション処理について説明する。
ＣＰＵ３０は、データ格納部３３に予め定めた所定量のキャリブレーションデータが格納されているか否かを判定する（ステップＳ３１０）。
この時、ＣＰＵ３０がデータ格納部３３に予め定めた所定量のキャリブレーションデータが格納されていないと判断した場合（ステップＳ３１０の「ＮＯ」）には、待機モードに遷移する。
一方で、ＣＰＵ３０がデータ格納部３３に予め定めた所定量のキャリブレーションデータが格納されていると判断した場合（ステップＳ３１０の「ＹＥＳ」）には、処理をステップＳ３２０に遷移させる。
この時、キャリブレーション部３２は、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータに基づいて、運転者Ｄが第１の表示部２０を視認した時の視線方向および運転者Ｄが第２の表示部２００を視認した時の視線方向のキャリブレーションを行う（ステップＳ３２０）。
＜作用・効果＞
以上、説明したように、本実施形態に係る視線キャリブレーションシステム１は、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００と、第１の表示部の外縁上部に設けられた撮像部１０と、第１の表示部２０と第２の表示部２００に表示させる表示画像を制御する表示画像制御部３４と、撮像部１０により撮像された画像から運転者Ｄが第１の表示部２０を視認した時の顔の向きおよび視線方向と、運転者Ｄが第２の表示部２００を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成するキャリブレーションデータ生成部３１と、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータに基づいて、第１の表示部２０を視認する場合に基準となる顔の向きに対応する視線方向および第２の表示部２００を視認する場合に基準となる顔の向きに対応する視線方向に対するキャリブレーションを行うキャリブレーション部３２と、を含んで構成されている。
つまり、本実施形態に係る視線キャリブレーションシステム１は、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００とにおいて、視線のキャリブレーションを実施する。
一般に、撮像部１０の光軸に近傍で撮像された画像を用いて行うキャリブレーション（第１の表示部２０によるキャリブレーション）は精度が高く、撮像部１０の光軸から外れて撮像された画像を用いて行うキャリブレーション（第２の表示部２００におけるキャリブレーション）は精度が低いことが知られている。
しかしながら、本実施形態に係る視線キャリブレーションシステム１では、第１の表示部２０を運転者Ｄが視認した場合のキャリブレーションデータに基づいて、第１の表示部２０を運転者Ｄが視認した場合のキャリブレーションを行い、第２の表示部２００を運転者Ｄが視認した場合のキャリブレーションデータに基づいて、第２の表示部２００を運転者Ｄが視認した場合のキャリブレーションを行うことから、第２の表示部２００におけるキャリブレーションについても精度を向上させることができる。
すなわち、運転者Ｄの顔の向きと撮像部１０の光軸との差が小さい場合におけるキャリブレーションデータを取得するとともに、運転者Ｄの顔の向きと撮像部１０の光軸との差が大きい場合におけるキャリブレーションデータを取得することから、撮像部１０の光軸から外れた領域を含む広域において、視線のキャリブレーションの精度を向上させることができる。
具体的には、図２を例とすると、運転者Ｄがエアコン６２やナビゲーションシステム６１を視認している場合は、第１の表示部２０に対して取得されたキャリブレーションデータを用い、運転者Ｄがメータパネル６３やドアミラー６４を視認している場合は、第２の表示部２００に対して取得されたキャリブレーションデータを用いることにより、撮像部１０の光軸から外れた領域を含む広域において、視線のキャリブレーションの精度を向上させることができる。
以上、説明したように、本実施形態に係る視線キャリブレーションシステム１は、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００と、第１の表示部の外縁上部に設けられた撮像部１０と、第１の表示部２０と第２の表示部２００に表示させる表示画像を制御する表示画像制御部３４と、撮像部１０により撮像された画像から運転者Ｄが第１の表示部２０を視認した時の顔の向きおよび視線方向と、運転者Ｄが第２の表示部２００を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成するキャリブレーションデータ生成部３１と、キャリブレーションデータ生成部３１において生成されたキャリブレーションデータに基づいて、第１の表示部２０を視認する場合に基準となる顔の向きに対応する視線方向および第２の表示部２００を視認する場合に基準となる顔の向きに対応する視線方向に対するキャリブレーションを行うキャリブレーション部３２と、を含んで構成されている。
つまり、本実施形態に係る視線キャリブレーションシステム１は、運転席の前方で車幅方向の中央部に設けられた第１の表示部２０と、運転席の正面に設けられた第２の表示部２００とにおいて、視線のキャリブレーションを実施する。
一般に、撮像部１０の光軸に近傍で撮像された画像を用いて行うキャリブレーション（第１の表示部２０によるキャリブレーション）は精度が高く、撮像部１０の光軸から外れて撮像された画像を用いて行うキャリブレーション（第２の表示部２００におけるキャリブレーション）は精度が低いことが知られている。
しかしながら、本実施形態に係る視線キャリブレーションシステム１では、第１の表示部２０を運転者Ｄが視認した場合のキャリブレーションデータに基づいて、第１の表示部２０を運転者Ｄが視認した場合のキャリブレーションを行い、第２の表示部２００を運転者Ｄが視認した場合のキャリブレーションデータに基づいて、第２の表示部２００を運転者Ｄが視認した場合のキャリブレーションを行うことから、第２の表示部２００におけるキャリブレーションについても精度を向上させることができる。
すなわち、運転者Ｄの顔の向きと撮像部１０の光軸との差が小さい場合におけるキャリブレーションデータを取得するとともに、運転者Ｄの顔の向きと撮像部１０の光軸との差が大きい場合におけるキャリブレーションデータを取得することから、撮像部１０の光軸から外れた領域を含む広域において、視線のキャリブレーションの精度を向上させることができる。
具体的には、図２を例とすると、運転者Ｄがエアコン６２やナビゲーションシステム６１を視認している場合は、第１の表示部２０に対して取得されたキャリブレーションデータを用い、運転者Ｄがメータパネル６３やドアミラー６４を視認している場合は、第２の表示部２００に対して取得されたキャリブレーションデータを用いることにより、撮像部１０の光軸から外れた領域を含む広域において、視線のキャリブレーションの精度を向上させることができる。
また、本実施形態に係る視線キャリブレーションシステム１は、第１の表示部２０と、撮像部１０と、表示画像制御部３４と、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、を備えた運転状態監視装置１００を用いて、運転者Ｄが個人登録を行うための運転者Ｄの顔画像を取得した後に、表示画像制御部３４が第２の表示部２００に画像を表示する。
つまり、運転状態監視装置１００における個人登録をトリガに第１の表示部２０を用いたキャリブレーションデータを取得し、運転者Ｄが個人登録を行うための運転者Ｄの顔画像を取得した後に、表示画像制御部３４が第２の表示部２００に画像を表示し、キャリブレーションデータを取得する。
そのため、運転者Ｄの負担を軽減するとともに、キャリブレーションデータの取得時間を短縮することができる。
つまり、運転状態監視装置１００における個人登録をトリガに第１の表示部２０を用いたキャリブレーションデータを取得し、運転者Ｄが個人登録を行うための運転者Ｄの顔画像を取得した後に、表示画像制御部３４が第２の表示部２００に画像を表示し、キャリブレーションデータを取得する。
そのため、運転者Ｄの負担を軽減するとともに、キャリブレーションデータの取得時間を短縮することができる。
また、本実施形態に係る視線キャリブレーションシステム１において、表示画像制御部３４は、第２の表示部２００に動画像を表示させる。
つまり、第２の表示部２００に動画像を表示させることにより、運転者Ｄの動作を一意に定めることができるため、視線キャリブレーションに有用な視線データを取得するまでの時間を短縮することができる。
また、第２の表示部２００に動画像を表示させることにより、運転者Ｄの動作を一意に定めることができるため、キャリブレーションデータの精度を高めることができる。
つまり、第２の表示部２００に動画像を表示させることにより、運転者Ｄの動作を一意に定めることができるため、視線キャリブレーションに有用な視線データを取得するまでの時間を短縮することができる。
また、第２の表示部２００に動画像を表示させることにより、運転者Ｄの動作を一意に定めることができるため、キャリブレーションデータの精度を高めることができる。
また、本実施形態に係る視線キャリブレーションシステム１において、表示画像制御部３４は、順次、運転者Ｄに視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を第２の表示部２００の全域に表示させる。
具体的には、表示画像制御部３４は、図５から図９に示すようなシーケンシャルな動画像を第２の表示部２００の全域に表示させる。
これにより、運転者Ｄの視線を容易に誘導することができ、運転者Ｄの動作のばらつきを抑えることにより、視線キャリブレーションに有用な視線データを取得するまでの時間を短縮することができる。
具体的には、表示画像制御部３４は、図５から図９に示すようなシーケンシャルな動画像を第２の表示部２００の全域に表示させる。
これにより、運転者Ｄの視線を容易に誘導することができ、運転者Ｄの動作のばらつきを抑えることにより、視線キャリブレーションに有用な視線データを取得するまでの時間を短縮することができる。
また、本実施形態に係る視線キャリブレーションシステム１において、キャリブレーション部３２は、データ格納部３３に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行する。
つまり、キャリブレーション部３２は、キャリブレーション処理に十分なキャリブレーションデータがデータ格納部３３に格納されたタイミングでキャリブレーションを実行することから、視線キャリブレーション処理の精度を高めることができる。
つまり、キャリブレーション部３２は、キャリブレーション処理に十分なキャリブレーションデータがデータ格納部３３に格納されたタイミングでキャリブレーションを実行することから、視線キャリブレーション処理の精度を高めることができる。
また、本実施形態に係る視線キャリブレーションシステム１においては、第２の表示部２００がヘッドアップディスプレイで構成されている。
つまり、車両に搭載されている運転状態監視装置１００とヘッドアップディスプレイとを用いて、視線キャリブレーションを実行できるため、余計な装置を必要とせず、簡便に視線キャリブレーションを実行できる。
また、表示領域が大きいヘッドアップディスプレイを第２の表示部２００とするため、一般に、精度が低いとされる撮像部１０の光軸から外れた第２の表示部２００においても、十分なキャリブレーションデータが得ることによって、キャリブレーションの精度を高めることができる。
つまり、車両に搭載されている運転状態監視装置１００とヘッドアップディスプレイとを用いて、視線キャリブレーションを実行できるため、余計な装置を必要とせず、簡便に視線キャリブレーションを実行できる。
また、表示領域が大きいヘッドアップディスプレイを第２の表示部２００とするため、一般に、精度が低いとされる撮像部１０の光軸から外れた第２の表示部２００においても、十分なキャリブレーションデータが得ることによって、キャリブレーションの精度を高めることができる。
＜変形例１＞
例えば、上記実施形態においては、ＣＰＵ３０に、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、データ格納部３３と、を設けた構成を示したが、撮像部１０において撮像された画像情報等を車両にネットワークを介して接続されたサーバーに転送し、当該サーバーにおいて、キャリブレーションデータ生成部３１の処理、キャリブレーション部３２の処理を実行させる構成としてもよい。
このようにすることにより、多くの情報を迅速に処理することができる。
例えば、上記実施形態においては、ＣＰＵ３０に、キャリブレーションデータ生成部３１と、キャリブレーション部３２と、データ格納部３３と、を設けた構成を示したが、撮像部１０において撮像された画像情報等を車両にネットワークを介して接続されたサーバーに転送し、当該サーバーにおいて、キャリブレーションデータ生成部３１の処理、キャリブレーション部３２の処理を実行させる構成としてもよい。
このようにすることにより、多くの情報を迅速に処理することができる。
＜変形例２＞
上記実施形態においては、特に言及しなかったが、第１の表示部２０においても動画像を表示してもよい。
具体的には、個人登録のトップ画面に、例えば、図５に示すような動画像を表示してもよいし、個人登録のトップ画面と次画面との間に、メッセージとともに図６から図９に示すような動画像を表示する画面を設けてもよい。
また、個人登録のトップ画面と次画面との間に、「空いている場所を（Ａ）から（Ｄ）の順番に視認して下さい。」というメッセージとともに図１４に示す画像を表示してもよい。
このように、第１の表示部２０においても動画像や静止画像を表示することによって、運転者Ｄの視線を一意に定めることにより、第１の表示部２０を運転者Ｄが視認する際に得られるキャリブレーションデータの精度を高めることができる。
上記実施形態においては、特に言及しなかったが、第１の表示部２０においても動画像を表示してもよい。
具体的には、個人登録のトップ画面に、例えば、図５に示すような動画像を表示してもよいし、個人登録のトップ画面と次画面との間に、メッセージとともに図６から図９に示すような動画像を表示する画面を設けてもよい。
また、個人登録のトップ画面と次画面との間に、「空いている場所を（Ａ）から（Ｄ）の順番に視認して下さい。」というメッセージとともに図１４に示す画像を表示してもよい。
このように、第１の表示部２０においても動画像や静止画像を表示することによって、運転者Ｄの視線を一意に定めることにより、第１の表示部２０を運転者Ｄが視認する際に得られるキャリブレーションデータの精度を高めることができる。
なお、キャリブレーションデータ生成部３１、キャリブレーション部３２、表示画像制御部３４の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをキャリブレーションデータ生成部３１、キャリブレーション部３２、表示画像制御部３４に読み込ませ、実行することによって本発明の視線キャリブレーションシステム１を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。
また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１；視線キャリブレーションシステム
１０；撮像部
２０；第１の表示部
３０；ＣＰＵ
３１；キャリブレーションデータ生成部
３２；キャリブレーション部
３３；データ格納部
３４；表示画像制御部
１００；運転状態監視装置
２００；第２の表示部
１０；撮像部
２０；第１の表示部
３０；ＣＰＵ
３１；キャリブレーションデータ生成部
３２；キャリブレーション部
３３；データ格納部
３４；表示画像制御部
１００；運転状態監視装置
２００；第２の表示部
Claims (7)
- 運転席の前方で車幅方向の中央部に設けられた第１の表示部と、
前記運転席の正面に設けられた第２の表示部と、
前記第１の表示部の外縁上部に設けられた撮像部と、
前記第１の表示部と前記第２の表示部に表示させる表示画像を制御する表示画像制御部と、
該撮像部により撮像された画像から運転者が前記第１の表示部を視認した時の顔の向きおよび視線方向と、前記運転者が前記第２の表示部を視認した時の顔の向きおよび視線方向とを検出し、キャリブレーションデータを生成するキャリブレーションデータ生成部と、
前記キャリブレーションデータ生成部において生成されたキャリブレーションデータに基づいて、前記第１の表示部を視認する場合に基準となる顔の向きに対応する視線方向および前記第２の表示部を視認する場合に基準となる顔の向きに対応する視線方向に対するキャリブレーションを行うキャリブレーション部と、
を備えたことを特徴とする視線キャリブレーションシステム。 - 前記第１の表示部と、前記撮像部と、前記キャリブレーションデータ生成部と、前記キャリブレーション部と、が前記運転者のモニタリングを行う運転状態監視装置に備えられていることを特徴とする請求項１に記載の視線キャリブレーションシステム。
- 前記運転状態監視装置を用いて、前記運転者が個人登録を行うための前記運転者の顔画像を取得した後に、前記表示画像制御部が前記第２の表示部に画像を表示することを特徴とする請求項２に記載の視線キャリブレーションシステム。
- 前記表示画像制御部は、前記第２の表示部に動画像を表示させることを特徴とする請求項３に記載の視線キャリブレーションシステム。
- 前記表示画像制御部は、順次、前記運転者に視認させるマーカーが遷移するよう表示されるシーケンシャルな動画像を前記第２の表示部の全域に表示させることを特徴とする請求項３に記載の視線キャリブレーションシステム。
- 前記キャリブレーションデータ生成部において生成されたキャリブレーションデータを格納するデータ格納部を備え、
前記キャリブレーション部は、前記データ格納部に所定量のキャリブレーションデータが格納されたタイミングでキャリブレーションを実行することを特徴とする請求項１から５のいずれか１項に記載の視線キャリブレーションシステム。 - 前記第２の表示部がヘッドアップディスプレイで構成されていることを特徴とする請求項１から６のいずれか１項に記載の視線キャリブレーションシステム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020218516A JP2022103717A (ja) | 2020-12-28 | 2020-12-28 | 視線キャリブレーションシステム |
| CN202111312633.2A CN114693747A (zh) | 2020-12-28 | 2021-11-08 | 视线校准系统 |
| US17/538,165 US20220207773A1 (en) | 2020-12-28 | 2021-11-30 | Gaze calibration system |
| DE102021133056.4A DE102021133056A1 (de) | 2020-12-28 | 2021-12-14 | Blickrichtungskalibrierungssystem |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020218516A JP2022103717A (ja) | 2020-12-28 | 2020-12-28 | 視線キャリブレーションシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022103717A true JP2022103717A (ja) | 2022-07-08 |
Family
ID=81972362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020218516A Pending JP2022103717A (ja) | 2020-12-28 | 2020-12-28 | 視線キャリブレーションシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220207773A1 (ja) |
| JP (1) | JP2022103717A (ja) |
| CN (1) | CN114693747A (ja) |
| DE (1) | DE102021133056A1 (ja) |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5092776B2 (ja) | 2008-02-06 | 2012-12-05 | 株式会社デンソー | 視線方向検出装置及び視線方向検出方法 |
| JP5278461B2 (ja) * | 2011-02-03 | 2013-09-04 | 株式会社デンソー | 視線検出装置および視線検出方法 |
| US20120215403A1 (en) * | 2011-02-20 | 2012-08-23 | General Motors Llc | Method of monitoring a vehicle driver |
| GB2514603B (en) * | 2013-05-30 | 2020-09-23 | Tobii Ab | Gaze-controlled user interface with multimodal input |
| US9785235B2 (en) * | 2014-02-19 | 2017-10-10 | Mitsubishi Electric Corporation | Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system |
| US9751406B2 (en) * | 2014-04-03 | 2017-09-05 | Audi Ag | Motor vehicle and method for controlling a climate control system in a motor vehicle |
| US9782069B2 (en) * | 2014-11-06 | 2017-10-10 | International Business Machines Corporation | Correcting systematic calibration errors in eye tracking data |
| JP6495457B2 (ja) * | 2014-12-16 | 2019-04-03 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 較正の改善、正確性の補償、及び注視定位平滑化を有する注視追跡システム |
| EP3040809B1 (en) * | 2015-01-02 | 2018-12-12 | Harman Becker Automotive Systems GmbH | Method and system for controlling a human-machine interface having at least two displays |
| DE102015204283A1 (de) * | 2015-03-10 | 2016-09-15 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person |
| WO2017181429A1 (en) * | 2016-04-22 | 2017-10-26 | SZ DJI Technology Co., Ltd. | Systems and methods for processing image data based on region-of-interest (roi) of a user |
| EP3249497A1 (en) * | 2016-05-24 | 2017-11-29 | Harman Becker Automotive Systems GmbH | Eye tracking |
| JP2019519859A (ja) * | 2016-06-29 | 2019-07-11 | シーイング マシーンズ リミテッド | 視線追跡を実行するシステム及び方法 |
| JP2019046240A (ja) | 2017-09-04 | 2019-03-22 | 株式会社デンソーテン | 視線方向検出装置及びキャリブレーション方法 |
| US11042994B2 (en) * | 2017-11-15 | 2021-06-22 | Toyota Research Institute, Inc. | Systems and methods for gaze tracking from arbitrary viewpoints |
-
2020
- 2020-12-28 JP JP2020218516A patent/JP2022103717A/ja active Pending
-
2021
- 2021-11-08 CN CN202111312633.2A patent/CN114693747A/zh active Pending
- 2021-11-30 US US17/538,165 patent/US20220207773A1/en active Pending
- 2021-12-14 DE DE102021133056.4A patent/DE102021133056A1/de active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220207773A1 (en) | 2022-06-30 |
| CN114693747A (zh) | 2022-07-01 |
| DE102021133056A1 (de) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4560368B2 (ja) | 眼検出装置および画像表示装置 | |
| WO2018030515A1 (ja) | 視線検出装置 | |
| US20150238087A1 (en) | Biological information measurement device and input device utilizing same | |
| JP5694257B2 (ja) | 表示装置、表示方法及びプログラム | |
| JP4926766B2 (ja) | 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム | |
| US20210022606A1 (en) | Image processing method, program, image processing device, and ophthalmic system | |
| JP6971686B2 (ja) | 視線検出装置及び視線検出方法 | |
| JP2018039394A (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
| WO2011136213A1 (ja) | 表示装置 | |
| WO2019021601A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| WO2018051685A1 (ja) | 輝度制御装置、輝度制御システム及び輝度制御方法 | |
| KR101825450B1 (ko) | 차량 제어 장치 및 그 장치의 제어 방법 | |
| JP2022103717A (ja) | 視線キャリブレーションシステム | |
| JP2001134371A (ja) | 視線検出装置 | |
| JP2017138645A (ja) | 視線検出装置 | |
| JP2019146915A (ja) | 評価装置、評価方法、及び評価プログラム | |
| JP2017162233A (ja) | 視線検出装置および視線検出方法 | |
| US10691250B2 (en) | Information processing device, information processing method, and program for preventing reflection of an operation in an output | |
| US20230224561A1 (en) | Display apparatus, finder apparatus, and imaging apparatus | |
| JP2019169080A (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
| WO2023184109A1 (zh) | 眼球跟踪装置、方法以及显示设备 | |
| WO2022044395A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
| WO2016185678A1 (ja) | 死角表示装置及び死角表示方法 | |
| WO2023008023A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
| JPH1097376A (ja) | 視線操作装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231104 |