JP2020188294A - Image display device and image display program - Google Patents

Image display device and image display program Download PDF

Info

Publication number
JP2020188294A
JP2020188294A JP2019089293A JP2019089293A JP2020188294A JP 2020188294 A JP2020188294 A JP 2020188294A JP 2019089293 A JP2019089293 A JP 2019089293A JP 2019089293 A JP2019089293 A JP 2019089293A JP 2020188294 A JP2020188294 A JP 2020188294A
Authority
JP
Japan
Prior art keywords
image
display
vehicle
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019089293A
Other languages
Japanese (ja)
Other versions
JP7395842B2 (en
Inventor
貢規 森田
Tsugunori Morita
貢規 森田
健作 下川
Kensaku Shimokawa
健作 下川
健介 川村
Kensuke Kawamura
健介 川村
坂部 匡彦
Masahiko Sakabe
匡彦 坂部
寛明 片岡
Hiroaki Kataoka
寛明 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2019089293A priority Critical patent/JP7395842B2/en
Publication of JP2020188294A publication Critical patent/JP2020188294A/en
Application granted granted Critical
Publication of JP7395842B2 publication Critical patent/JP7395842B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

To display images captured in substantially opposite imaging directions on the same screen such that the images are accurately recognizable.SOLUTION: An image display device 400 includes an image acquisition unit 401 that acquires a plurality of captured images obtained as an image capture result by one or more imaging units provided in a vehicle, and a display processing unit 402 that displays a first image having a first direction as an imaging direction and a second image having a second direction substantially opposite to the first direction as an imaging direction on a display unit after performing mirror image processing that inverts the left and right of either the first image or the second image when a plurality of captured images include the first image and the second image.SELECTED DRAWING: Figure 4

Description

本開示は、画像表示装置および画像表示プログラムに関する。 The present disclosure relates to an image display device and an image display program.

従来から、車両に設けられる1以上の撮像部による撮像結果としての複数の撮像画像を同一の画面上に表示する技術について検討されている。このような技術の一つとして、車両の乗員の顔が写った顔画像と、車両の前方が写った前方画像と、を表示する技術が知られている。 Conventionally, a technique for displaying a plurality of captured images as imaging results by one or more imaging units provided in a vehicle on the same screen has been studied. As one of such techniques, a technique for displaying a face image showing the face of a vehicle occupant and a front image showing the front of the vehicle is known.

特開2005−188998号公報Japanese Unexamined Patent Publication No. 2005-188998

しかしながら、上記のような従来の技術において、顔画像および前方画像は、撮像方向が実質的に逆である。撮像方向が実質的に逆の2つの撮像画像に写った像は、実質的に互いに鏡像の関係となるので、それらの画像が同一の画面上に表示されると、表示内容を正確に認識することができない場合がある。 However, in the conventional technique as described above, the image pickup direction of the face image and the front image is substantially opposite. Images captured in two captured images whose imaging directions are substantially opposite to each other are substantially mirror images of each other, and therefore, when those images are displayed on the same screen, the displayed contents are accurately recognized. It may not be possible.

そこで、本開示の課題の一つは、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することが可能な画像表示装置および画像表示プログラムを提供することである。 Therefore, one of the problems of the present disclosure is to provide an image display device and an image display program capable of accurately and recognizablely displaying captured images having substantially opposite imaging directions on the same screen. is there.

本開示の一例としての画像表示装置は、車両に設けられる1以上の撮像部による撮像結果として得られる複数の撮像画像を取得する画像取得部と、複数の撮像画像が、第1方向を撮像方向とする第1画像と、第1方向とは実質的に逆の第2方向を撮像方向とする第2画像と、を含む場合に、第1画像および第2画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、第1画像および第2画像を表示部に表示する表示処理部と、を備える。 An image display device as an example of the present disclosure includes an image acquisition unit that acquires a plurality of captured images obtained as an imaging result by one or more imaging units provided in a vehicle, and a plurality of captured images in a first direction in an imaging direction. When the first image is included and the second image whose imaging direction is a second direction substantially opposite to the first direction is included, for either the first image or the second image. A display processing unit for displaying the first image and the second image on the display unit after executing the mirror image processing for inverting the left and right sides is provided.

上述した画像表示装置によれば、撮像画像が実質的に逆の撮像画像としての第1画像および第2画像のうちいずれか一方の画像が、左右が反転した上で他方の画像とともに表示部に表示されるので、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することができる。 According to the image display device described above, one of the first image and the second image as captured images in which the captured images are substantially opposite is displayed on the display unit together with the other image after the left and right are inverted. Since it is displayed, it is possible to accurately and recognizable the captured images having substantially opposite imaging directions on the same screen.

上述した画像表示装置において、表示処理部は、第1画像および第2画像のうち一方が、車両の内部の状況が写った車内画像であり、第1画像および第2画像のうち他方が、車両の外部の状況が写った車外画像である場合、車内画像に鏡像処理を実行した上で、車内画像および車外画像を表示部に表示する。このような構成によれば、車内画像および車外画像のうち、左右が反転しても違和感が生じにくい車内画像の方に鏡像処理を実行されるので、車内画像および車外画像を同一の画面上で違和感の小さい形で表示することができる。 In the image display device described above, in the display processing unit, one of the first image and the second image is an in-vehicle image showing the internal situation of the vehicle, and the other of the first image and the second image is the vehicle. In the case of an outside-vehicle image showing the outside situation of the vehicle, the inside-vehicle image and the outside-vehicle image are displayed on the display unit after performing mirror image processing on the inside-vehicle image. According to such a configuration, the mirror image processing is executed on the vehicle interior image and the vehicle exterior image that are less likely to cause a sense of discomfort even if the left and right sides are reversed. Therefore, the vehicle interior image and the vehicle exterior image are displayed on the same screen. It can be displayed in a form with little discomfort.

この場合において、表示処理部は、車内画像として、車両の乗員の顔が写った顔画像を表示し、車外画像として、車両の前方の状況が写った前方画像を表示する。このような構成によれば、顔画像および前方画像を同一の画面上で違和感の小さい形で表示することができる。 In this case, the display processing unit displays a face image showing the face of the occupant of the vehicle as an in-vehicle image, and displays a front image showing the situation in front of the vehicle as an outside image. According to such a configuration, the face image and the front image can be displayed on the same screen in a form with less discomfort.

また、この場合において、表示処理部は、乗員の顔に含まれうる目の向きおよび顔の向きのうち少なくとも一方を識別するための方向識別標示を表示部に表示する。このような構成によれば、乗員の目の向きおよび顔の向きのうち少なくとも一方を視覚的に分かりやすく表示することができる。 Further, in this case, the display processing unit displays on the display unit a direction identification mark for identifying at least one of the eye orientation and the face orientation that can be included in the occupant's face. According to such a configuration, at least one of the occupant's eye orientation and face orientation can be displayed in a visually understandable manner.

上述した画像表示装置において、表示処理部は、第1画像および第2画像のうち鏡像処理が実行された方を識別するための鏡像識別標示を表示部に表示する。このような構成によれば、鏡像処理が実行された画像の識別を容易化することができる。 In the image display device described above, the display processing unit displays on the display unit a mirror image identification mark for identifying which of the first image and the second image the mirror image processing has been executed. According to such a configuration, it is possible to facilitate the identification of the image on which the mirror image processing is performed.

また、上述した画像表示装置において、表示処理部は、複数の撮像画像の全ての撮像方向が実質的に同じである場合、鏡像処理を実行することなく、複数の撮像画像を表示部に表示する。このような構成によれば、撮像方向が実質的に逆の撮像画像が存在しない場合に、複数の撮像画像をそのままの形で簡単に表示することができる。 Further, in the image display device described above, when all the imaging directions of the plurality of captured images are substantially the same, the display processing unit displays the plurality of captured images on the display unit without executing the mirror image processing. .. According to such a configuration, a plurality of captured images can be easily displayed as they are when there is no captured image whose imaging direction is substantially opposite.

本開示の他の一例としての画像表示プログラムは、車両に設けられる1以上の撮像部による撮像結果として得られる撮像画像を取得する画像取得ステップと、撮像画像が、第1方向を撮像方向とする第1画像と、第1方向とは実質的に逆の第2方向を撮像方向とする第2画像と、を含む場合に、第1画像および第2画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、第1画像および第2画像を表示部に表示する表示処理ステップと、をコンピュータに実行させる。 An image display program as another example of the present disclosure includes an image acquisition step of acquiring an image obtained as an image capture result by one or more image pickup units provided in a vehicle, and an image capture image having a first direction as an image pickup direction. When the first image and the second image whose imaging direction is a second direction substantially opposite to the first direction are included, the left and right sides of the first image and the second image are left and right. After executing the mirror image processing to be inverted, the computer is made to execute the display processing step of displaying the first image and the second image on the display unit.

上述した画像表示プログラムによれば、撮像画像が実質的に逆の撮像画像としての第1画像および第2画像のうちいずれか一方の画像が、左右が反転した上で他方の画像とともに表示部に表示されるので、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することができる。 According to the image display program described above, one of the first image and the second image as captured images in which the captured images are substantially opposite is displayed on the display unit together with the other image after the left and right are inverted. Since it is displayed, it is possible to accurately and recognizable the captured images having substantially opposite imaging directions on the same screen.

図1は、実施形態にかかる技術の適用対象としての運転行動確認システムの概要を説明するための例示的かつ模式的な図である。FIG. 1 is an exemplary and schematic diagram for explaining an outline of a driving behavior confirmation system as an application target of the technology according to the embodiment. 図2は、実施形態にかかる運転行動確認システムを構成する各装置の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。FIG. 2 is an exemplary and schematic block diagram showing a schematic hardware configuration of each device constituting the driving behavior confirmation system according to the embodiment. 図3は、実施形態にかかる顔画像の撮像方向および前方画像の撮像方向の関係を示した例示的かつ模式的な図である。FIG. 3 is an exemplary and schematic diagram showing the relationship between the image pickup direction of the face image and the image pickup direction of the front image according to the embodiment. 図4は、実施形態にかかる画像表示装置の機能を示した例示的かつ模式的な図である。FIG. 4 is an exemplary and schematic diagram showing the function of the image display device according to the embodiment. 図5は、実施形態にかかる表示部に表示される画像の一例を示した例示的かつ模式的な図である。FIG. 5 is an exemplary and schematic diagram showing an example of an image displayed on the display unit according to the embodiment. 図6は、実施形態にかかる表示部に表示される画像の他の一例を示した例示的かつ模式的な図である。FIG. 6 is an exemplary and schematic diagram showing another example of the image displayed on the display unit according to the embodiment. 図7は、実施形態にかかる表示部に表示される画像のさらに他の一例を示した例示的かつ模式的な図である。FIG. 7 is an exemplary and schematic diagram showing still another example of the image displayed on the display unit according to the embodiment. 図8は、実施形態にかかる画像表示装置が実行する一連の処理を示した例示的かつ模式的なフローチャートである。FIG. 8 is an exemplary and schematic flowchart showing a series of processes executed by the image display device according to the embodiment.

以下、本開示の実施形態を図面に基づいて説明する。以下に説明される実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. The configurations of the embodiments described below, and the actions and effects brought about by the configurations, are merely examples and are not limited to the contents described below.

図1は、実施形態にかかる技術の適用対象としての運転行動確認システムの概要を説明するための例示的かつ模式的な図である。 FIG. 1 is an exemplary and schematic diagram for explaining an outline of a driving behavior confirmation system as an application target of the technology according to the embodiment.

図1に示されるように、実施形態にかかる運転行動確認システムは、車両Vの乗員のうちの一人であるドライバX1の運転行動に関する情報をドライバモニタ110およびドライブレコーダ120によって記録し、記録した運転行動に関する情報を記録媒体150によってPC(Personal Computer)130に移管し、移管した運転行動に関する情報をPC130によってオペレータX2に事後的に確認させることを実現するシステムである。車両Vは、たとえば運送業者のトラックであり、PC130は、たとえば運送業者のバックオフィス業務用の情報処理装置である。 As shown in FIG. 1, the driving behavior confirmation system according to the embodiment records information on the driving behavior of the driver X1 who is one of the occupants of the vehicle V by the driver monitor 110 and the drive recorder 120, and the recorded driving. This is a system that transfers information on behavior to a PC (Personal Computer) 130 by a recording medium 150 and causes the operator X2 to confirm the transferred driving behavior information after the fact by the PC 130. The vehicle V is, for example, a truck of a carrier, and the PC 130 is, for example, an information processing device for back office operations of a carrier.

なお、実施形態では、運転行動に関する情報のPC130への移管に記録媒体150が利用される構成について説明するが、運転行動に関する情報のPC130への移管は、ネットワーク上のクラウドサーバ経由で実行されてもよい。この場合、車両V側の装置としてのドライバモニタ110およびドライブレコーダ120のうち少なくとも一方と、PC130とが共にネットワーク通信機能を有していることが前提となる。なお、車両V側の装置とPC130とが共にネットワーク通信機能を有していれば、ドライバX1の運転行動に関する情報をオペレータX2がリアルタイムで確認することが可能である。 In the embodiment, the configuration in which the recording medium 150 is used for transferring the driving behavior information to the PC 130 will be described, but the transfer of the driving behavior information to the PC 130 is executed via a cloud server on the network. May be good. In this case, it is premised that at least one of the driver monitor 110 and the drive recorder 120 as the device on the vehicle V side and the PC 130 both have a network communication function. If both the device on the vehicle V side and the PC 130 have a network communication function, the operator X2 can confirm the information on the driving behavior of the driver X1 in real time.

図2は、実施形態にかかる運転行動確認システムを構成する各装置の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。 FIG. 2 is an exemplary and schematic block diagram showing a schematic hardware configuration of each device constituting the driving behavior confirmation system according to the embodiment.

図1にも示されているが、図2に示されるように、実施形態にかかる運転行動確認システムは、主として、ドライバモニタ110と、ドライブレコーダ120と、PC130と、によって構成されている。 As shown in FIG. 1, as shown in FIG. 2, the driving behavior confirmation system according to the embodiment is mainly composed of a driver monitor 110, a drive recorder 120, and a PC 130.

ドライバモニタ110は、撮像部111と、制御部112と、記憶部113と、入出力部114と、を備えている。 The driver monitor 110 includes an imaging unit 111, a control unit 112, a storage unit 113, and an input / output unit 114.

撮像部111は、車両Vの内部の状況を表す車内画像の一つとしての、ドライバX1の顔が写った顔画像を取得するカメラである(図1のドライバモニタ110から延びる一点鎖線も参照)。なお、顔画像という表現は、ある1つのタイミングにおける静止画の意味だけでなく、連続した複数のタイミングにおける静止画の集まりである動画(映像)としての意味も含んでいる。 The imaging unit 111 is a camera that acquires a face image showing the face of the driver X1 as one of the in-vehicle images showing the internal situation of the vehicle V (see also the alternate long and short dash line extending from the driver monitor 110 in FIG. 1). .. The expression "face image" includes not only the meaning of a still image at a certain timing but also the meaning as a moving image (video) which is a collection of still images at a plurality of consecutive timings.

また、制御部112は、ドライバモニタ110の動作を統括的に制御するプロセッサである。制御部112は、ドライバモニタ110において必要となる各種の演算処理を実行する。 Further, the control unit 112 is a processor that comprehensively controls the operation of the driver monitor 110. The control unit 112 executes various arithmetic processes required by the driver monitor 110.

また、記憶部113は、ドライバモニタ110により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ(およびストレージ)である。 Further, the storage unit 113 is a memory (and storage) for storing various data such as data generated by the driver monitor 110 and data acquired from the outside.

なお、入出力部114は、ドライバモニタ110を外部に接続するためのインターフェースである。図2に示される例では、ドライバモニタ110は、入出力部114を介してドライブレコーダ120(の入出力部124)に接続されている。 The input / output unit 114 is an interface for connecting the driver monitor 110 to the outside. In the example shown in FIG. 2, the driver monitor 110 is connected to the drive recorder 120 (input / output unit 124) via the input / output unit 114.

また、上記のドライバモニタ110と同様、ドライブレコーダ120も、撮像部121と、制御部122と、記憶部123と、入出力部124と、を備えている。 Further, like the driver monitor 110 described above, the drive recorder 120 also includes an imaging unit 121, a control unit 122, a storage unit 123, and an input / output unit 124.

撮像部121は、車両Vの外部の状況が写った車外画像、より具体的には車両Vの前方の状況が写った前方画像を取得するカメラである(図1のドライブレコーダ120から延びる一点鎖線も参照)。なお、上述した顔画像と同様、前方画像という表現は、ある1つのタイミングにおける静止画の意味だけでなく、連続した複数のタイミングにおける静止画の集まりである動画(映像)としての意味も含んでいる。 The imaging unit 121 is a camera that acquires an outside image of the outside of the vehicle V, more specifically, a front image of the front of the vehicle V (one-dot chain line extending from the drive recorder 120 in FIG. 1). See also). As with the face image described above, the expression "front image" includes not only the meaning of a still image at a certain timing but also the meaning of a moving image (video) which is a collection of still images at a plurality of consecutive timings. There is.

また、制御部122は、ドライブレコーダ120の動作を統括的に制御するプロセッサである。制御部122は、ドライブレコーダ120において必要となる各種の演算処理を実行する。 Further, the control unit 122 is a processor that comprehensively controls the operation of the drive recorder 120. The control unit 122 executes various arithmetic processes required by the drive recorder 120.

また、記憶部123は、ドライブレコーダ120により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ(およびストレージ)である。 Further, the storage unit 123 is a memory (and storage) for storing various data such as data generated by the drive recorder 120 and data acquired from the outside.

なお、入出力部124は、ドライブレコーダ120を外部に接続するためのインターフェースである。図2に示される例では、ドライブレコーダ120は、入出力部124を介してドライバモニタ110(の入出力部114)に接続されている。また、図2に示される例では、記憶部123に記憶された各種のデータが、入出力部124に接続される記録媒体150を介してPC130に移管される。 The input / output unit 124 is an interface for connecting the drive recorder 120 to the outside. In the example shown in FIG. 2, the drive recorder 120 is connected to the driver monitor 110 (input / output unit 114) via the input / output unit 124. Further, in the example shown in FIG. 2, various data stored in the storage unit 123 are transferred to the PC 130 via the recording medium 150 connected to the input / output unit 124.

一方、PC130は、表示部131と、制御部132と、記憶部133と、入出力部134と、を備えている。 On the other hand, the PC 130 includes a display unit 131, a control unit 132, a storage unit 133, and an input / output unit 134.

表示部131は、PC130のユーザとしてのオペレータX2に情報を視覚的に提供するための表示出力装置である。 The display unit 131 is a display output device for visually providing information to the operator X2 as a user of the PC 130.

制御部132は、PC130の動作を統括的に制御するプロセッサである。制御部132は、PC130において必要となる各種の演算処理を実行する。 The control unit 132 is a processor that comprehensively controls the operation of the PC 130. The control unit 132 executes various arithmetic processes required for the PC 130.

記憶部133は、PC130により生成されるデータや、外部から取得されるデータなどといった各種のデータを記憶するメモリ(およびストレージ)である。 The storage unit 133 is a memory (and storage) for storing various types of data such as data generated by the PC 130 and data acquired from the outside.

入出力部134は、PC130を外部に接続するためのインターフェースである。図2に示される例では、図2に示される例では、記録媒体150が入出力部134に接続されることで、ドライブレコーダ120の記憶部123に記憶された各種のデータの移管が実現される。なお、別の実施形態として、ドライバモニタ110が(記憶部113などに)保持するデータが、入出力部114に接続された記録媒体150を経由して入出力部134を介してPC130に移管されてもよい。同様に、ドライブレコーダ120が(記憶部123などに)保持するデータが、入出力部124に接続された記録媒体150を経由して入出力部134を介してPC130に移管されてもよい。また、ドライバモニタ110のデータやドライブレコーダ120のデータは、それぞれネットワーク上のクラウドサーバ経由でPC130に移管されてもよい。 The input / output unit 134 is an interface for connecting the PC 130 to the outside. In the example shown in FIG. 2, in the example shown in FIG. 2, the recording medium 150 is connected to the input / output unit 134, so that various data stored in the storage unit 123 of the drive recorder 120 can be transferred. To. As another embodiment, the data held by the driver monitor 110 (in the storage unit 113 or the like) is transferred to the PC 130 via the input / output unit 134 via the recording medium 150 connected to the input / output unit 114. You may. Similarly, the data held by the drive recorder 120 (in the storage unit 123 or the like) may be transferred to the PC 130 via the input / output unit 134 via the recording medium 150 connected to the input / output unit 124. Further, the data of the driver monitor 110 and the data of the drive recorder 120 may be transferred to the PC 130 via a cloud server on the network, respectively.

以上のハードウェア構成により、実施形態にかかる運転行動確認システムは、ドライバモニタ110の撮像部111により取得される顔画像と、ドライブレコーダ120の撮像部121により取得される前方画像と、をPC130の表示部131に表示することで、ドライバX1の運転行動に関する情報をPC130のオペレータX2に視覚的に確認させることを実現する。 With the above hardware configuration, the driving behavior confirmation system according to the embodiment captures the face image acquired by the image pickup unit 111 of the driver monitor 110 and the front image acquired by the image pickup unit 121 of the drive recorder 120 of the PC 130. By displaying the information on the display unit 131, it is possible to visually confirm the information on the driving behavior of the driver X1 by the operator X2 of the PC 130.

ここで、顔画像の撮像方向、すなわちドライバモニタ110の撮像部111の向きと、前方画像の撮像方向、すなわちドライブレコーダ120の撮像部121の向きとは、次の図3に示されるような関係を有している。 Here, the imaging direction of the face image, that is, the orientation of the imaging unit 111 of the driver monitor 110 and the imaging direction of the front image, that is, the orientation of the imaging unit 121 of the drive recorder 120 have a relationship as shown in FIG. have.

図3は、実施形態にかかる顔画像の撮像方向および前方画像の撮像方向の関係を示した例示的かつ模式的な図である。 FIG. 3 is an exemplary and schematic diagram showing the relationship between the image pickup direction of the face image and the image pickup direction of the front image according to the embodiment.

図3に示される例において、矢印A311およびA312は、ドライバX1の左右の目のそれぞれの向きを表しており、矢印A321は、ドライバX1の顔の向きを表している。なお、図3には、説明の簡単化のため、目の向きと顔の向きとが実質的に一致している例が示されているが、一般に、左右の目の向きは互いに一致することが多いものの、目の向きと顔の向きとは、必ずしも一致するとは限らない。 In the example shown in FIG. 3, arrows A311 and A312 represent the directions of the left and right eyes of the driver X1, and arrows A321 represent the directions of the faces of the driver X1. Note that FIG. 3 shows an example in which the orientation of the eyes and the orientation of the face are substantially the same for the sake of simplicity of explanation, but in general, the orientations of the left and right eyes are the same as each other. However, the orientation of the eyes and the orientation of the face do not always match.

図3に示される例において、ドライバモニタ110の撮像部111の向き、すなわち顔画像の撮像方向が矢印A331で表される場合、ドライバX1の目の向きおよび顔の向きは、顔画像の撮像方向とは逆の正面方向となる。したがって、この場合、撮像部111は、ドライバX1の目および顔が正面方向から写った顔画像を取得する。 In the example shown in FIG. 3, when the orientation of the imaging unit 111 of the driver monitor 110, that is, the imaging direction of the face image is represented by the arrow A331, the eye orientation and the face orientation of the driver X1 are the imaging directions of the face image. The front direction is opposite to that of. Therefore, in this case, the imaging unit 111 acquires a face image in which the eyes and face of the driver X1 are captured from the front direction.

一方、図3に示される例において、顔画像の撮像方向が矢印A341で表される場合、ドライバX1の目の向きおよび顔の向きは、顔画像の撮像方向とは逆の正面方向に対して角度θだけ傾いた方向となる。したがって、この場合、撮像部111は、ドライバX1の目および顔が正面方向に対して角度θだけ傾いた方向から写った顔画像を取得する。 On the other hand, in the example shown in FIG. 3, when the imaging direction of the face image is represented by the arrow A341, the eye orientation and the face orientation of the driver X1 are relative to the front direction opposite to the imaging direction of the face image. The direction is tilted by the angle θ. Therefore, in this case, the imaging unit 111 acquires a face image in which the eyes and face of the driver X1 are captured from a direction tilted by an angle θ with respect to the front direction.

なお、図3に示される例では、ドライバX1の目の向きおよび顔の向きが固定であり、顔画像の撮像方向が変化するように表現されているが、このような表現はあくまで説明の便宜のためである。現実には、ドライバX1の目の向きおよび/または顔の向きが変化し、顔画像の撮像方向は固定である。 In the example shown in FIG. 3, the direction of the eyes and the direction of the face of the driver X1 are fixed and expressed so that the imaging direction of the face image changes, but such an expression is merely for convenience of explanation. Because of. In reality, the direction of the eyes and / or the direction of the face of the driver X1 changes, and the imaging direction of the face image is fixed.

また、図3に示される例において、矢印A332およびA342は、それぞれ、顔画像の撮像方向が矢印A331およびA341で表される場合における前方画像の撮像方向を表している。図1からも分かるように、実施形態において、ドライバモニタ110の撮像部111の向きと、ドライブレコーダ120の撮像部121の向きとは、実質的に逆である。したがって、撮像部111により取得される顔画像に写った像と、撮像部121により取得される前方画像に写った像とは、実質的に、左右が逆のいわゆる鏡像の関係となる。 Further, in the example shown in FIG. 3, the arrows A332 and A342 represent the imaging direction of the front image when the imaging direction of the face image is represented by the arrows A331 and A341, respectively. As can be seen from FIG. 1, in the embodiment, the orientation of the imaging unit 111 of the driver monitor 110 and the orientation of the imaging unit 121 of the drive recorder 120 are substantially opposite. Therefore, the image captured in the face image acquired by the imaging unit 111 and the image captured in the front image acquired by the imaging unit 121 are substantially in a so-called mirror image relationship in which the left and right sides are reversed.

ところで、従来から、車両に設けられる1以上の撮像部による撮像結果としての複数の撮像画像を同一の画面上に表示する技術について検討されている。 By the way, conventionally, a technique for displaying a plurality of captured images as imaging results by one or more imaging units provided in a vehicle on the same screen has been studied.

しかしながら、上記のような従来の技術では、上述した顔画像および前方画像のような、撮像方向が実質的に逆の2つの撮像画像が同一の画面上に表示されることがある。撮像方向が実質的に逆の2つの撮像画像に写った像は、実質的に互いに鏡像の関係となるので、それらの画像が同一の画面上に表示されると、表示内容を正確に認識することができない場合がある。 However, in the conventional technique as described above, two captured images having substantially opposite imaging directions, such as the face image and the front image described above, may be displayed on the same screen. Images captured in two captured images whose imaging directions are substantially opposite to each other are substantially mirror images of each other, and therefore, when those images are displayed on the same screen, the displayed contents are accurately recognized. It may not be possible.

そこで、実施形態は、以下に説明するような機能を有した画像表示装置400をPC130内に実現することで、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することを実現する。 Therefore, in the embodiment, by realizing the image display device 400 having the functions as described below in the PC 130, it is possible to accurately recognize the captured images having substantially opposite imaging directions on the same screen. Realize to display.

図4は、実施形態にかかる画像表示装置400の機能を示した例示的かつ模式的な図である。なお、実施形態において、「画像表示装置」は、「運転行動表示装置」とも表現しうる。 FIG. 4 is an exemplary and schematic diagram showing the function of the image display device 400 according to the embodiment. In the embodiment, the "image display device" can also be expressed as a "driving behavior display device".

図4に示されるように、画像表示装置400は、画像取得部401と、表示処理部402と、を備えている。これらの機能は、たとえば、PC130の制御部132が記憶部133に記憶された所定の画像表示プログラムを読み出して実行した結果として実現される。なお、実施形態では、これらの機能の一部または全部が、専用のハードウェア(回路)のみによって実現されてもよい。 As shown in FIG. 4, the image display device 400 includes an image acquisition unit 401 and a display processing unit 402. These functions are realized, for example, as a result of the control unit 132 of the PC 130 reading and executing a predetermined image display program stored in the storage unit 133. In the embodiment, some or all of these functions may be realized only by dedicated hardware (circuit).

画像取得部401は、ドライバモニタ110の撮像部111により取得される顔画像と、ドライブレコーダ120の撮像部121により取得される前方画像とを、記録媒体150経由で取得する。 The image acquisition unit 401 acquires the face image acquired by the image pickup unit 111 of the driver monitor 110 and the front image acquired by the image pickup unit 121 of the drive recorder 120 via the recording medium 150.

表示処理部402は、PC130の表示部131の表示内容を制御する。たとえば、表示処理部402は、次の図5に示されるような形で、顔画像と前方画像とを同一の画面上に表示する。 The display processing unit 402 controls the display content of the display unit 131 of the PC 130. For example, the display processing unit 402 displays the face image and the front image on the same screen in the form shown in FIG. 5 below.

図5は、実施形態にかかる表示部131に表示される画像の一例を示した例示的かつ模式的な図である。 FIG. 5 is an exemplary and schematic diagram showing an example of an image displayed on the display unit 131 according to the embodiment.

図5に示されるように、表示処理部402は、撮像方向が実質的に逆である顔画像および前方画像を同一の画面上に表示する場合、顔画像に対して鏡像処理を実行した上で、顔画像および前方画像の両方を表示部131に表示する。 As shown in FIG. 5, when displaying a face image and a front image whose imaging directions are substantially opposite to each other on the same screen, the display processing unit 402 performs mirror image processing on the face image. , Both the face image and the front image are displayed on the display unit 131.

すなわち、表示処理部402は、顔画像としての画像511と、前方画像としての画像512と、をそのまま含む図5の(A)に示される画像510ではなく、左右を反転させる鏡像処理が実行された顔画像としての画像521と、鏡像処理が実行されていない前方画像としての画像522と、を含む図5の(B)に示される画像520を表示部131に表示する。なお、画像510内の表示領域513および514と、画像520内の表示領域523および524とは、いずれも、各種の設定情報や動画の時系列に関する情報などを表示するための領域である。 That is, the display processing unit 402 executes mirror image processing for inverting the left and right instead of the image 510 shown in FIG. 5 (A) including the image 511 as the face image and the image 512 as the front image as they are. The image 520 shown in FIG. 5B, which includes an image 521 as a face image and an image 522 as a front image in which mirror image processing is not executed, is displayed on the display unit 131. The display areas 513 and 514 in the image 510 and the display areas 523 and 524 in the image 520 are both areas for displaying various setting information and information related to the time series of the moving image.

ここで、鏡像処理を実行する対象は、顔画像ではなく前方画像でも問題ないが、主にドライバX1の顔だけが写っている顔画像を反転させる方が、車両Vの外部の風景が写っている前方画像を反転させるよりも、違和感が小さい。ただし、この場合、顔画像に鏡像処理が実行されている旨を識別可能にしておくことは、有益である。 Here, the target to be mirror-image processed may be a front image instead of a face image, but it is better to invert the face image in which only the face of the driver X1 is shown so that the scenery outside the vehicle V is captured. There is less discomfort than reversing the front image. However, in this case, it is useful to be able to identify that the mirror image processing is being performed on the face image.

したがって、表示処理部402は、図5の(B)に示される画像520内の顔画像としての画像521に、顔画像に鏡像処理が実行されている旨を識別するための鏡像識別標示531を重畳する。図5に示される例では、鏡像識別標示531が「※反転中」という文字列として構成されているが、鏡像処理が実行されているか否かの識別は、画像などといった他の態様の標示で実現されてもよい。 Therefore, the display processing unit 402 adds a mirror image identification mark 531 to the image 521 as a face image in the image 520 shown in FIG. 5 (B) to identify that the face image is subjected to mirror image processing. Superimpose. In the example shown in FIG. 5, the mirror image identification sign 531 is configured as the character string "* inversion", but the identification of whether or not the mirror image processing is being executed is performed by a sign in another mode such as an image. It may be realized.

なお、図5に示される例では、同一の画面上に表示される画像が顔画像と前方画像との2つの画像である構成が例示されているが、実施形態の技術は、顔画像および前方画像以外の他の画像を含む3つ以上の画像が同一の画面上に表示される構成にも適用可能であるし、当該3つ以上の画像のうち2つの画像が同一の画面上に表示される構成にも適用可能である。顔画像および前方画像以外の画像の例としては、たとえば、車両Vの後方の状況を撮像するように車両Vに設けられた撮像部により取得される車外画像の一つとしての後方画像や、車両VのドライバX1以外の乗員を撮像するように車両Vに設けられた撮像部により取得される車内画像の一つとしての乗員画像などが考えられる。 In the example shown in FIG. 5, a configuration in which the images displayed on the same screen are two images, a face image and a front image, is exemplified, but the technique of the embodiment is a face image and a front image. It is also applicable to a configuration in which three or more images including images other than the image are displayed on the same screen, and two of the three or more images are displayed on the same screen. It can also be applied to various configurations. Examples of images other than the face image and the front image include, for example, a rear image as one of the outside images acquired by an imaging unit provided in the vehicle V so as to capture the situation behind the vehicle V, and a vehicle. An occupant image as one of the in-vehicle images acquired by an imaging unit provided on the vehicle V so as to image an occupant other than the driver X1 of the V can be considered.

このように、実施形態において、表示処理部402は、車両Vに設けられる1以上の撮像部による撮像結果として得られる複数の撮像画像が、第1方向を撮像方向とする第1画像と、第1方向とは実質的に逆の第2方向を撮像方向とする第2画像と、を含む場合に、第1画像および第2画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、第1画像および第2画像の両方を表示部131に表示する。 As described above, in the embodiment, in the display processing unit 402, the plurality of captured images obtained as the imaging results by one or more imaging units provided in the vehicle V are the first image whose imaging direction is the first direction and the first image. When a second image whose imaging direction is a second direction substantially opposite to that of the first direction is included, a mirror image process is performed in which the left and right sides of the first image and the second image are inverted. After that, both the first image and the second image are displayed on the display unit 131.

ただし、言うまでもないが、同一の画面上に表示される全ての撮像画像の撮像方向が実質的に同じである場合は、上記のような鏡像処理は不要である。したがって、表示処理部402は、複数の撮像画像の全ての撮像方向が実質的に同じである場合、鏡像処理を実行することなく、複数の撮像画像を表示部131に表示する。 However, needless to say, when the imaging directions of all the captured images displayed on the same screen are substantially the same, the above mirror image processing is not necessary. Therefore, the display processing unit 402 displays the plurality of captured images on the display unit 131 without executing the mirror image processing when all the imaging directions of the plurality of captured images are substantially the same.

ところで、実施形態にかかる運転行動確認システムは、撮像部111により取得される顔画像に、顔の三次元モデルを利用したフィッティングなどといった各種の画像処理を実行することで、顔画像に写ったドライバX1の目の向きおよび顔の向きを、たとえば顔画像の撮像方向とは逆の正面方向に対する角度などといった形で検出する機能を有している。なお、この機能は、ドライバモニタ110の制御部112、ドライブレコーダ120の制御部122、およびPC130の制御部132のうちいずれかが単独で有していてもよいし、これら3者のうち2者以上が分担で有していてもよい。 By the way, the driving behavior confirmation system according to the embodiment performs various image processing such as fitting using a three-dimensional model of the face on the face image acquired by the imaging unit 111, so that the driver captured in the face image. It has a function of detecting the direction of the eyes and the direction of the face of X1 in the form of, for example, an angle with respect to the front direction opposite to the imaging direction of the face image. It should be noted that this function may be independently possessed by any one of the control unit 112 of the driver monitor 110, the control unit 122 of the drive recorder 120, and the control unit 132 of the PC 130, or two of these three. The above may be shared.

実施形態において、画像取得部401は、上記の機能に基づいて顔画像から検出されるドライバX1の目の向きおよび顔の向きを、顔画像および前方画像とともに取得することが可能である。この場合、ドライバX1の目の向きおよび顔の向きも顔画像および前方画像とともに表示部131に表示されれば、ドライバX1の運転行動の確認を効果的に実行することができる。 In the embodiment, the image acquisition unit 401 can acquire the eye orientation and the face orientation of the driver X1 detected from the face image based on the above functions together with the face image and the front image. In this case, if the direction of the eyes and the direction of the face of the driver X1 are also displayed on the display unit 131 together with the face image and the front image, the driving behavior of the driver X1 can be effectively confirmed.

そこで、実施形態において、表示処理部402は、たとえば次の図6に示される例のように、ドライバX1の目の向きおよび顔の向きのうち少なくとも一方を表示部131に表示する。 Therefore, in the embodiment, the display processing unit 402 displays at least one of the eye orientation and the face orientation of the driver X1 on the display unit 131, for example, as in the example shown in FIG. 6 below.

図6は、実施形態にかかる表示部131に表示される画像の他の一例を示した例示的かつ模式的な図である。 FIG. 6 is an exemplary and schematic diagram showing another example of the image displayed on the display unit 131 according to the embodiment.

図6に示されるように、表示処理部402は、鏡像識別標示611が重畳された顔画像としての画像601と、前方画像としての画像602と、各種の設定情報や動画の時系列に関する情報などが表示される表示領域603および604と、を含む画像600内に、ドライバX1の目の向きおよび顔の向きのうち少なくとも一方を識別するための方向識別標示621を表示する。 As shown in FIG. 6, the display processing unit 402 includes an image 601 as a face image on which the mirror image identification mark 611 is superimposed, an image 602 as a front image, various setting information, information on a time series of moving images, and the like. 621 is displayed in the image 600 including the display areas 603 and 604 in which the driver X1 is displayed, for identifying at least one of the eye orientation and the face orientation of the driver X1.

より具体的に、表示処理部402は、顔画像としての画像601の端部のうち、ドライバX1の目の向きおよび顔の向きのうち少なくとも一方に対応した端部の近傍に、方向識別標示621を表示する。図6に示される例では、顔画像としての画像601に写ったドライバX1の目および顔は、紙面で右側を向いているので、表示処理部402は、矩形形状を有する画像601の右側の辺の近傍に、当該右側の辺に沿って上下に延びる細長の矩形形状を有する方向識別標示621を表示する。 More specifically, the display processing unit 402 displays the direction identification sign 621 in the vicinity of the end portion of the image 601 as a face image corresponding to at least one of the eye orientation and the face orientation of the driver X1. Is displayed. In the example shown in FIG. 6, since the eyes and face of the driver X1 shown in the image 601 as a face image are facing the right side on the paper surface, the display processing unit 402 is the right side of the image 601 having a rectangular shape. A directional identification sign 621 having an elongated rectangular shape extending vertically along the right side is displayed in the vicinity of.

なお、図6に示される例では、ドライバX1の目の向きおよび顔の向きが実質的に一致しているが、両者は必ずしも一致するとは限らない。この場合、目の向きを示す標示のみが方向識別標示として表示されてもよいし、顔の向きを示す標示のみが方向識別標示として表示されてもよいし、目の向きを示す標示と顔の向きを示す標示との両方が別々に方向識別標示として表示されてもよい。 In the example shown in FIG. 6, the eye orientation and the face orientation of the driver X1 are substantially the same, but the two are not always the same. In this case, only the sign indicating the direction of the eyes may be displayed as the direction identification sign, only the sign indicating the direction of the face may be displayed as the direction identification sign, or the sign indicating the direction of the eyes and the face. Both the orientation marking and the orientation marking may be displayed separately as the orientation marking.

また、実施形態では、ドライバX1の目の向きおよび顔の向きのうち少なくとも一方を識別可能な標示であれば、図6に示される例とは形状および表示位置の異なる標示が表示されてもよい。 Further, in the embodiment, a marking having a shape and a display position different from that of the example shown in FIG. 6 may be displayed as long as the marking can identify at least one of the eye orientation and the face orientation of the driver X1. ..

さらに、実施形態では、次の図7に示される例のように、ドライバX1の目の向きおよび顔の向きのうち少なくとも一方が、図6に示される例よりも強調された形で表示部131に表示されてもよい。 Further, in the embodiment, as in the example shown in FIG. 7 below, at least one of the eye orientation and the face orientation of the driver X1 is emphasized as compared with the example shown in FIG. It may be displayed in.

図7は、実施形態にかかる表示部131に表示される画像のさらに他の一例を示した例示的かつ模式的な図である。 FIG. 7 is an exemplary and schematic diagram showing still another example of the image displayed on the display unit 131 according to the embodiment.

図7に示されるように、表示処理部402は、鏡像識別標示711が重畳された顔画像としての画像701と、前方画像としての画像702と、各種の設定情報や動画の時系列に関する情報などが表示される表示領域703および704と、を含む画像700内に、ドライバX1の目の向きおよび顔の向きのうち少なくとも一方を識別するための2つの方向識別標示721および722を表示する。 As shown in FIG. 7, the display processing unit 402 includes an image 701 as a face image on which the mirror image identification mark 711 is superimposed, an image 702 as a front image, various setting information, information on a time series of moving images, and the like. In the image 700 including the display areas 703 and 704 in which the is displayed, two directional identification markings 721 and 722 for identifying at least one of the eye orientation and the face orientation of the driver X1 are displayed.

より具体的に、表示処理部402は、顔画像としての画像701の端部のうち、ドライバX1の目の向きおよび顔の向きのうち少なくとも一方に対応した端部の近傍に、方向識別標示721を表示し、さらに、前方画像としての画像702の端部のうち、ドライバX1の目の向きおよび顔の向きのうち少なくとも一方に対応した端部の近傍にも、方向識別標示722を表示する。 More specifically, the display processing unit 402 displays the direction identification sign 721 in the vicinity of the end portion of the image 701 as a face image corresponding to at least one of the eye orientation and the face orientation of the driver X1. Is displayed, and the direction identification sign 722 is also displayed in the vicinity of the end of the image 702 as the front image, which corresponds to at least one of the eye orientation and the face orientation of the driver X1.

図7に示される例では、顔画像としての画像701に写ったドライバX1の目および顔は、紙面で右側を向いているので、表示処理部402は、矩形形状を有する画像701の右側の辺の近傍に、当該右側の辺に沿って上下に延びる細長の矩形形状を有する方向識別標示721を表示し、矩形形状を有する画像702の右側の辺の近傍に、当該右側の辺に沿って上下に延びる細長の矩形形状を有する方向識別標示722を表示する。 In the example shown in FIG. 7, since the eyes and face of the driver X1 shown in the image 701 as the face image are facing the right side on the paper surface, the display processing unit 402 is the right side of the image 701 having a rectangular shape. A direction identification sign 721 having an elongated rectangular shape extending up and down along the right side is displayed in the vicinity of, and up and down along the right side in the vicinity of the right side of the image 702 having a rectangular shape. A direction identification sign 722 having an elongated rectangular shape extending to is displayed.

以上の構成に基づき、実施形態にかかる画像表示装置400は、次の図8に示されるような流れに従って処理を実行する。 Based on the above configuration, the image display device 400 according to the embodiment executes the process according to the flow as shown in FIG. 8 below.

図8は、実施形態にかかる画像表示装置400が実行する一連の処理を示した例示的かつ模式的なフローチャートである。図8に示される一連の処理は、動画としての顔画像および/または前方画像の表示再生が終了するまでの間、繰り返し実行される。 FIG. 8 is an exemplary and schematic flowchart showing a series of processes executed by the image display device 400 according to the embodiment. The series of processes shown in FIG. 8 is repeatedly executed until the display / reproduction of the face image and / or the front image as a moving image is completed.

図8に示されるように、実施形態では、まず、S801において、画像表示装置400の画像取得部401は、車両Vに設けられる1以上の撮像部により取得される複数の撮像画像を取得する。実施形態では、撮像画像として、ドライバモニタ110の撮像部111により取得される顔画像や、ドライブレコーダ120の撮像部121により取得される前方画像などが挙げられる。 As shown in FIG. 8, in the embodiment, first, in S801, the image acquisition unit 401 of the image display device 400 acquires a plurality of captured images acquired by one or more image capturing units provided in the vehicle V. In the embodiment, examples of the captured image include a face image acquired by the imaging unit 111 of the driver monitor 110, a front image acquired by the imaging unit 121 of the drive recorder 120, and the like.

そして、S802において、画像表示装置400の表示処理部402は、S801で取得された複数の撮像画像の中に、撮像方向の異なる撮像画像、より具体的には撮像方向が実質的に逆の2つの撮像画像が存在するか否かを判断する。なお、別の実施形態として、撮像方向が実質的に逆の2つの撮像画像が存在するか否かを人が判断し、判断結果を何らかの手段で画像表示装置400に入力することで以降の処理に反映する、という構成も考えられる。 Then, in S802, the display processing unit 402 of the image display device 400 has two captured images having different imaging directions, more specifically, substantially opposite imaging directions, among the plurality of captured images acquired in S801. Determine if there are two captured images. As another embodiment, a person determines whether or not there are two captured images having substantially opposite imaging directions, and the determination result is input to the image display device 400 by some means to perform subsequent processing. It is also possible to reflect it in.

S802において、撮像方向の異なる撮像画像が存在すると判断された場合、S803に処理が進む。たとえば、顔画像と前方画像とが撮像画像として取得された場合、両者の撮像方向は実質的に逆であるので、S803に処理が進む。 If it is determined in S802 that there are captured images having different imaging directions, the process proceeds to S803. For example, when the face image and the front image are acquired as captured images, the imaging directions of the two are substantially opposite, so the process proceeds to S803.

そして、S803において、画像表示装置400の表示処理部402は、撮像方向の異なる2つの撮像画像のうちの一方に、左右を反転させる鏡像処理を実行する。なお、顔画像と前方画像とが撮像画像として取得された場合、前述した理由により、顔画像の方に鏡像処理を実行するのが妥当である。 Then, in S803, the display processing unit 402 of the image display device 400 executes a mirror image process of inverting the left and right of one of the two captured images having different imaging directions. When the face image and the front image are acquired as captured images, it is appropriate to perform mirror image processing on the face image for the reason described above.

S803の処理が実行されると、S804に処理が進む。また、S802において、撮像方向の異なる撮像画像が存在しないと判断された場合も、S804に処理が進む。 When the process of S803 is executed, the process proceeds to S804. Further, even when it is determined in S802 that there are no captured images having different imaging directions, the process proceeds to S804.

そして、S804において、画像表示装置400の表示処理部402は、複数の撮像画像を同一の画面上に表示する。より具体的に、表示処理部402は、S803において鏡像処理が実行された撮像画像が存在する場合、鏡像処理が実行された撮像画像を、他の撮像画像とともに表示部131に表示し、S803において鏡像処理が実行された撮像画像が存在しない場合、複数の撮像画像をそのまま表示部131に表示する。そして、処理が終了する。 Then, in S804, the display processing unit 402 of the image display device 400 displays a plurality of captured images on the same screen. More specifically, when there is a captured image for which mirror image processing has been executed in S803, the display processing unit 402 displays the captured image for which mirror image processing has been executed on the display unit 131 together with other captured images, and in S803, When there is no captured image for which mirror image processing has been executed, a plurality of captured images are displayed as they are on the display unit 131. Then, the process ends.

以上説明したように、実施形態にかかる画像表示装置400は、画像取得部401と、表示処理部402と、を備えている。画像取得部401は、ドライバモニタ110の撮像部111やドライブレコーダ120の撮像部121などといった、車両Vに設けられる1以上の撮像部による撮像結果として得られる複数の撮像画像を取得する。表示処理部402は、複数の撮像画像が、第1方向を撮像方向とする第1画像と、第1方向とは実質的に逆の第2方向を撮像方向とする第2画像と、を含む場合に、第1画像および第2画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、第1画像および第2画像を表示部131に表示する。 As described above, the image display device 400 according to the embodiment includes an image acquisition unit 401 and a display processing unit 402. The image acquisition unit 401 acquires a plurality of images obtained as an image pickup result by one or more image pickup units provided in the vehicle V, such as the image pickup unit 111 of the driver monitor 110 and the image pickup unit 121 of the drive recorder 120. The display processing unit 402 includes a plurality of captured images, a first image having a first direction as an imaging direction, and a second image having a second direction substantially opposite to the first direction as an imaging direction. In this case, the first image and the second image are displayed on the display unit 131 after performing mirror image processing for inverting the left and right sides of either one of the first image and the second image.

上述した画像表示装置400によれば、撮像画像が実質的に逆の撮像画像としての第1画像および第2画像のうちいずれか一方の画像が、左右が反転した上で他方の画像とともに表示部131に表示されるので、撮像方向が実質的に逆の撮像画像を同一の画面上で正確に認識可能に表示することができる。 According to the image display device 400 described above, one of the first image and the second image as captured images in which the captured images are substantially opposite is displayed in the display unit together with the other image after the left and right are inverted. Since it is displayed on 131, it is possible to accurately and recognizable an captured image having substantially opposite imaging directions on the same screen.

ここで、実施形態において、表示処理部402は、上記の第1画像および第2画像のうち一方として、車両Vの内部の状況が写った車内画像、より具体的には車両VのドライバX1の目を含む顔が写った顔画像を表示し、上記の第1画像および第2画像のうち他方として、車両Vの外部の状況が写った車外画像、より具体的には車両Vの前方の状況が写った前方画像を表示する。そして、表示処理部402は、顔画像に鏡像処理を実行した上で、顔画像および前方画像を表示部131に表示する。このような構成によれば、顔画像および前方画像のうち、左右が反転しても違和感が生じにくい顔画像の方に鏡像処理を実行されるので、顔画像および前方画像を同一の画面上で違和感の小さい形で表示することができる。 Here, in the embodiment, the display processing unit 402 uses one of the above first image and the second image as an in-vehicle image showing the internal situation of the vehicle V, more specifically, the driver X1 of the vehicle V. A face image showing a face including eyes is displayed, and as the other of the above first image and the second image, an outside image showing the situation outside the vehicle V, more specifically, the situation in front of the vehicle V. Display the front image showing. Then, the display processing unit 402 performs mirror image processing on the face image, and then displays the face image and the front image on the display unit 131. According to such a configuration, the mirror image processing is executed on the face image and the front image, which are less likely to cause discomfort even if the left and right sides are reversed. Therefore, the face image and the front image are displayed on the same screen. It can be displayed in a form with little discomfort.

また、実施形態において、表示処理部402は、図6または図7に示されるような形で、ドライバX1の目の向きおよび顔の向きのうち少なくとも一方を識別するための方向識別標示621、または721および722を表示部131に表示する。このような構成によれば、ドライバX1の目の向きおよび顔の向きを視覚的に分かりやすく表示することができる。なお、上記では、顔画像にドライバX1の目が写っている例について主に説明しているが、ドライバX1の目が帽子やサングラスなどによって隠れていることによって顔画像に目が実質的に写っていない場合も想定される。このような場合、顔画像から目の向きを検出することが困難であるので、方向識別標示の表示位置は、実質的に顔の向きのみに基づいて決定される。 Further, in the embodiment, the display processing unit 402 has a direction identification mark 621 for identifying at least one of the eye orientation and the face orientation of the driver X1 as shown in FIG. 6 or 7. 721 and 722 are displayed on the display unit 131. According to such a configuration, the direction of the eyes and the direction of the face of the driver X1 can be displayed in a visually easy-to-understand manner. In the above, the example in which the eyes of the driver X1 are shown in the face image is mainly described, but the eyes are substantially shown in the face image because the eyes of the driver X1 are hidden by a hat or sunglasses. It is assumed that it is not. In such a case, since it is difficult to detect the direction of the eyes from the face image, the display position of the direction identification mark is substantially determined based only on the direction of the face.

また、実施形態において、表示処理部402は、図5の(B)、図6、または図7に示されるような形で、上記の第1画像および第2画像のうち鏡像処理が実行された方を識別するための鏡像識別標示531、611、または711を表示部131に表示する。このような構成によれば、鏡像処理が実行された画像の識別を容易化することができる。 Further, in the embodiment, the display processing unit 402 executes the mirror image processing of the first image and the second image as shown in FIG. 5B, FIG. 6, or FIG. A mirror image identification mark 531, 611, or 711 for identifying the person is displayed on the display unit 131. With such a configuration, it is possible to facilitate the identification of the image on which the mirror image processing is performed.

また、実施形態において、表示処理部402は、表示部131に表示すべき複数の撮像画像の全ての撮像方向が実質的に同じである場合、鏡像処理を実行することなく、複数の撮像画像をそのまま表示部131に表示する。このような構成によれば、撮像方向が実質的に逆の撮像画像が存在しない場合に、複数の撮像画像をそのままの形で簡単に表示することができる。 Further, in the embodiment, when all the imaging directions of the plurality of captured images to be displayed on the display unit 131 are substantially the same, the display processing unit 402 displays the plurality of captured images without executing the mirror image processing. It is displayed on the display unit 131 as it is. According to such a configuration, a plurality of captured images can be easily displayed as they are when there is no captured image whose imaging direction is substantially opposite.

なお、実施形態にかかるPC130において実行される画像表示プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかるPC130において実行される画像表示プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。 The image display program executed on the PC 130 according to the embodiment may be provided or distributed via a network such as the Internet. That is, the image display program executed on the PC 130 according to the embodiment may be provided in the form of accepting downloads via the network while being stored on a computer connected to a network such as the Internet.

以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments of the present disclosure have been described above, the above-described embodiments are merely examples and are not intended to limit the scope of the invention. The novel embodiment described above can be implemented in various forms, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

111、121 撮像部
131 表示部
400 画像表示装置
401 画像取得部
402 表示処理部
521、601、701 画像(撮像画像、顔画像、車内画像)
522、602、702 画像(撮像画像、前方画像、車外画像)
531、611、711 鏡像識別標示
621、721、722 方向識別標示
V 車両
X1 ドライバ(乗員)
111, 121 Imaging unit 131 Display unit 400 Image display device 401 Image acquisition unit 402 Display processing unit 521, 601 and 701 Images (captured image, face image, in-vehicle image)
522, 602, 702 images (captured image, front image, outside image)
531, 611, 711 Mirror image identification sign 621, 721, 722 Direction identification sign V vehicle X1 driver (occupant)

Claims (7)

車両に設けられる1以上の撮像部による撮像結果として得られる複数の撮像画像を取得する画像取得部と、
前記複数の撮像画像が、第1方向を撮像方向とする第1画像と、前記第1方向とは実質的に逆の第2方向を撮像方向とする第2画像と、を含む場合に、前記第1画像および前記第2画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、前記第1画像および前記第2画像を表示部に表示する表示処理部と、
を備える、画像表示装置。
An image acquisition unit that acquires a plurality of captured images obtained as a result of imaging by one or more imaging units provided in a vehicle, and an image acquisition unit.
When the plurality of captured images include a first image having a first direction as an imaging direction and a second image having a second direction substantially opposite to the first direction as an imaging direction, the above-mentioned A display processing unit that displays the first image and the second image on the display unit after performing mirror image processing that reverses the left and right of either the first image or the second image.
An image display device.
前記表示処理部は、前記第1画像および前記第2画像のうち一方が、前記車両の内部の状況が写った車内画像であり、前記第1画像および前記第2画像のうち他方が、前記車両の外部の状況が写った車外画像である場合、前記車内画像に前記鏡像処理を実行した上で、前記車内画像および前記車外画像を前記表示部に表示する、
請求項1に記載の画像表示装置。
In the display processing unit, one of the first image and the second image is an in-vehicle image showing the internal situation of the vehicle, and the other of the first image and the second image is the vehicle. In the case of an outside vehicle image showing the external situation of the vehicle, the inside image and the outside image are displayed on the display unit after performing the mirror image processing on the inside image.
The image display device according to claim 1.
前記表示処理部は、前記車内画像として、前記車両の乗員の顔が写った顔画像を表示し、前記車外画像として、前記車両の前方の状況が写った前方画像を表示する、
請求項2に記載の画像表示装置。
The display processing unit displays a face image showing the face of the occupant of the vehicle as the inside image of the vehicle, and displays a front image showing the situation in front of the vehicle as the outside image of the vehicle.
The image display device according to claim 2.
前記表示処理部は、前記乗員の前記顔に含まれうる目の向きおよび前記顔の向きのうち少なくとも一方を識別するための方向識別標示を前記表示部に表示する、
請求項3に記載の画像表示装置。
The display processing unit displays on the display unit a direction identification mark for identifying at least one of the eye orientation and the face orientation that can be included in the face of the occupant.
The image display device according to claim 3.
前記表示処理部は、前記第1画像および前記第2画像のうち前記鏡像処理が実行された方を識別するための鏡像識別標示を前記表示部に表示する、
請求項1〜4のうちいずれか1項に記載の画像表示装置。
The display processing unit displays on the display unit a mirror image identification mark for identifying which of the first image and the second image the mirror image processing has been executed.
The image display device according to any one of claims 1 to 4.
前記表示処理部は、前記複数の撮像画像の全ての撮像方向が実質的に同じである場合、前記鏡像処理を実行することなく、前記複数の撮像画像を前記表示部に表示する、
請求項1〜5のうちいずれか1項に記載の画像表示装置。
When all the imaging directions of the plurality of captured images are substantially the same, the display processing unit displays the plurality of captured images on the display unit without executing the mirror image processing.
The image display device according to any one of claims 1 to 5.
車両に設けられる1以上の撮像部による撮像結果として得られる撮像画像を取得する画像取得ステップと、
前記撮像画像が、第1方向を撮像方向とする第1画像と、前記第1方向とは実質的に逆の第2方向を撮像方向とする第2画像と、を含む場合に、前記第1画像および前記第2画像のうちいずれか一方に対して左右を反転する鏡像処理を実行した上で、前記第1画像および前記第2画像を表示部に表示する表示処理ステップと、
をコンピュータに実行させるための、画像表示プログラム。
An image acquisition step of acquiring an image captured as a result of imaging by one or more imaging units provided in a vehicle, and an image acquisition step.
When the captured image includes a first image having a first direction as an imaging direction and a second image having a second direction substantially opposite to the first direction as an imaging direction, the first image is described. A display processing step of displaying the first image and the second image on the display unit after performing mirror image processing for inverting the left and right of either the image or the second image.
An image display program that allows a computer to run.
JP2019089293A 2019-05-09 2019-05-09 Image display device and image display program Active JP7395842B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019089293A JP7395842B2 (en) 2019-05-09 2019-05-09 Image display device and image display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019089293A JP7395842B2 (en) 2019-05-09 2019-05-09 Image display device and image display program

Publications (2)

Publication Number Publication Date
JP2020188294A true JP2020188294A (en) 2020-11-19
JP7395842B2 JP7395842B2 (en) 2023-12-12

Family

ID=73222532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019089293A Active JP7395842B2 (en) 2019-05-09 2019-05-09 Image display device and image display program

Country Status (1)

Country Link
JP (1) JP7395842B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003290183A (en) * 2002-04-02 2003-10-14 Konica Corp Medical image controller, medical image control method and program
JP2005077596A (en) * 2003-08-29 2005-03-24 Katsuya Matsunaga Multi-vision type driving training system
JP2009183473A (en) * 2008-02-06 2009-08-20 Denso Corp Visual line direction detection device, and visual line direction detection method
JP2010211613A (en) * 2009-03-11 2010-09-24 Omron Corp Information processor, and information processing method, program, and system
JP2012051678A (en) * 2010-08-31 2012-03-15 Sumitomo Heavy Ind Ltd Visibility assisting system
JP2014154100A (en) * 2013-02-13 2014-08-25 Mitsubishi Electric Corp Driver state display device
JP2018196066A (en) * 2017-05-19 2018-12-06 株式会社ユピテル Drive recorder, display device for drive recorder, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7031588B2 (en) 2016-07-05 2022-03-08 日本電気株式会社 Suspicious person detection device, suspicious person detection method and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003290183A (en) * 2002-04-02 2003-10-14 Konica Corp Medical image controller, medical image control method and program
JP2005077596A (en) * 2003-08-29 2005-03-24 Katsuya Matsunaga Multi-vision type driving training system
JP2009183473A (en) * 2008-02-06 2009-08-20 Denso Corp Visual line direction detection device, and visual line direction detection method
JP2010211613A (en) * 2009-03-11 2010-09-24 Omron Corp Information processor, and information processing method, program, and system
JP2012051678A (en) * 2010-08-31 2012-03-15 Sumitomo Heavy Ind Ltd Visibility assisting system
JP2014154100A (en) * 2013-02-13 2014-08-25 Mitsubishi Electric Corp Driver state display device
JP2018196066A (en) * 2017-05-19 2018-12-06 株式会社ユピテル Drive recorder, display device for drive recorder, and program

Also Published As

Publication number Publication date
JP7395842B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
US20020060648A1 (en) Image-display control apparatus
WO2011105044A1 (en) Information processing method and information processing apparatus
WO2011139928A2 (en) Image capture
JP2014093071A (en) Apparatus and method for tracking position of surrounding vehicle
US20170155805A1 (en) Method and apparatus for capturing an image of an object by tracking the object
TW201630759A (en) Head up display system
US20160283781A1 (en) Display device, display method, and display program
JPWO2018042976A1 (en) IMAGE GENERATION DEVICE, IMAGE GENERATION METHOD, RECORDING MEDIUM, AND IMAGE DISPLAY SYSTEM
JP2010136082A (en) Apparatus for monitoring vehicle surroundings, and method of determining position and attitude of camera
JP2020188294A (en) Image display device and image display program
JP6267809B1 (en) Panorama image synthesis analysis system, panorama image synthesis analysis method and program
JP7029350B2 (en) Image processing device and image processing method
JP2012222664A (en) On-vehicle camera system
US20210350625A1 (en) Augmenting live images of a scene for occlusion
CN106164989A (en) Messaging device, information processing method, record medium and POS terminal equipment
JP2020188291A (en) Image display device and image display program
JP2017037375A (en) Imaging apparatus and control method thereof
US10609306B2 (en) Image processing apparatus, image processing method and storage medium
JP7293852B2 (en) Image display device and image display program
JP2015184838A (en) Image processing device, method, and program
JP6766433B2 (en) Vehicle display control device, vehicle display system, vehicle display control method and program
US20230393795A1 (en) Image processing apparatus, image processing method, and storage medium
JP2014178977A (en) Display device and control program of display device
KR101980086B1 (en) Apparatus for 360 Degree Image Photographing and Method for Editing 360 Degree Image
JP6843342B1 (en) Reflection removal engine generation method, program, reflection removal engine generation device, reflection removal device, abnormality detection method and component detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7395842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150