JP2022040819A

JP2022040819A - Image processing device and image processing method

Info

Publication number: JP2022040819A
Application number: JP2020145715A
Authority: JP
Inventors: 剛仁寺口; Takehito Teraguchi; 裕史井上; Yasushi Inoue; 雅己岡本; Masami Okamoto; 雄宇志小田; Yuu Shioda; 乘西山; Nori Nishiyama; 純河西; Jun Kawanishi; 翔太大久保; Shota Okubo; 放歌陳; Fangge Chen
Original assignee: Renault SAS; Nissan Motor Co Ltd
Current assignee: Renault SAS; Nissan Motor Co Ltd
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2022-03-11

Abstract

To provide an image processing device and a method thereof that can make a user clearly understand a display target even when a movement or a moving object is displayed at a remote location.SOLUTION: An image processing device 220 according to the present invention includes an image acquiring unit that acquires images captured by an outside camera 110 and an inside camera 120, an object detection unit that detects an object that a user 230 of a display device 240 needs to see, a display determination unit that determines whether the object is unclear, and a display image generation unit that changes the display mode of the object and generates a display image when the object is unclear, and determines that the object is unclear in at least one of a case in which the size of the object is less than or equal to a predetermined threshold, a case in which a time in which the object is displayed is less than or equal to the predetermined threshold, and a case in which the rate of change in the size of the object is greater than or equal to the predetermined threshold.SELECTED DRAWING: Figure 1

Description

本発明は、撮像機器により撮像された撮像画像に基づいて、撮像機器から離れた遠隔地にある表示機器に表示するための表示画像を生成する画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing device and an image processing method for generating a display image to be displayed on a display device at a remote location away from the image pickup device based on the captured image captured by the image pickup device.

従来では、仮想空間内を立体的に表示させる空間表示装置として、特許文献１が開示されている。特許文献１に開示された空間表示装置は、仮想空間内において、視認が良好な領域内にある部品の表示形態と、視認が良好でない領域内にある部品の表示形態とを異なる形態とすることで、現在の視野から見づらい部分についても適切に表示させるようにしていた。 Conventionally, Patent Document 1 has been disclosed as a space display device that three-dimensionally displays the inside of a virtual space. The spatial display device disclosed in Patent Document 1 has a different form in the virtual space between the display form of a part in an area where visibility is good and the display form of a part in an area where visibility is not good. So, I was trying to properly display the parts that are difficult to see from the current field of view.

特開２０１８－２０５９７４号公報JP-A-2018-205974

しかしながら、上述した従来の空間表示装置は、視野の変化には対応しているものの、表示対象が静止したものであるので、移動や動きのあるものを遠隔地で表示する場合には、通信遅延等によって表示対象が不明瞭に表示される場合があった。そのため、従来の空間表示装置では、移動や動きのあるものを遠隔地で表示する場合に、ユーザに表示対象を明瞭に理解させることができないという問題点があった。 However, although the above-mentioned conventional spatial display device responds to changes in the visual field, the display target is stationary, so that communication delay occurs when a moving or moving object is displayed at a remote location. In some cases, the display target may be unclear due to factors such as. Therefore, the conventional spatial display device has a problem that it is not possible for the user to clearly understand the display target when displaying a moving or moving object at a remote location.

そこで、本発明は、上記課題に鑑みて成されたものであり、移動や動きのあるものを遠隔地で表示する場合であっても、ユーザに表示対象を明瞭に理解させることのできる画像処理装置及び画像処理方法を提供することを目的とする。 Therefore, the present invention has been made in view of the above problems, and image processing that allows the user to clearly understand the display target even when a moving or moving object is displayed at a remote location. It is an object of the present invention to provide an apparatus and an image processing method.

本発明の一態様に係る画像処理装置及びその方法は、撮像機器で撮像された撮像画像を取得し、撮像画像上において表示機器のユーザが視認する必要のあるオブジェクトを検出する。そして、検出されたオブジェクトが不明瞭であるか否かを判定し、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を変更して表示画像を生成する。特に、オブジェクトが不明瞭であるか否かの判定は、オブジェクトの大きさが所定の閾値以下である場合、オブジェクトが表示されている時間が所定の閾値以下である場合、オブジェクトの大きさの変化率が所定の閾値以上である場合の少なくとも１つである場合に、オブジェクトが不明瞭であると判定する。 An image processing device and a method thereof according to an aspect of the present invention acquire an image captured by an image pickup device and detect an object on the captured image that the user of the display device needs to visually recognize. Then, it is determined whether or not the detected object is unclear, and if it is determined that the object is unclear, the display mode of the object is changed to generate a display image. In particular, whether or not an object is unclear is determined when the size of the object is less than or equal to a predetermined threshold value, when the time the object is displayed is less than or equal to a predetermined threshold value, or when the size of the object is changed. It is determined that the object is unclear if the rate is at least one of the cases where the rate is equal to or greater than a predetermined threshold.

本発明によれば、移動や動きのあるものを遠隔地で表示する場合であっても、ユーザに表示対象を明瞭に理解させることができる。 According to the present invention, even when a moving or moving object is displayed at a remote location, the user can clearly understand the display target.

図１は、本発明の一実施形態に係る画像処理装置を備えた仮想空間表示システムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a virtual space display system including an image processing device according to an embodiment of the present invention. 図２は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention. 図３は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示態様を強調表示に変更する場合の表示画面の一例を示す図である。FIG. 3 is a diagram showing an example of a display screen when the display mode of an object by the image processing device according to the embodiment of the present invention is changed to highlighting. 図４は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示態様をアイコンの重畳表示に変更する場合の表示画面の一例を示す図である。FIG. 4 is a diagram showing an example of a display screen when the display mode of an object by the image processing device according to the embodiment of the present invention is changed to the superimposed display of icons. 図５は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示態様を、オブジェクトの方向を示す画像の重畳表示に変更する場合の表示画面の一例を示す図である。FIG. 5 is a diagram showing an example of a display screen when the display mode of an object by the image processing device according to the embodiment of the present invention is changed to a superimposed display of an image indicating the direction of the object. 図６は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示位置を修正する場合の表示画面の一例を示す図である。FIG. 6 is a diagram showing an example of a display screen when the display position of an object is corrected by the image processing device according to the embodiment of the present invention. 図７は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示態様変更処理の処理手順を示すフローチャートである。FIG. 7 is a flowchart showing a processing procedure for changing the display mode of an object by the image processing apparatus according to the embodiment of the present invention. 図８は、本発明の一実施形態に係る画像処理装置によるユーザの注意喚起処理の処理手順を示すフローチャートである。FIG. 8 is a flowchart showing a processing procedure of a user's attention processing by the image processing apparatus according to the embodiment of the present invention.

以下、本発明の一実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In the description of the drawings, the same parts are designated by the same reference numerals and the description thereof will be omitted.

［仮想空間表示システムの構成］
図１は、本実施形態に係る画像処理装置を備えた仮想空間表示システムの構成を示すブロック図である。図１に示すように、仮想空間表示システム１は、車両空間１００の車室内や車両周辺の状況を撮像し、車両空間１００から離れた遠隔地空間２００にいるユーザ２３０に対して、仮想空間３００の表示画像を提供する。表示画像には、仮想空間３００において、車室内や車両周辺の状況が表示されている。 [Configuration of virtual space display system]
FIG. 1 is a block diagram showing a configuration of a virtual space display system including an image processing device according to the present embodiment. As shown in FIG. 1, the virtual space display system 1 captures the situation inside and around the vehicle of the vehicle space 100, and the virtual space 300 is used for the user 230 in the remote space 200 away from the vehicle space 100. Provides a display image of. In the display image, the situation inside the vehicle interior and around the vehicle is displayed in the virtual space 300.

車両空間１００は車室内外の実空間であり、車外カメラ１１０と、車内カメラ１２０と、コントローラ１３０と、通信装置１４０が設置されている。そして、車両空間１００では、車両１５０の車室内に乗員１６０が乗車しており、乗員１６０は表示デバイス１７０を装着している。 The vehicle space 100 is a real space inside and outside the vehicle, and an external camera 110, an in-vehicle camera 120, a controller 130, and a communication device 140 are installed. In the vehicle space 100, the occupant 160 is in the passenger compartment of the vehicle 150, and the occupant 160 is equipped with the display device 170.

車外カメラ１１０は、車両１５０に搭載され、車両１５０の周辺の状況を撮像する撮像機器である。車外カメラ１１０は、車両１５０の周辺の状況を撮像した撮像画像をコントローラ１３０に出力する。撮像画像には、車両前方の映像だけではなく、車両１５０の側方や後方も含む３６０度の映像が撮像されている。また、車外カメラ１１０にはマイクが搭載されており、映像とともに車両１５０の周辺の音声も録音されて撮像画像とともにコントローラ１３０に出力される。 The vehicle exterior camera 110 is an imaging device mounted on the vehicle 150 and captures a situation around the vehicle 150. The out-of-vehicle camera 110 outputs an image captured by capturing the situation around the vehicle 150 to the controller 130. In the captured image, not only the image in front of the vehicle but also the image of 360 degrees including the side and the rear of the vehicle 150 is captured. Further, the external camera 110 is equipped with a microphone, and the sound around the vehicle 150 is recorded together with the video and output to the controller 130 together with the captured image.

車内カメラ１２０は、車両１５０に搭載され、車両１５０の車室内の状況を撮像する撮像機器である。車内カメラ１２０は、車両１５０の車室内の状況を撮像した撮像画像をコントローラ１３０に出力する。撮像画像には、運転席と助手席の映像だけではなく、後部座席の映像も含む車室内全体の映像が撮像されている。また、車内カメラ１２０にはマイクが搭載されており、映像とともに車両１５０の車室内の音声も録音されて撮像画像とともにコントローラ１３０に出力される。 The in-vehicle camera 120 is an imaging device mounted on the vehicle 150 and captures the situation inside the vehicle interior of the vehicle 150. The in-vehicle camera 120 outputs an image captured by capturing the situation inside the vehicle interior of the vehicle 150 to the controller 130. The captured image includes not only the image of the driver's seat and the passenger seat but also the image of the entire vehicle interior including the image of the rear seat. Further, the in-vehicle camera 120 is equipped with a microphone, and the sound in the vehicle interior of the vehicle 150 is recorded together with the video and output to the controller 130 together with the captured image.

コントローラ１３０は、車外カメラ１１０、車内カメラ１２０、通信装置１４０及び表示デバイス１７０と無線あるいは有線により通信することが可能である。コントローラ１３０は、車外カメラ１１０と車内カメラ１２０から撮像画像とその音声を取得して、通信装置１４０を介して遠隔地空間２００へ送信する。また、コントローラ１３０は、ＣＰＵ(Central Processing Unit)と、ＲＡＭ(Random Access Memory)などにより構成されるメインメモリを含んでいる。そして、メインメモリを作業領域として用いてプログラムを実行し、ＡＲ(Augmented Reality)やＶＲ(Virtual Reality)などの仮想空間の表示に関する情報処理を行う。コントローラ１３０は、プログラムを実行して演算処理を行うことが可能なものであればよく、ＰＣ(Personal Computer)、ゲーム機、サーバ装置、スマートフォンなどでもよい。尚、コントローラ１３０は、車両１５０に搭載されていてもよいし、表示デバイス１７０に組み込まれていてもよい。 The controller 130 can communicate wirelessly or by wire with the external camera 110, the in-vehicle camera 120, the communication device 140, and the display device 170. The controller 130 acquires an captured image and its sound from the outside camera 110 and the inside camera 120, and transmits the captured image and the sound to the remote space 200 via the communication device 140. Further, the controller 130 includes a main memory composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like. Then, the program is executed using the main memory as a work area, and information processing related to the display of virtual space such as AR (Augmented Reality) and VR (Virtual Reality) is performed. The controller 130 may be a PC (Personal Computer), a game machine, a server device, a smartphone, or the like, as long as it can execute a program and perform arithmetic processing. The controller 130 may be mounted on the vehicle 150 or may be incorporated in the display device 170.

通信装置１４０は、インターネットなどのネットワークに接続して遠隔地空間２００との間でデータを送受信するインターフェースである。 The communication device 140 is an interface that connects to a network such as the Internet and transmits / receives data to / from a remote space 200.

表示デバイス１７０は、いわゆる頭部装着型のヘッドマウントディスプレイ（ＨＭＤ）である。表示デバイス１７０は、乗員１６０の頭部に装着されることで、乗員１６０の眼前に、画像を表示するためのディスプレイを保持するように構成されている。また、表示デバイス１７０には、乗員１６０の視線の動きを検出するためのセンサも含まれている。尚、表示デバイス１７０は、ウェアラブル型ディスプレイであればよく、眼鏡型デバイスでもよい。 The display device 170 is a so-called head-mounted display (HMD). The display device 170 is configured to be mounted on the head of the occupant 160 to hold a display for displaying an image in front of the occupant 160's eyes. The display device 170 also includes a sensor for detecting the movement of the line of sight of the occupant 160. The display device 170 may be a wearable display or may be a glasses-type device.

表示デバイス１７０に適用される頭部装着型のヘッドマウントディスプレイとしては、ＡＲゴーグルのようなシースルー型ＨＭＤが適用される。 As the head-mounted display applied to the display device 170, a see-through type HMD such as AR goggles is applied.

シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いた虚像光学系を乗員１６０の眼前に保持し、虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着した乗員１６０は、虚像光学系に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。尚、シースルー型ＨＭＤの具体的な一例として、眼鏡のレンズに相当する部分を虚像光学系として構成した眼鏡型デバイスが挙げられる。 In the see-through type HMD, for example, a virtual image optical system using a half mirror or a transparent light guide plate is held in front of the occupant 160, and an image is displayed inside the virtual image optical system. Therefore, the occupant 160 equipped with the see-through type HMD can see the outside scenery while viewing the image displayed on the virtual image optical system. As a specific example of the see-through type HMD, there is a spectacle-type device in which a portion corresponding to a lens of spectacles is configured as a virtual image optical system.

また、表示デバイス１７０には、例えば、加速度センサ、ジャイロセンサが設けられ、表示デバイス１７０を装着した乗員１６０の頭部の動き（頭部の姿勢）を検出可能に構成されている。一例として、表示デバイス１７０は、乗員１６０の頭部の動きとして、ヨー方向、ピッチ方向、及びロール方向それぞれの成分を検出する。そして、表示デバイス１７０は、検出した乗員１６０の頭部の動きに基づき、乗員１６０の視線が示す方向の変化を認識し、認識した視線方向の変化に応じた画像を乗員１６０に提示する。このような構成に基づいて、例えば、乗員１６０の視線方向の変化に応じて仮想空間内の映像を乗員１６０に提示する。これにより、乗員１６０に対して、あたかも仮想空間内にいるような没入感を与えることが可能となる。 Further, the display device 170 is provided with, for example, an acceleration sensor and a gyro sensor, and is configured to be able to detect the movement (posture of the head) of the head of the occupant 160 equipped with the display device 170. As an example, the display device 170 detects components in the yaw direction, the pitch direction, and the roll direction as the movement of the head of the occupant 160. Then, the display device 170 recognizes the change in the direction indicated by the line of sight of the occupant 160 based on the detected movement of the head of the occupant 160, and presents an image corresponding to the recognized change in the line-of-sight direction to the occupant 160. Based on such a configuration, for example, an image in the virtual space is presented to the occupant 160 according to a change in the line-of-sight direction of the occupant 160. This makes it possible to give the occupant 160 an immersive feeling as if he / she is in a virtual space.

また、表示デバイス１７０は、光学センサ（カメラ）を含んでいてもよい。表示デバイス１７０は、光学センサを用いて乗員１６０の視線をトラッキングすることができる。尚、表示デバイス１７０は、近接センサを含んでいてもよい。近接センサは、ゴーグル部分に設置され、乗員１６０の顔部との接触有無を判定するために用いられる。 Further, the display device 170 may include an optical sensor (camera). The display device 170 can track the line of sight of the occupant 160 using an optical sensor. The display device 170 may include a proximity sensor. The proximity sensor is installed in the goggles portion and is used to determine whether or not the occupant 160 is in contact with the face.

次に、遠隔地空間２００は車両空間１００から離れた遠隔地にある実空間であり、通信装置２１０と、画像処理装置２２０が設置されている。そして、遠隔地空間２００では、ユーザ２３０が表示デバイス２４０を装着して、仮想空間３００の画像を見ている。 Next, the remote space 200 is a real space located in a remote place away from the vehicle space 100, and the communication device 210 and the image processing device 220 are installed. Then, in the remote space 200, the user 230 wears the display device 240 and is viewing the image of the virtual space 300.

通信装置２１０は、インターネットなどのネットワークに接続して車両空間１００との間でデータを送受信するインターフェースである。 The communication device 210 is an interface that connects to a network such as the Internet and transmits / receives data to / from the vehicle space 100.

画像処理装置２２０は、車外カメラ１１０及び車内カメラ１２０によって撮像された撮像画像に基づいて、遠隔地空間２００にある表示デバイス２４０に表示するための表示画像を生成する。具体的に、画像処理装置２２０は、車外カメラ１１０及び車内カメラ１２０で撮像された撮像画像を取得し、取得した撮像画像上において、ユーザ２３０が視認する必要のあるオブジェクトを検出する。そして、検出されたオブジェクトが不明瞭であるか否かを判定し、不明瞭であると判定された場合には、オブジェクトの表示態様を変更して表示画像を生成する。 The image processing device 220 generates a display image to be displayed on the display device 240 in the remote space 200 based on the captured images captured by the vehicle exterior camera 110 and the vehicle interior camera 120. Specifically, the image processing device 220 acquires images captured by the external camera 110 and the in-vehicle camera 120, and detects an object that the user 230 needs to visually recognize on the acquired images. Then, it is determined whether or not the detected object is unclear, and if it is determined to be unclear, the display mode of the object is changed to generate a display image.

また、画像処理装置２２０は、通信装置２１０及び表示デバイス２４０と無線あるいは有線により通信することが可能である。画像処理装置２２０はコントローラを備え、コントローラはＣＰＵ(Central Processing Unit)と、ＲＡＭ(Random Access Memory)などにより構成されるメインメモリを含んでいる。そして、メインメモリを作業領域として用いてプログラムを実行し、ＡＲ(Augmented Reality)やＶＲ(Virtual Reality)などの仮想空間の表示に関する情報処理を行う。画像処理装置２２０は、プログラムを実行して演算処理を行うことが可能なものであればよく、ＰＣ(Personal Computer)、ゲーム機、サーバ装置、スマートフォンなどでもよい。尚、画像処理装置２２０は、表示デバイス２４０に組み込まれていてもよい。 Further, the image processing device 220 can communicate with the communication device 210 and the display device 240 wirelessly or by wire. The image processing device 220 includes a controller, and the controller includes a main memory composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like. Then, the program is executed using the main memory as a work area, and information processing related to the display of virtual space such as AR (Augmented Reality) and VR (Virtual Reality) is performed. The image processing device 220 may be a PC (Personal Computer), a game machine, a server device, a smartphone, or the like, as long as it can execute a program to perform arithmetic processing. The image processing device 220 may be incorporated in the display device 240.

次に、図２を参照して、本実施形態に係る画像処理装置２２０の構成を説明する。図２は、本実施形態に係る画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置２２０は、撮像画像取得部２２１と、オブジェクト検出部２２３と、表示判定部２２５と、表示画像生成部２２７と、音声生成部２２９とを備えている。 Next, the configuration of the image processing device 220 according to the present embodiment will be described with reference to FIG. FIG. 2 is a block diagram showing a configuration of an image processing device according to the present embodiment. As shown in FIG. 2, the image processing device 220 includes a captured image acquisition unit 221, an object detection unit 223, a display determination unit 225, a display image generation unit 227, and a sound generation unit 229.

撮像画像取得部２２１は、車両空間１００にある車外カメラ１１０及び車内カメラ１２０で撮像された撮像画像を、通信網を介して取得する。車両空間１００に設置されている車外カメラ１１０及び車内カメラ１２０で撮像された撮像画像は、通信装置１４０によって車両空間１００から送信され、遠隔地空間２００の通信装置２１０で受信して撮像画像取得部２２１が取得する。 The captured image acquisition unit 221 acquires the captured images captured by the vehicle exterior camera 110 and the vehicle interior camera 120 in the vehicle space 100 via the communication network. The captured images captured by the vehicle exterior camera 110 and the vehicle interior camera 120 installed in the vehicle space 100 are transmitted from the vehicle space 100 by the communication device 140, received by the communication device 210 in the remote space 200, and captured image acquisition unit. 221 gets.

オブジェクト検出部２２３は、撮像画像取得部２２１で取得した撮像画像上において、ユーザ２３０が視認する必要のあるオブジェクトを検出する。検出されるオブジェクトは、車両の乗員が視認する必要のある注意対象物であり、例えば歩行者や自転車、バイク、車両、その他の障害物、さらに信号機や標識等である。また、乗員１６０やユーザ２３０のアバタをオブジェクトとして検出してもよい。オブジェクト検出部２２３は、撮像画像に対して画像解析を行うことによって、撮像画像の中からオブジェクトを検出する。 The object detection unit 223 detects an object that the user 230 needs to visually recognize on the captured image acquired by the captured image acquisition unit 221. The objects to be detected are objects of interest that the occupants of the vehicle need to see, such as pedestrians, bicycles, motorcycles, vehicles, other obstacles, as well as traffic lights and signs. Further, the avatar of the occupant 160 or the user 230 may be detected as an object. The object detection unit 223 detects an object from the captured image by performing image analysis on the captured image.

表示判定部２２５は、オブジェクト検出部２２３で検出されたオブジェクトが、撮像画像上において不明瞭であるか否かを判定する。撮像画像は、車両空間１００で撮像されて遠隔地空間２００に送信されているので、通信機器の性能や通信遅延等に起因して、撮像画像上において不明瞭に表示されている部分が存在する場合がある。そこで、表示判定部２２５は、検出されたオブジェクトが不明瞭であるか否かを判定する。 The display determination unit 225 determines whether or not the object detected by the object detection unit 223 is unclear on the captured image. Since the captured image is captured in the vehicle space 100 and transmitted to the remote space 200, there is a portion that is unclearly displayed on the captured image due to the performance of the communication device, communication delay, and the like. In some cases. Therefore, the display determination unit 225 determines whether or not the detected object is unclear.

具体的に、表示判定部２２５は、撮像画像上において、オブジェクトの大きさが所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。例えば、先行車をオブジェクトとして検出した場合に、先行車を囲む矩形状のバウンディングボックスの一辺の画素数が所定の閾値以下である場合には、オブジェクトが小さすぎてユーザ２３０が視認することが困難になる。そこで、表示判定部２２５はオブジェクトが不明瞭であると判定する。 Specifically, the display determination unit 225 determines that the object is unclear when the size of the object is equal to or less than a predetermined threshold value on the captured image. For example, when the preceding vehicle is detected as an object and the number of pixels on one side of the rectangular bounding box surrounding the preceding vehicle is equal to or less than a predetermined threshold value, the object is too small to be visually recognized by the user 230. become. Therefore, the display determination unit 225 determines that the object is unclear.

また、表示判定部２２５は、撮像画像上において、オブジェクトが表示されている時間が所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。例えば、自転車をオブジェクトとして検出した場合に、撮像画像上において自転車が横方向に移動して所定の閾値以下の時間だけ表示された場合には、自転車が短時間しか表示されないので、通信遅延等によりユーザ２３０が視認することが困難になる。そこで、表示判定部２２５はオブジェクトが不明瞭であると判定する。また。オブジェクトの移動速度が所定の閾値以上である場合に、オブジェクトが不明瞭であると判定してもよい。例えば、自転車をオブジェクトとして検出した場合に、撮像画像上において自転車が横方向に移動する速度が所定の閾値以上である場合には、自転車の移動が速すぎて通信遅延等によりユーザ２３０が視認することが困難になる。そこで、表示判定部２２５はオブジェクトが不明瞭であると判定する。 Further, the display determination unit 225 determines that the object is unclear when the time during which the object is displayed on the captured image is equal to or less than a predetermined threshold value. For example, when a bicycle is detected as an object and the bicycle moves laterally on the captured image and is displayed for a time equal to or less than a predetermined threshold value, the bicycle is displayed only for a short time. It becomes difficult for the user 230 to visually recognize it. Therefore, the display determination unit 225 determines that the object is unclear. Also. When the moving speed of the object is equal to or higher than a predetermined threshold value, it may be determined that the object is unclear. For example, when a bicycle is detected as an object and the speed at which the bicycle moves laterally on the captured image is equal to or higher than a predetermined threshold value, the bicycle moves too fast and is visually recognized by the user 230 due to communication delay or the like. Will be difficult. Therefore, the display determination unit 225 determines that the object is unclear.

さらに、表示判定部２２５は、撮像画像上において、オブジェクトの大きさの変化率が所定の閾値以上である場合に、オブジェクトが不明瞭であると判定する。例えば、対向車をオブジェクトとして検出した場合に、撮像画像上において対向車が接近する速度が速くて、対向車の大きさの変化率が所定の閾値以上となる場合がある。そのような場合には、対向車の大きさの変化が速すぎて、通信遅延等によりユーザ２３０が視認することが困難になる。そこで、表示判定部２２５は、オブジェクトが不明瞭であると判定する。 Further, the display determination unit 225 determines that the object is unclear when the rate of change in the size of the object is equal to or greater than a predetermined threshold value on the captured image. For example, when an oncoming vehicle is detected as an object, the speed at which the oncoming vehicle approaches is high on the captured image, and the rate of change in the size of the oncoming vehicle may be greater than or equal to a predetermined threshold value. In such a case, the size of the oncoming vehicle changes too quickly, and it becomes difficult for the user 230 to visually recognize the vehicle due to communication delay or the like. Therefore, the display determination unit 225 determines that the object is unclear.

このように、表示判定部２２５は、オブジェクトの大きさが所定の閾値以下である場合、オブジェクトが表示されている時間が所定の閾値以下である場合、オブジェクトの大きさの変化率が所定の閾値以上である場合の少なくとも１つである場合に、オブジェクトが不明瞭であると判定する。さらに、以下に示す場合にもオブジェクトが不明瞭であると判定してもよい。 As described above, in the display determination unit 225, when the size of the object is equal to or less than the predetermined threshold value, when the display time of the object is equal to or less than the predetermined threshold value, the rate of change in the size of the object is the predetermined threshold value. When it is at least one of the above cases, it is determined that the object is unclear. Further, it may be determined that the object is unclear even in the following cases.

表示判定部２２５は、撮像画像上において、オブジェクトとその周囲との色の差が所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。例えば、歩行者をオブジェクトとして検出した場合に、撮像画像上において歩行者の服の色と景色の色との差が所定の閾値以下である場合には、歩行者と背後の景色が区別できないので、ユーザ２３０が視認することが困難になる。そこで、表示判定部２２５はオブジェクトが不明瞭であると判定する。 The display determination unit 225 determines that the object is unclear when the color difference between the object and its surroundings is equal to or less than a predetermined threshold value on the captured image. For example, when a pedestrian is detected as an object and the difference between the color of the pedestrian's clothes and the color of the scenery is less than a predetermined threshold on the captured image, the pedestrian and the scenery behind cannot be distinguished. , It becomes difficult for the user 230 to visually recognize. Therefore, the display determination unit 225 determines that the object is unclear.

また、表示判定部２２５は、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合に、オブジェクトが不明瞭であると判定する。撮像画像には、車両の前方だけではなく、車両の側方や後方も撮像されている。しかし、ユーザ２３０に表示されている表示画像には、ユーザ２３０の視野の範囲内だけが表示されている。そのため、ユーザ２３０が前方を見ている場合には、車両の側方を走る自転車は、撮像画像上には撮像されていても、表示画像上には表示されていないので、ユーザ２３０は視認することが困難になる。そこで、表示判定部２２５は、撮像画像上に撮像されていても、表示画像上には表示されていないオブジェクトがある場合には、オブジェクトが不明瞭であると判定する。 Further, the display determination unit 225 determines that the object is unclear when there is an object that is captured on the captured image and is not displayed on the displayed image. The captured image captures not only the front of the vehicle but also the sides and rear of the vehicle. However, in the display image displayed to the user 230, only the range of the field of view of the user 230 is displayed. Therefore, when the user 230 is looking ahead, the bicycle running on the side of the vehicle is not displayed on the displayed image even though it is captured on the captured image, so that the user 230 visually recognizes the bicycle. Will be difficult. Therefore, the display determination unit 225 determines that the object is unclear when there is an object that is not displayed on the display image even if it is captured on the captured image.

さらに、表示判定部２２５は、撮像画像上において、オブジェクトの表示位置に誤差がある場合に、オブジェクトが不明瞭であると判定する。例えば、対向車をオブジェクトとして検出した場合に、通信遅延等によってオブジェクトの表示位置が遅れて表示される場合がある。そのような場合には、対向車の位置が正確に表示されていないので、ユーザ２３０はオブジェクトの位置を正確に視認することが困難になる。そこで、表示判定部２２５は、オブジェクトが不明瞭であると判定する。誤差の判定方法としては、通信の遅延時間と対向車の車速から対向車の推定位置を算出し、この推定位置と対向車の表示位置との間に差がある場合に、誤差があると判定する。 Further, the display determination unit 225 determines that the object is unclear when there is an error in the display position of the object on the captured image. For example, when an oncoming vehicle is detected as an object, the display position of the object may be delayed due to a communication delay or the like. In such a case, since the position of the oncoming vehicle is not accurately displayed, it becomes difficult for the user 230 to accurately recognize the position of the object. Therefore, the display determination unit 225 determines that the object is unclear. As an error determination method, the estimated position of the oncoming vehicle is calculated from the communication delay time and the vehicle speed of the oncoming vehicle, and if there is a difference between this estimated position and the display position of the oncoming vehicle, it is determined that there is an error. do.

このように、表示判定部２２５は、上述した場合の少なくとも１つである場合に、オブジェクトが不明瞭であると判定する。 As described above, the display determination unit 225 determines that the object is unclear when it is at least one of the above-mentioned cases.

表示画像生成部２２７は、車外カメラ１１０及び車内カメラ１２０によって撮像された撮像画像に基づいて、表示デバイス２４０に表示するための表示画像を生成する。車外カメラ１１０によって撮像された撮像画像には、車両１５０の前方だけではなく、側方や後方の画像も含まれている。また、車内カメラ１２０によって撮像された撮像画像には、運転席や助手席だけではなく、後部座席の画像も含まれている。そこで、表示画像生成部２２７は、表示デバイス２４０からユーザ２３０の頭部の向きや視線の方向を取得して、撮像画像の中からユーザ２３０が見ている方向の画像を抽出して表示画像を生成する。 The display image generation unit 227 generates a display image to be displayed on the display device 240 based on the captured images captured by the vehicle exterior camera 110 and the vehicle interior camera 120. The captured image captured by the vehicle outside camera 110 includes not only the front image of the vehicle 150 but also the side and rear images. Further, the captured image captured by the in-vehicle camera 120 includes not only an image of the driver's seat and the passenger seat but also an image of the rear seat. Therefore, the display image generation unit 227 acquires the direction of the head of the user 230 and the direction of the line of sight from the display device 240, extracts an image in the direction that the user 230 is looking at from the captured images, and displays the display image. Generate.

表示画像は、仮想空間３００の映像であり、仮想空間３００において車両１５０の車室内の状況と車両１５０の周辺の状況とが表示されている。また、表示画像には、車両１５０の周辺の音声と車室内の音声が記録されており、映像に合わせて再生される。 The display image is an image of the virtual space 300, and the situation inside the vehicle interior of the vehicle 150 and the situation around the vehicle 150 are displayed in the virtual space 300. Further, in the display image, the sound around the vehicle 150 and the sound in the vehicle interior are recorded, and are reproduced in accordance with the video.

そして、表示画像生成部２２７は、表示判定部２２５によってオブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を変更して表示画像を生成する。 Then, when the display determination unit 225 determines that the object is unclear, the display image generation unit 227 changes the display mode of the object to generate a display image.

具体的に、表示画像生成部２２７は、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を強調表示に変更して表示画像を生成する。例えば、図３に示すように、対向車をオブジェクトとして検出している場合には、対向車を囲む矩形状のバウンディングボックス３０を点滅させて強調表示する表示態様に変更する。強調表示は、バウンディングボックスの点滅表示だけではなく、バウンディングボックスの輝度を高くしてもよい。 Specifically, when it is determined that the object is unclear, the display image generation unit 227 changes the display mode of the object to highlighting and generates a display image. For example, as shown in FIG. 3, when an oncoming vehicle is detected as an object, the display mode is changed so that the rectangular bounding box 30 surrounding the oncoming vehicle is blinked and highlighted. The highlighting may be not only the blinking display of the bounding box but also the brightness of the bounding box.

また、表示画像生成部２２７は、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を、オブジェクトを示す画像の重畳表示に変更して表示画像を生成する。例えば、図４に示すように、対向車をオブジェクトとして検出している場合には、対向車を囲むバウンディングボックス４０を表示する表示態様から、対向車を示すアイコン４２の画像を重畳表示する表示態様に変更する。 Further, when it is determined that the object is unclear, the display image generation unit 227 changes the display mode of the object to the superimposed display of the image indicating the object and generates the display image. For example, as shown in FIG. 4, when an oncoming vehicle is detected as an object, a display mode in which an image of an icon 42 indicating an oncoming vehicle is superimposed and displayed from a display mode in which the bounding box 40 surrounding the oncoming vehicle is displayed. Change to.

さらに、表示画像生成部２２７は、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合には、オブジェクトの方向を示す画像を重畳表示する表示態様に変更して、表示画像を生成する。例えば、図５に示すように、撮像画像には５０の位置に自転車が撮像されているが、表示画像の範囲外なので表示されていない。この場合に、自転車の方向を示す矢印の画像５２を重畳表示する表示態様に変更して、表示画像を生成する。このとき、オブジェクトの種類を示す「自転車」という画像５４を追加して重畳表示してもよい。 Further, when there is an object that is captured on the captured image and is not displayed on the displayed image, the display image generation unit 227 changes to a display mode in which an image indicating the direction of the object is superimposed and displayed. Generate an image. For example, as shown in FIG. 5, the bicycle is imaged at the position of 50 in the captured image, but it is not displayed because it is out of the range of the displayed image. In this case, the display mode is changed so that the image 52 of the arrow indicating the direction of the bicycle is superimposed and displayed, and the display image is generated. At this time, an image 54 called "bicycle" indicating the type of the object may be added and displayed in an superimposed manner.

また、表示画像生成部２２７は、オブジェクトの表示位置に誤差がある場合には、オブジェクトを示す画像を、誤差を修正した位置に重畳表示する表示態様に変更して、表示画像を生成する。例えば、図６に示すように、対向車をオブジェクトとして検出した場合に、対向車の現在の推定位置が６０の位置であるにも関わらず、対向車が６２の位置に表示されている。そこで、表示画像生成部２２７は、対向車を示すアイコンの画像６４を、誤差を修正した位置に重畳表示する表示態様に変更して、表示画像を生成する。 Further, when there is an error in the display position of the object, the display image generation unit 227 changes the image showing the object to a display mode in which the image showing the object is superimposed and displayed at the position where the error is corrected, and generates a display image. For example, as shown in FIG. 6, when an oncoming vehicle is detected as an object, the oncoming vehicle is displayed at the position 62 even though the current estimated position of the oncoming vehicle is the position of 60. Therefore, the display image generation unit 227 changes the image 64 of the icon indicating the oncoming vehicle to a display mode in which the image 64 is superimposed and displayed at the position where the error is corrected, and generates the display image.

このとき、図６に示すように、推定位置６０の位置が対向車の表示位置６２よりも車両１５０側に近づいている場合には、表示画像生成部２２７は、対向車を示すアイコンの画像６４の大きさを変更して表示する。具体的に、表示画像生成部２２７は、対向車を示すアイコンの画像６４を拡大して表示し、このときの拡大比率は、対向車と車両１５０（または車外カメラ１１０）との間の距離（対向車の位置と車両１５０の位置との差）に基づいて設定する。つまり、推定位置６０に対向車が位置したときの見え方に合わせて対向車を示すアイコンの画像６４を拡大して表示する。また、対向車を示すアイコンの画像６４の代わりに、対向車の画像を拡大して重畳してもよい。尚、対向車と車両１５０（または車外カメラ１１０）との間の距離は、対向車の推定位置が算出されているので、その推定位置と車両１５０の位置から求めることができる。 At this time, as shown in FIG. 6, when the position of the estimated position 60 is closer to the vehicle 150 side than the display position 62 of the oncoming vehicle, the display image generation unit 227 displays the image 64 of the icon indicating the oncoming vehicle. Change the size of and display it. Specifically, the display image generation unit 227 enlarges and displays the image 64 of the icon indicating the oncoming vehicle, and the enlargement ratio at this time is the distance between the oncoming vehicle and the vehicle 150 (or the outside camera 110) (or the outside camera 110). It is set based on the difference between the position of the oncoming vehicle and the position of the vehicle 150). That is, the image 64 of the icon showing the oncoming vehicle is enlarged and displayed according to the appearance when the oncoming vehicle is positioned at the estimated position 60. Further, instead of the image 64 of the icon showing the oncoming vehicle, the image of the oncoming vehicle may be enlarged and superimposed. Since the estimated position of the oncoming vehicle is calculated, the distance between the oncoming vehicle and the vehicle 150 (or the camera outside the vehicle 110) can be obtained from the estimated position and the position of the vehicle 150.

音声生成部２２９は、オブジェクト検出部２２３で検出されたオブジェクトをユーザ２３０に認知させるための音声を生成する。例えば、オブジェクトを強調表示するときに、ユーザ２３０に注意喚起する音声や警告音を生成する。生成された音声は表示デバイス２４０に出力されて、表示デバイス２４０からユーザ２３０に提供される。 The voice generation unit 229 generates a voice for making the user 230 recognize the object detected by the object detection unit 223. For example, when highlighting an object, it generates a voice or warning sound to alert the user 230. The generated voice is output to the display device 240 and provided to the user 230 from the display device 240.

表示デバイス２４０は、いわゆる頭部装着型のヘッドマウントディスプレイ（ＨＭＤ）である。表示デバイス２４０は、ユーザ２３０の頭部に装着されることで、ユーザ２３０の眼前に、画像を表示するためのディスプレイを保持するように構成されている。また、表示デバイス２４０には、ユーザ２３０の視線の動きを検出するためのセンサも含まれている。なお、表示デバイス２４０は、ウェアラブル型ディスプレイであればよく、眼鏡型デバイスでもよい。 The display device 240 is a so-called head-mounted display (HMD). The display device 240 is configured to be attached to the head of the user 230 to hold a display for displaying an image in front of the user 230. The display device 240 also includes a sensor for detecting the movement of the line of sight of the user 230. The display device 240 may be a wearable display or may be a glasses-type device.

表示デバイス２４０に適用される頭部装着型のヘッドマウントディスプレイとしては、ＶＲゴーグルのような没入型ＨＭＤが適用される。 As a head-mounted display applied to the display device 240, an immersive HMD such as VR goggles is applied.

没入型ＨＭＤは、ユーザ２３０の頭部または顔部に装着された場合に、ユーザ２３０の眼を覆うように装着され、ユーザ２３０の眼前にディスプレイが保持される。そのため、没入型ＨＭＤを装着したユーザ２３０は、外部の風景（現実世界の風景）を直接視野に入れることが困難であり、ディスプレイに表示された映像のみが視界に入ることになる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザ２３０に対して没入感を与えることが可能となる。 When the immersive HMD is worn on the head or face of the user 230, it is worn so as to cover the eyes of the user 230, and the display is held in front of the eyes of the user 230. Therefore, it is difficult for the user 230 wearing the immersive HMD to directly see the external scenery (the scenery in the real world), and only the image displayed on the display is in the field of view. With such a configuration, the immersive HMD can give an immersive feeling to the user 230 who is viewing the image.

また、表示デバイス２４０には、例えば、加速度センサ、ジャイロセンサが設けられ、表示デバイス２４０を装着したユーザ２３０の頭部の動き（頭部の姿勢）を検出可能に構成されている。一例として、表示デバイス２４０は、ユーザ２３０の頭部の動きとして、ヨー方向、ピッチ方向、及びロール方向それぞれの成分を検出する。そして、表示デバイス２４０は、検出したユーザ２３０の頭部の動きに基づき、ユーザ２３０の視線が示す方向の変化を認識し、認識した視線方向の変化に応じた画像をユーザ２３０に提示する。このような構成に基づいて、例えば、ユーザ２３０の視線方向の変化に応じて仮想空間内の映像をユーザ２３０に提示する。これにより、ユーザ２３０に対して、あたかも仮想空間内にいるような没入感を与えることが可能となる。 Further, the display device 240 is provided with, for example, an acceleration sensor and a gyro sensor, and is configured to be able to detect the movement of the head (head posture) of the user 230 wearing the display device 240. As an example, the display device 240 detects components in the yaw direction, the pitch direction, and the roll direction as the movement of the head of the user 230. Then, the display device 240 recognizes the change in the direction indicated by the line of sight of the user 230 based on the detected movement of the head of the user 230, and presents the image to the user 230 according to the recognized change in the line of sight. Based on such a configuration, for example, an image in the virtual space is presented to the user 230 according to a change in the line-of-sight direction of the user 230. This makes it possible to give the user 230 an immersive feeling as if he / she is in a virtual space.

また、表示デバイス２４０は、光学センサ（カメラ）を含んでいてもよい。表示デバイス２４０は、光学センサを用いてユーザ２３０の視線をトラッキングすることができる。尚、表示デバイス２４０は、近接センサを含んでいてもよい。近接センサは、ゴーグル部分に設置され、ユーザ２３０の顔部との接触有無を判定するために用いられる。 Further, the display device 240 may include an optical sensor (camera). The display device 240 can track the line of sight of the user 230 using an optical sensor. The display device 240 may include a proximity sensor. The proximity sensor is installed in the goggles portion and is used to determine whether or not the user 230 is in contact with the face.

次に、仮想空間３００について説明する。図１に示すように、仮想空間３００は、車両１５０の周辺及び車室内を仮想的に示す空間であり、車内カメラ１２０によって撮像されたカメラ映像に乗員１６０のアバタ３１０と、ユーザ２３０のアバタ３２０が重畳して表示されている。アバタ３１０は仮想空間３００における仮想的なオブジェクトであり、乗員１６０の動作が反映されて、乗員１６０と同様の動きを行う。アバタ３２０も仮想空間３００における仮想的なオブジェクトであり、ユーザ２３０の動作が反映されて、ユーザ２３０と同様の動きを行う。 Next, the virtual space 300 will be described. As shown in FIG. 1, the virtual space 300 is a space that virtually shows the periphery of the vehicle 150 and the interior of the vehicle, and the avatar 310 of the occupant 160 and the avatar 320 of the user 230 are captured by the in-vehicle camera 120. Is superimposed and displayed. The avatar 310 is a virtual object in the virtual space 300, and the movement of the occupant 160 is reflected to perform the same movement as the occupant 160. The avatar 320 is also a virtual object in the virtual space 300, and the movement of the user 230 is reflected to perform the same movement as the user 230.

乗員１６０は、ＡＲゴーグルである表示デバイス１７０を装着しているので、実空間である車両１５０の周辺の風景や車室内の状況を実際に見ながら、虚像光学系を介してユーザ２３０のアバタ３２０が隣に座っている様子を仮想空間３００上で見ている。 Since the occupant 160 is equipped with the display device 170 which is AR goggles, the avatar 320 of the user 230 is actually seen through the virtual image optical system while actually observing the scenery around the vehicle 150 which is the real space and the situation inside the vehicle interior. Is sitting next to me on the virtual space 300.

一方、ユーザ２３０は、ＶＲゴーグルである表示デバイス２４０を装着しているので、車外カメラ１１０と車内カメラ１２０の撮像画像から生成された仮想空間３００の表示画像を見ている。ユーザ２３０が見ている表示画像には、車外の風景にアイコンやバウンディングボックスが重畳表示されており、ユーザ２３０が頭部を横に動かすと、乗員１６０のアバタ３１０が隣に座っている様子が表示されている。 On the other hand, since the user 230 is wearing the display device 240 which is VR goggles, he / she is looking at the display image of the virtual space 300 generated from the captured images of the vehicle outside camera 110 and the vehicle interior camera 120. In the display image seen by the user 230, icons and a bounding box are superimposed on the scenery outside the vehicle, and when the user 230 moves his head sideways, the avatar 310 of the occupant 160 is sitting next to him. It is displayed.

［オブジェクトの表示態様変更処理］
次に、本実施形態に係る画像処理装置２２０によるオブジェクトの表示態様変更処理を説明する。図７は、本実施形態に係る画像処理装置２２０によるオブジェクトの表示態様変更処理の処理手順を示すフローチャートである。図７に示すオブジェクトの表示態様変更処理は、ユーザ２３０が仮想空間表示システム１の利用を開始すると、スタートする。 [Object display mode change process]
Next, the process of changing the display mode of the object by the image processing device 220 according to the present embodiment will be described. FIG. 7 is a flowchart showing a processing procedure of object display mode change processing by the image processing apparatus 220 according to the present embodiment. The object display mode change process shown in FIG. 7 starts when the user 230 starts using the virtual space display system 1.

図７に示すように、ステップＳ１０において、撮像画像取得部２２１が通信装置２１０から撮像画像を取得すると、オブジェクト検出部２２３は、取得した撮像画像上において、ユーザ２３０が視認する必要のあるオブジェクトが存在するか否かを判定する。オブジェクトが存在しない場合にはステップＳ５０に進み、オブジェクトが存在する場合にはオブジェクトを検出してステップＳ２０に進む。 As shown in FIG. 7, when the captured image acquisition unit 221 acquires the captured image from the communication device 210 in step S10, the object detection unit 223 displays an object that the user 230 needs to visually recognize on the acquired captured image. Determine if it exists. If the object does not exist, the process proceeds to step S50, and if the object exists, the object is detected and the process proceeds to step S20.

ステップＳ２０において、表示判定部２２５は、ステップＳ１０で検出されたオブジェクトが不明瞭であるか否か、すなわち撮像画像上においてオブジェクトが不明瞭に表示されているか否かを判定する。具体的に、表示判定部２２５は、撮像画像上において、オブジェクトの大きさが所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。あるいは、オブジェクトが表示されている時間が所定の閾値以下である場合、オブジェクトの大きさの変化率が所定の閾値以上である場合に、オブジェクトが不明瞭であると判定する。 In step S20, the display determination unit 225 determines whether or not the object detected in step S10 is unclear, that is, whether or not the object is unclearly displayed on the captured image. Specifically, the display determination unit 225 determines that the object is unclear when the size of the object is equal to or less than a predetermined threshold value on the captured image. Alternatively, when the display time of the object is equal to or less than a predetermined threshold value, and when the rate of change in the size of the object is equal to or greater than the predetermined threshold value, it is determined that the object is unclear.

さらに、表示判定部２２５は、撮像画像上において、オブジェクトとその周囲との色の差が所定の閾値以下である場合に、オブジェクトが不明瞭であると判定してもよい。さらに、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合、オブジェクトの表示位置に誤差がある場合にも、オブジェクトが不明瞭であると判定してもよい。 Further, the display determination unit 225 may determine that the object is unclear when the color difference between the object and its surroundings is equal to or less than a predetermined threshold value on the captured image. Further, if there is an object that is captured on the captured image and is not displayed on the displayed image, it may be determined that the object is unclear even if there is an error in the display position of the object.

そして、表示判定部２２５は、オブジェクトが不明瞭ではない場合にはステップＳ５０に進み、オブジェクトが不明瞭である場合にはステップＳ３０に進む。 Then, the display determination unit 225 proceeds to step S50 if the object is not unclear, and proceeds to step S30 if the object is unclear.

ステップＳ３０において、表示画像生成部２２７は、ステップＳ２０でオブジェクトが不明瞭であると判定されると、オブジェクトの表示態様を変更して表示画像を生成する。具体的に、表示画像生成部２２７は、オブジェクトの表示態様を強調表示に変更して表示画像を生成する。また、表示画像生成部２２７は、オブジェクトの表示態様を、オブジェクトを示す画像の重畳表示に変更して表示画像を生成してもよい。 In step S30, when the display image generation unit 227 determines that the object is unclear in step S20, the display image generation unit 227 changes the display mode of the object and generates a display image. Specifically, the display image generation unit 227 changes the display mode of the object to highlighting and generates a display image. Further, the display image generation unit 227 may generate a display image by changing the display mode of the object to a superimposed display of an image indicating the object.

さらに、表示画像生成部２２７は、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合には、オブジェクトの方向を示す画像を重畳表示する表示態様に変更して表示画像を生成する。 Further, when there is an object that is captured on the captured image and is not displayed on the displayed image, the display image generation unit 227 is changed to a display mode in which an image indicating the direction of the object is superimposed and displayed, and the display image is displayed. To generate.

また、表示画像生成部２２７は、オブジェクトの表示位置に誤差がある場合には、オブジェクトを示す画像を、誤差を修正した位置に重畳表示する表示態様に変更して表示画像を生成する。 Further, when there is an error in the display position of the object, the display image generation unit 227 changes the image showing the object into a display mode in which the image showing the object is superimposed and displayed at the position where the error is corrected to generate the display image.

尚、ステップＳ３０においてオブジェクトの表示態様を変更する際に、音声生成部２２９は、検出されたオブジェクトをユーザ２３０に認知させるための音声を生成し、表示デバイス１７０、２４０から出力する。具体的に、音声生成部２２９は、オブジェクトを強調表示するときに、ユーザ２３０に注意喚起する音声や警告音を生成して、表示デバイス１７０、２４０から出力する。 When changing the display mode of the object in step S30, the voice generation unit 229 generates a voice for making the user 230 recognize the detected object, and outputs the voice from the display devices 170 and 240. Specifically, when the object is highlighted, the voice generation unit 229 generates a voice or a warning sound that calls attention to the user 230, and outputs the voice or the warning sound from the display devices 170, 240.

ステップＳ４０において、表示画像生成部２２７は、表示態様の変更が不要になったか否かを判定する。具体的に、表示画像生成部２２７は、ユーザ２３０がオブジェクトに気づいた場合には、表示態様の変更が不要になったと判定する。オブジェクトに気づいたか否かの判定方法は、ユーザ２３０の頭部の向きや視線の方向を表示デバイス２４０から取得して、ユーザ２３０の視線がオブジェクトに向いているか否かで判定する。また、表示画像生成部２２７は、オブジェクトが表示画像の範囲内に存在しなくなった場合にも、表示態様の変更が不要になったと判定する。 In step S40, the display image generation unit 227 determines whether or not the change in the display mode is no longer necessary. Specifically, when the user 230 notices the object, the display image generation unit 227 determines that it is no longer necessary to change the display mode. As a method of determining whether or not the object is noticed, the direction of the head of the user 230 and the direction of the line of sight are acquired from the display device 240, and it is determined whether or not the line of sight of the user 230 is directed to the object. Further, the display image generation unit 227 determines that it is no longer necessary to change the display mode even when the object no longer exists within the range of the display image.

そして、表示画像生成部２２７は、表示態様の変更が不要になっていない場合には継続して不要になっているか否かを判定し、表示態様の変更が不要になっている場合にはステップＳ５０に進む。 Then, the display image generation unit 227 determines whether or not the change of the display mode is continuously unnecessary if the change of the display mode is not unnecessary, and if the change of the display mode is unnecessary, the step. Proceed to S50.

ステップＳ５０において、表示画像生成部２２７は、通常時の表示態様で表示画像を生成する。特に、ステップＳ４０で表示態様の変更が不要になったと判定された場合には、表示態様の変更を終了し、通常時の表示態様に戻して表示画像を生成する。具体的に、表示画像生成部２２７は、強調表示やアイコンの重畳表示を消去して表示画像を生成する。 In step S50, the display image generation unit 227 generates a display image in a normal display mode. In particular, when it is determined in step S40 that the change in the display mode is no longer necessary, the change in the display mode is terminated, and the display mode is returned to the normal display mode to generate a display image. Specifically, the display image generation unit 227 generates a display image by erasing the highlighting and the superimposed display of the icon.

ステップＳ６０において、表示画像生成部２２７は、ユーザ２３０が仮想空間表示システム１の利用を終了したか否かを判定し、終了していない場合にはステップＳ１０に戻り、終了している場合には、本実施形態に係るオブジェクトの表示態様変更処理を終了する。 In step S60, the display image generation unit 227 determines whether or not the user 230 has finished using the virtual space display system 1, returns to step S10 if it has not finished, and if it has finished, returns to step S10. , The process of changing the display mode of the object according to the present embodiment is terminated.

［ユーザの注意喚起処理］
次に、本実施形態に係る画像処理装置２２０によるユーザの注意喚起処理を説明する。図８は、本実施形態に係る画像処理装置２２０によるユーザの注意喚起処理の処理手順を示すフローチャートである。図８に示すユーザの注意喚起処理は、ユーザ２３０が仮想空間表示システム１の利用を開始すると、スタートする。 [User alert processing]
Next, the user's attention-calling process by the image processing device 220 according to the present embodiment will be described. FIG. 8 is a flowchart showing a processing procedure of a user's attention processing by the image processing apparatus 220 according to the present embodiment. The user alerting process shown in FIG. 8 starts when the user 230 starts using the virtual space display system 1.

図８に示すように、ステップＳ１１０において、音声生成部２２９は、仮想空間３００において乗員１６０がユーザ２３０に話しかけているか否かを判定する。音声生成部２２９は、表示デバイス１７０のマイクで収集された乗員１６０の音声を取得し、乗員１６０がユーザ２３０に話しかけているか否かを判定する。そして、乗員１６０が話しかけている場合にはステップＳ１２０に進み、話しかけていない場合にはステップＳ１６０に進む。 As shown in FIG. 8, in step S110, the voice generation unit 229 determines whether or not the occupant 160 is talking to the user 230 in the virtual space 300. The voice generation unit 229 acquires the voice of the occupant 160 collected by the microphone of the display device 170, and determines whether or not the occupant 160 is talking to the user 230. Then, if the occupant 160 is speaking, the process proceeds to step S120, and if the occupant 160 is not speaking, the process proceeds to step S160.

ステップＳ１２０において、音声生成部２２９は、乗員１６０に話しかけられていることにユーザ２３０が気づいているか否かを判定する。音声生成部２２９は、表示デバイス２４０のマイクで収集されたユーザ２３０の音声を取得し、ユーザ２３０が返事をしているか否かを判定する。そして、ユーザ２３０が返事をしていない場合には気付いていないと判定してステップＳ１３０に進み、返事をしている場合には気付いていると判定してステップＳ１６０に進む。 In step S120, the voice generation unit 229 determines whether or not the user 230 is aware that the occupant 160 is being spoken to. The voice generation unit 229 acquires the voice of the user 230 collected by the microphone of the display device 240, and determines whether or not the user 230 is replying. Then, if the user 230 has not replied, it is determined that he / she is not aware of it, and the process proceeds to step S130. If the user 230 has replied, it is determined that he / she is aware of it, and the process proceeds to step S160.

ステップＳ１３０において、音声生成部２２９と表示画像生成部２２７は、ユーザ２３０に対して注意喚起を行う。具体的に、音声生成部２２９は、話しかけている乗員１６０がいる方向から仮想の音声を上乗せして再生することで、ユーザ２３０に注意喚起を行う。さらに、表示判定部２２５は、ユーザ２３０が返事をしていない場合には話しかけられていることに気付いていないと判定し、つまり乗員１６０を示すアバタ３１０の画像が不明瞭であると判定する。そこで、表示画像生成部２２７は、乗員１６０を示すアバタ３１０の画像を表示画像上に表示して表示態様を強調表示に変更する。 In step S130, the voice generation unit 229 and the display image generation unit 227 alert the user 230. Specifically, the voice generation unit 229 calls attention to the user 230 by adding a virtual voice from the direction in which the talking occupant 160 is present and playing the voice. Further, the display determination unit 225 determines that the user 230 is unaware that he / she is being spoken when he / she does not reply, that is, the image of the avatar 310 showing the occupant 160 is determined to be unclear. Therefore, the display image generation unit 227 displays the image of the avatar 310 showing the occupant 160 on the display image and changes the display mode to highlighting.

ステップＳ１４０において、音声生成部２２９は、注意喚起が不要になったか否かを判定する。音声生成部２２９は、表示デバイス２４０のマイクで収集されたユーザ２３０の音声を取得し、ユーザ２３０が返事をしている場合には注意喚起が不要になったと判定してステップＳ１５０に進む。一方、ユーザ２３０が返事をしていない場合には注意喚起は必要と判定してステップＳ１３０に戻る。また、音声生成部２２９は、表示デバイス１７０のマイクで収集された乗員１６０の音声を取得し、乗員１６０が話しかけるのをやめている場合には注意喚起が不要になったと判定してステップＳ１５０に進む。一方、乗員１６０が話しかけるのをやめていない場合には注意喚起は必要と判定してステップＳ１３０に戻る。 In step S140, the voice generation unit 229 determines whether or not the alerting is no longer necessary. The voice generation unit 229 acquires the voice of the user 230 collected by the microphone of the display device 240, determines that the alerting is no longer necessary when the user 230 is replying, and proceeds to step S150. On the other hand, if the user 230 has not responded, it is determined that the alert is necessary, and the process returns to step S130. Further, the voice generation unit 229 acquires the voice of the occupant 160 collected by the microphone of the display device 170, determines that the alerting is no longer necessary when the occupant 160 has stopped speaking, and proceeds to step S150. .. On the other hand, if the occupant 160 has not stopped talking, it is determined that the alert is necessary, and the process returns to step S130.

ステップＳ１５０において、音声生成部２２９は、ステップＳ１４０で注意喚起が不要になったと判定されると、注意喚起を終了する。具体的に、音声生成部２２９は、注意喚起のために生成していた音声の出力を終了する。また、表示画像生成部２２７は、注意喚起のために表示していた乗員１６０のアバタ３１０の強調表示を消去して表示態様の変更を終了し、通常時の表示態様に戻して表示画像を生成する。 In step S150, the voice generation unit 229 ends the alerting when it is determined in step S140 that the alerting is no longer necessary. Specifically, the voice generation unit 229 ends the output of the voice generated for alerting. Further, the display image generation unit 227 erases the highlighting of the avatar 310 of the occupant 160 displayed for alerting, ends the change of the display mode, returns to the normal display mode, and generates a display image. do.

ステップＳ１６０において、音声生成部２２９は、ユーザ２３０が仮想空間表示システム１の利用を終了したか否かを判定し、終了していない場合にはステップＳ１１０に戻り、終了している場合には、本実施形態に係るユーザの注意喚起処理を終了する。 In step S160, the voice generation unit 229 determines whether or not the user 230 has finished using the virtual space display system 1, returns to step S110 if it has not finished, and if it has finished, returns to step S110. The user's attention processing according to the present embodiment is terminated.

［実施形態の効果］
以上、詳細に説明したように、本実施形態に係る画像処理装置２２０では、撮像機器で撮像された撮像画像を取得し、取得した撮像画像上において表示機器のユーザが視認する必要のあるオブジェクトを検出する。そして、検出されたオブジェクトが不明瞭であるか否かを判定し、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を変更して表示画像を生成する。特に、オブジェクトの大きさが所定の閾値以下である場合、オブジェクトが表示されている時間が所定の閾値以下である場合、オブジェクトの大きさの変化率が所定の閾値以上である場合の少なくとも１つである場合に、オブジェクトが不明瞭であると判定する。これにより、移動や動きのあるものを遠隔地で表示する場合であっても、視認が困難なオブジェクトや移動のあるオブジェクトの表示態様を変更することができるので、ユーザにオブジェクトを明瞭に理解させることができる。 [Effect of embodiment]
As described in detail above, in the image processing device 220 according to the present embodiment, the captured image captured by the imaging device is acquired, and the object that the user of the display device needs to visually recognize on the acquired captured image is displayed. To detect. Then, it is determined whether or not the detected object is unclear, and if it is determined that the object is unclear, the display mode of the object is changed to generate a display image. In particular, at least one of the cases where the size of the object is equal to or less than a predetermined threshold, the time during which the object is displayed is equal to or less than the predetermined threshold, and the rate of change in the size of the object is equal to or greater than the predetermined threshold. If, it is determined that the object is unclear. As a result, even when a moving or moving object is displayed at a remote location, it is possible to change the display mode of an object that is difficult to see or a moving object, so that the user can clearly understand the object. be able to.

また、本実施形態に係る画像処理装置２２０では、オブジェクトとその周囲との色の差が所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。これにより、周囲と見分けにくい色のオブジェクトであっても、ユーザにオブジェクトを明瞭に理解させることができる。 Further, in the image processing apparatus 220 according to the present embodiment, when the color difference between the object and its surroundings is equal to or less than a predetermined threshold value, it is determined that the object is unclear. This makes it possible for the user to clearly understand the object even if the object has a color that is difficult to distinguish from the surroundings.

さらに、本実施形態に係る画像処理装置２２０では、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を強調表示に変更して表示画像を生成する。これにより、不明瞭に表示されたオブジェクトであっても、強調表示によってユーザに明瞭に理解させることができる。 Further, in the image processing apparatus 220 according to the present embodiment, when it is determined that the object is unclear, the display mode of the object is changed to highlighting to generate a display image. As a result, even an object that is displayed indistinctly can be clearly understood by the user by highlighting.

また、本実施形態に係る画像処理装置２２０では、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を、オブジェクトを示す画像の重畳表示に変更して表示画像を生成する。これにより、不明瞭に表示されたオブジェクトであっても、アイコン等の重畳表示によってユーザに明瞭に理解させることができる。 Further, in the image processing apparatus 220 according to the present embodiment, when it is determined that the object is unclear, the display mode of the object is changed to the superimposed display of the image indicating the object to generate the display image. As a result, even if the object is displayed indistinctly, the user can clearly understand it by superimposing the icon or the like.

さらに、本実施形態に係る画像処理装置２２０では、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合に、オブジェクトが不明瞭であると判定する。これにより、表示画像上に表示されていないオブジェクトがあっても、ユーザにオブジェクトを明瞭に理解させることができる。 Further, in the image processing apparatus 220 according to the present embodiment, when there is an object that is captured on the captured image and is not displayed on the displayed image, it is determined that the object is unclear. As a result, even if there is an object that is not displayed on the displayed image, the user can clearly understand the object.

また、本実施形態に係る画像処理装置２２０では、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合には、オブジェクトの方向を示す画像を重畳表示する表示態様に変更して表示画像を生成する。これにより、表示画像上に表示されていないオブジェクトがあっても、オブジェクトの方向を示す画像の重畳表示によってユーザに明瞭に理解させることができる。 Further, in the image processing apparatus 220 according to the present embodiment, when there is an object that is captured on the captured image and is not displayed on the displayed image, the display mode is changed so that an image indicating the direction of the object is superimposed and displayed. To generate a display image. As a result, even if there is an object that is not displayed on the displayed image, the user can clearly understand it by superimposing the image indicating the direction of the object.

さらに、本実施形態に係る画像処理装置２２０では、オブジェクトの表示位置に誤差がある場合に、オブジェクトが不明瞭であると判定する。これにより、表示位置に誤差のあるオブジェクトであっても、ユーザにオブジェクトを明瞭に理解させることができる。 Further, in the image processing apparatus 220 according to the present embodiment, when there is an error in the display position of the object, it is determined that the object is unclear. As a result, even if the object has an error in the display position, the user can clearly understand the object.

また、本実施形態に係る画像処理装置２２０では、オブジェクトの表示位置に誤差がある場合には、オブジェクトを示す画像を、誤差を修正した位置に重畳表示する表示態様に変更して表示画像を生成する。これにより、表示位置に誤差のあるオブジェクトであっても、誤差を修正することによってユーザに明瞭に理解させることができる。 Further, in the image processing apparatus 220 according to the present embodiment, when there is an error in the display position of the object, the image showing the object is changed to a display mode in which the image showing the object is superimposed and displayed at the position where the error is corrected to generate a display image. do. As a result, even if the object has an error in the display position, the user can clearly understand it by correcting the error.

さらに、本実施形態に係る画像処理装置２２０では、オブジェクトと撮像機器との間の距離に基づいて、表示画像の大きさを変更する。これにより、オブジェクトと撮像機器との間の距離に合った大きさで表示画像を表示できるので、ユーザにオブジェクトを明瞭に理解させることができる。 Further, in the image processing device 220 according to the present embodiment, the size of the displayed image is changed based on the distance between the object and the image pickup device. As a result, the displayed image can be displayed in a size suitable for the distance between the object and the imaging device, so that the user can clearly understand the object.

さらに、本実施形態に係る画像処理装置２２０では、検出されたオブジェクトをユーザに認知させるための音声を生成し、ユーザが音声に返事をしていない場合には、オブジェクトが不明瞭であると判定し、オブジェクトの表示態様を変更して表示画像を生成する。これにより、表示だけではなく音声も利用して、ユーザにオブジェクトを明瞭に理解させることができる。 Further, the image processing device 220 according to the present embodiment generates a voice for making the user recognize the detected object, and if the user does not reply to the voice, it is determined that the object is unclear. Then, the display mode of the object is changed to generate a display image. This makes it possible for the user to clearly understand the object by using not only the display but also the voice.

また、本実施形態に係る画像処理装置２２０では、オブジェクトの表示態様を変更した後に、ユーザが音声に返事をしている場合には、表示態様の変更を終了する。これにより、表示態様の変更を不必要に継続させることを防止することができる。 Further, in the image processing device 220 according to the present embodiment, if the user is replying to the voice after changing the display mode of the object, the change of the display mode is terminated. As a result, it is possible to prevent the change of the display mode from being continued unnecessarily.

尚、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。特に、本実施形態では、仮想空間の一例として車両の周辺や車室内を挙げたが、これに限定されない。例えば、電車、飛行機、コンサートホール、映画館、劇場などにも適用可能である。 The above embodiment is an example of the present invention. Therefore, the present invention is not limited to the above-described embodiment, and even if it is an embodiment other than this embodiment, as long as it does not deviate from the technical idea of the present invention, it depends on the design and the like. Of course, various changes are possible. In particular, in the present embodiment, the periphery of the vehicle and the interior of the vehicle are mentioned as examples of the virtual space, but the present invention is not limited to this. For example, it can be applied to trains, airplanes, concert halls, movie theaters, theaters, and the like.

１仮想空間表示システム
１００車両空間
１１０車外カメラ
１２０車内カメラ
１３０コントローラ
１４０、２１０通信装置
１５０車両
１６０乗員
１７０、２４０表示デバイス
２００遠隔地空間
２２０画像処理装置
２２１撮像画像取得部
２２３オブジェクト検出部
２２５表示判定部
２２７表示画像生成部
２２９音声生成部
２３０ユーザ
３００仮想空間
３１０、３２０アバタ 1 Virtual space display system 100 Vehicle space 110 Vehicle space 110 Vehicle exterior camera 120 Vehicle interior camera 130 Controller 140, 210 Communication device 150 Vehicle 160 Crew 170, 240 Display device 200 Remote space 220 Image processing device 221 Image capture image acquisition unit 223 Object detection unit 225 Display judgment Part 227 Display image generation part 229 Voice generation part 230 User 300 Virtual space 310, 320 Avata

Claims

An image processing device that generates a display image to be displayed on a display device at a remote location away from the image pickup device based on the image captured by the image pickup device.
An image acquisition unit that acquires an image captured by the image pickup device, and an image acquisition unit.
An object detection unit that detects an object that the user of the display device needs to visually recognize on the acquired image.
A display determination unit that determines whether or not the detected object is unclear, and a display determination unit.
When it is determined that the object is unclear, a display image generation unit for changing the display mode of the object to generate the display image is provided.
The display determination unit
At least 1 when the size of the object is equal to or less than a predetermined threshold, the time during which the object is displayed is equal to or less than a predetermined threshold, and the rate of change in the size of the object is equal to or greater than a predetermined threshold. An image processing apparatus for determining that the object is unclear when the number of objects is one.

The image processing apparatus according to claim 1, wherein the display determination unit determines that the object is unclear when the color difference between the object and its surroundings is equal to or less than a predetermined threshold value. ..

The display image generation unit is characterized in that, when it is determined that the object is unclear, the display mode of the object is changed to highlighting to generate the display image. The image processing apparatus according to.

When it is determined that the object is unclear, the display image generation unit is characterized in that the display mode of the object is changed to a superimposed display of an image showing the object to generate the display image. The image processing apparatus according to claim 1 or 2.

Claims 1 to 4 are characterized in that the display determination unit determines that an object is unclear when there is an object imaged on the captured image and not displayed on the displayed image. The image processing apparatus according to any one of the above items.

When there is an object that is captured on the captured image and is not displayed on the displayed image, the display image generation unit is changed to a display mode in which an image indicating the direction of the object is superimposed and displayed. The image processing apparatus according to claim 5, wherein a display image is generated.

The image processing apparatus according to any one of claims 1 to 6, wherein the display determination unit determines that the object is unclear when there is an error in the display position of the object.

When there is an error in the display position of the object, the display image generation unit changes the image showing the object into a display mode in which the image showing the object is superimposed and displayed at the position where the error is corrected to generate the display image. 7. The image processing apparatus according to claim 7.

The image processing apparatus according to claim 8, wherein the display image generation unit changes the size of the display image based on the distance between the object and the image pickup device.

Further, a voice generation unit for generating a voice for making the user recognize the object detected by the object detection unit is provided.
The display determination unit determines that the object is unclear when the user has not responded to the voice.
The image processing apparatus according to any one of claims 1 to 9, wherein the display image generation unit generates the display image by changing the display mode of the object.

The tenth aspect of the present invention, wherein the display image generation unit ends the change of the display mode when the user responds to the voice after changing the display mode of the object. Image processing equipment.

An image processing method for generating a display image to be displayed on a display device at a remote location away from the image pickup device based on the image captured by the image pickup device.
The captured image captured by the imaging device is acquired, and the image is captured.
An object that needs to be visually recognized by the user of the display device is detected on the acquired captured image, and the object is detected.
It is determined whether or not the detected object is ambiguous, and it is determined.
When it is determined that the object is unclear, the display mode of the object is changed to generate the display image.
The determination of whether or not the object is ambiguous is
At least 1 when the size of the object is equal to or less than a predetermined threshold, the time during which the object is displayed is equal to or less than a predetermined threshold, and the rate of change in the size of the object is equal to or greater than a predetermined threshold. An image processing method, characterized in that it is determined that the object is unclear when the number of objects is one.