JP2015056851A - Image processing device, system and display program - Google Patents
Image processing device, system and display program Download PDFInfo
- Publication number
- JP2015056851A JP2015056851A JP2013190600A JP2013190600A JP2015056851A JP 2015056851 A JP2015056851 A JP 2015056851A JP 2013190600 A JP2013190600 A JP 2013190600A JP 2013190600 A JP2013190600 A JP 2013190600A JP 2015056851 A JP2015056851 A JP 2015056851A
- Authority
- JP
- Japan
- Prior art keywords
- image
- obstacle
- sensor
- unit
- monitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置、システムおよび表示プログラムに関する。 The present invention relates to an image processing device, a system, and a display program.
近年、カメラで撮影した画像をモニタに表示するカメラモニタシステムをミラーの代わりに使用することが検討されている。例えば、自動車のサイドミラーの代わりに使用されるカメラモニタシステムの標準化が進んでいる。自動車のサイドミラーの代わりにカメラモニタシステムを使用する場合、モニタは、車室内に設置される。例えば、モニタは、運転者から見える場所に設置される。 In recent years, it has been studied to use a camera monitor system that displays an image captured by a camera on a monitor instead of a mirror. For example, standardization of a camera monitor system used in place of a side mirror of an automobile is in progress. When a camera monitor system is used instead of a side mirror of an automobile, the monitor is installed in the vehicle interior. For example, the monitor is installed in a place visible to the driver.
また、物体を検知する検知装置とカメラとを用いて車両後方の視界を支援する装置が提案されている（例えば、特許文献１参照）。この種の装置では、カメラで撮影された車両後方の画像がモニタに表示される。そして、例えば、検知装置の検知範囲等がカメラで撮影された画像に重畳して表示される。 In addition, a device that supports a field of view behind the vehicle using a detection device that detects an object and a camera has been proposed (for example, see Patent Document 1). In this type of apparatus, an image of the rear of the vehicle taken by the camera is displayed on the monitor. Then, for example, the detection range of the detection device is displayed superimposed on the image captured by the camera.
運転者が車室内のモニタを見るために動かす視線の範囲は、運転者が車室外のサイドミラーを見るために動かす視線の範囲に比べて、狭い。また、モニタの位置がサイドミラーの位置に比べて運転者に近くなるため、目の焦点位置が近くなる。このため、自動車のサイドミラーの代わりにカメラモニタシステムを使用する場合、車室外まで視線を向けていたときに比べて視野が狭くなるおそれがある。この場合、運転者が得る情報量は、サイドミラーを使用したときに比べて、減少する。例えば、モニタにリアルタイムで表示される画像の範囲外で車両周辺に障害物が存在する場合、運転者が障害物を発見するタイミングが遅れるおそれがある。 The range of the line of sight that the driver moves to see the monitor in the passenger compartment is narrower than the range of the line of sight that the driver moves to see the side mirror outside the passenger compartment. In addition, since the position of the monitor is closer to the driver than the position of the side mirror, the focal position of the eyes is closer. For this reason, when a camera monitor system is used instead of a side mirror of an automobile, the field of view may be narrower than when the line of sight is directed to the outside of the passenger compartment. In this case, the amount of information obtained by the driver is reduced compared to when the side mirror is used. For example, when there is an obstacle around the vehicle outside the range of the image displayed in real time on the monitor, the timing for the driver to find the obstacle may be delayed.
１つの側面では、本件開示の画像処理装置、システムおよび表示プログラムは、カメラモニタシステムの利用者に伝える情報の低減を抑制することを目的とする。 In one aspect, an image processing device, a system, and a display program disclosed herein are intended to suppress a reduction in information transmitted to a user of a camera monitor system.
一観点によれば、カメラと物体を検知するセンサとからのデータを用いて、画像をモニタに表示する画像処理装置は、カメラで撮影された第１画像を保持する第１保持部と、第１保持部に保持されている第１画像からモニタに表示する第２画像を生成する生成部と、センサの検知結果を受け、センサにより検知された物体である障害物が第２画像に存在するか否かを判定し、障害物が第２画像に存在するとき、障害物が第２画像の端に存在するか否かを判定する判定部と、障害物が第２画像の端に存在すると判定されたとき、障害物の画像を第１画像から抽出する抽出部と、抽出部で抽出された障害物の画像を保持する第２保持部と、センサにより検知されている障害物が第２画像に存在しないと判定され、かつ、障害物の画像が第２保持部に保持されているとき、モニタに表示する画像に障害物の画像を追加する描画部とを有している。 According to one aspect, an image processing device that displays data on a monitor using data from a camera and a sensor that detects an object includes a first holding unit that holds a first image captured by the camera, A generation unit that generates a second image to be displayed on the monitor from the first image held in the first holding unit, and an obstacle that is an object detected by the sensor and received by the sensor is present in the second image. A determination unit that determines whether an obstacle is present at the edge of the second image and an obstacle is present at the edge of the second image when the obstacle is present in the second image. When the determination is made, the extraction unit that extracts the obstacle image from the first image, the second holding unit that holds the obstacle image extracted by the extraction unit, and the obstacle detected by the sensor are the second. It is determined that the image does not exist and the image of the obstacle is the second holding unit. When held, and a drawing unit for adding an image of the obstacle on the image to be displayed on the monitor.
別の観点によれば、システムは、カメラ、センサ、画像処理装置およびモニタを有し、画像処理装置は、カメラで撮影された第１画像を保持する第１保持部と、第１保持部に保持されている第１画像からモニタに表示する第２画像を生成する生成部と、センサの検知結果を受け、センサにより検知された物体である障害物が第２画像に存在するか否かを判定し、障害物が第２画像に存在するとき、障害物が第２画像の端に存在するか否かを判定する判定部と、障害物が第２画像の端に存在すると判定されたとき、障害物の画像を第１画像から抽出する抽出部と、抽出部で抽出された障害物の画像を保持する第２保持部と、センサにより検知されている障害物が第２画像に存在しないと判定され、かつ、障害物の画像が第２保持部に保持されているとき、モニタに表示する画像に障害物の画像を追加する描画部とを有している。 According to another aspect, the system includes a camera, a sensor, an image processing device, and a monitor. The image processing device includes a first holding unit that holds a first image captured by the camera, and a first holding unit. A generation unit that generates a second image to be displayed on the monitor from the held first image, and whether or not an obstacle that is an object detected by the sensor based on the detection result of the sensor exists in the second image. A determination unit that determines whether an obstacle is present at the edge of the second image and an obstacle is present at the edge of the second image when the obstacle is present in the second image; An extraction unit that extracts an image of an obstacle from the first image, a second holding unit that holds an image of the obstacle extracted by the extraction unit, and an obstacle detected by the sensor does not exist in the second image And the image of the obstacle is held in the second holding unit. Rutoki, and a drawing unit for adding an image of the obstacle on the image to be displayed on the monitor.
別の観点によれば、カメラと物体を検知するセンサとからのデータを用いて画像をモニタに表示する処理をコンピュータに実行させる表示プログラムは、カメラで撮影された第１画像を保持し、第１保持部に保持されている第１画像からモニタに表示する第２画像を生成し、センサの検知結果を受け、センサにより検知された物体である障害物が第２画像に存在するか否かを判定し、障害物が第２画像に存在するとき、障害物が第２画像の端に存在するか否かを判定し、障害物が第２画像の端に存在すると判定されたとき、障害物の画像を第１画像から抽出し、抽出部で抽出された障害物の画像を保持し、センサにより検知されている障害物が第２画像に存在しないと判定され、かつ、障害物の画像が第２保持部に保持されているとき、モニタに表示する画像に障害物の画像を追加する処理をコンピュータに実行させる。 According to another aspect, a display program that causes a computer to execute a process of displaying an image on a monitor using data from a camera and a sensor that detects an object holds a first image captured by the camera, Whether a second image to be displayed on the monitor is generated from the first image held in the first holding unit, the detection result of the sensor is received, and an obstacle that is an object detected by the sensor is present in the second image When the obstacle is present in the second image, it is determined whether the obstacle is present at the end of the second image. When the obstacle is determined to be present at the end of the second image, An image of the object is extracted from the first image, the image of the obstacle extracted by the extraction unit is held, and it is determined that the obstacle detected by the sensor does not exist in the second image, and the image of the obstacle Is held by the second holding part, To execute a process of adding an image of the obstacle on the image to be displayed on the computer.
本件開示の画像処理装置、システムおよび表示プログラムは、カメラモニタシステムの利用者に伝える情報の低減を抑制できる。 The image processing apparatus, system, and display program of the present disclosure can suppress a reduction in information transmitted to the user of the camera monitor system.
以下、実施形態を図面を用いて説明する。 Hereinafter, embodiments will be described with reference to the drawings.
図１は、画像処理装置およびシステムの一実施形態を示している。この実施形態のシステム１０は、例えば、自動車のサイドミラーの代わりに使用されるカメラモニタシステムとして、自動車に搭載される。例えば、図２に示すように、自動車の左右のサイドミラーの代わりに、２つのシステム１０が車両３００に搭載される。システム１０は、例えば、カメラ２０、センサ３０、モニタ４０および画像処理装置５０を有している。なお、画像処理装置５０は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。
FIG. 1 shows an embodiment of an image processing apparatus and system. The
カメラ２０は、例えば、車両側面に配置され、動画撮影を実行する。カメラ２０で撮影された画像ＩＭＧａは、画像処理装置５０に転送される。センサ３０は、例えば、物体を検知する障害物センサであり、車両側面に配置される。例えば、センサ３０は、ミリ波レーダである。なお、センサ３０は、ミリ波レーダ以外のセンサでもよい。センサ３０の検知結果ＩＮＦａは、画像処理装置５０に転送される。例えば、センサ３０は、センサの処理サイクルに従って、検知結果ＩＮＦａを画像処理装置５０の判定部１２０に転送する。
For example, the
モニタ４０は、車室内に設置される。例えば、モニタ４０は、運転者から見える場所に設置される。モニタ４０は、例えば、カメラ２０およびセンサ３０からのデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）に基づいて生成された画像ＩＭＧｃを、画像処理装置５０から受ける。これにより、モニタ４０には、カメラ２０およびセンサ３０からのデータに基づいて生成された画像ＩＭＧｃが表示される。
The
モニタ４０に表示される画像ＩＭＧｃは、例えば、サイドミラーに映る像と同様の向きになるように、鏡像処理（左右反転処理）が実行された画像である。鏡像処理は、例えば、画像処理装置５０で実行される。なお、鏡像処理は、カメラ２０で実行されてもよいし、モニタ４０で実行されてもよい。
The image IMGc displayed on the
画像処理装置５０は、例えば、ＥＣＵ（Electronic Control Unit）内に設けられ、カメラ２０、センサ３０およびモニタ４０と通信できるように接続されている。例えば、画像処理装置５０は、カメラ２０およびセンサ３０からのデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）を用いて、画像ＩＭＧｃをモニタ４０に表示する。
The
画像処理装置５０は、例えば、保持部１００、１４０、１６０、生成部１１０、判定部１２０、抽出部１３０および描画部１５０を有している。保持部１００は、カメラ２０で撮影された画像ＩＭＧａを順次保持する。生成部１１０は、保持部１００に保持されている画像ＩＭＧａからモニタ４０に表示する画像ＩＭＧｂを生成する。例えば、生成部１１０は、保持部１００に保持されている画像ＩＭＧａを読み出し、モニタ４０に表示する範囲（以下、表示範囲とも称する）の画像ＩＭＧｂを画像ＩＭＧａから抽出する。そして、生成部１１０は、画像ＩＭＧａから抽出した画像ＩＭＧｂを保持部１６０に保持する。なお、カメラ２０の撮影範囲と表示範囲とが一致する場合、生成部１１０は、画像ＩＭＧａを画像ＩＭＧｂとして保持部１６０に保持する。
The
ここで、例えば、画像処理装置５０が鏡像処理を実行する場合、生成部１１０が鏡像処理を実行してもよい。例えば、生成部１１０は、画像ＩＭＧａから抽出した画像を左右反転し、左右反転した画像を画像ＩＭＧｂとして保持部１６０に保持する。なお、カメラ２０の撮影範囲と表示範囲とが一致する場合、鏡像処理が実行された画像ＩＭＧｂは、例えば、画像ＩＭＧａを左右反転した画像である。
Here, for example, when the
判定部１２０は、センサ３０の検知結果ＩＮＦａを受け、センサ３０により検知された物体である障害物が画像ＩＭＧｂに存在するか否かを判定する。そして、判定部１２０は、障害物が画像ＩＭＧｂに存在するとき、障害物が画像ＩＭＧｂの端に存在するか否かを判定する。障害物が画像ＩＭＧｂに存在するか否かの判定結果ＩＮＦｂは、例えば、描画部１５０に転送される。また、障害物が画像ＩＭＧｂの端に存在するか否かの判定結果ＩＮＦｃは、例えば、抽出部１３０に転送される。
The
抽出部１３０は、障害物が画像ＩＭＧｂの端に存在すると判定されたとき、障害物の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。例えば、抽出部１３０は、障害物が画像ＩＭＧｂの端に存在することを示す判定結果ＩＮＦｃを判定部１２０から受けたとき、保持部１００に保持されている画像ＩＭＧａを読み出す。そして、抽出部１３０は、センサ３０で検知された障害物の範囲に対応する画像ＢＩＭＧａを画像ＩＭＧａから抽出し、抽出した障害物の画像ＢＩＭＧａを保持部１４０に保持する。このように、保持部１４０は、抽出部１３０で抽出された障害物の画像ＢＩＭＧａを保持する。
When it is determined that an obstacle exists at the end of the image IMGb, the
なお、抽出部１３０は、例えば、センサ３０で検知された障害物が追跡中の障害物と異なるとき、保持部１４０に保持されている障害物の画像ＢＩＭＧａを削除してもよい。あるいは、判定部１２０は、例えば、センサ３０で検知された障害物が追跡中の障害物と異なるとき、保持部１４０に保持されている障害物の画像ＢＩＭＧａを削除してもよい。
For example, when the obstacle detected by the
描画部１５０は、センサ３０により検知されている障害物が画像ＩＭＧｂに存在しないと判定され、かつ、障害物の画像ＢＩＭＧａが保持部１４０に保持されているとき、モニタ４０に表示する画像ＩＭＧｃに障害物の画像ＢＩＭＧａを追加する。例えば、描画部１５０は、障害物が画像ＩＭＧｂに存在しないことを示す判定結果ＩＮＦｂを判定部１２０から受けたとき、障害物の画像ＢＩＭＧａが保持部１４０に保持されているか否かを判定する。そして、描画部１５０は、障害物の画像ＢＩＭＧａが保持部１４０に保持されているとき、障害物の画像ＢＩＭＧａを保持部１４０から読み出し、読み出した画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持部１６０に保持する。この場合、保持部１６０には、画像ＩＭＧｂと障害物の画像ＢＩＭＧａとを含む画像ＩＭＧｃが保持される。
When it is determined that the obstacle detected by the
ここで、例えば、画像処理装置５０が鏡像処理を実行する場合、描画部１５０は、画像ＢＩＭＧａに対して鏡像処理を実行してもよい。例えば、描画部１５０は、画像ＢＩＭＧａを左右反転し、左右反転した画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持部１６０に保持する。
Here, for example, when the
なお、例えば、描画部１５０は、センサ３０で検知された障害物が画像ＩＭＧｂに存在せず、かつ、障害物の画像ＢＩＭＧａが保持部１４０に保持されていないとき、予め用意された警告用の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。この場合、保持部１６０には、画像ＩＭＧｂと警告用の画像とを含む画像ＩＭＧｃが保持される。
For example, when the obstacle detected by the
また、例えば、障害物が画像ＩＭＧｂ外（表示範囲外）に存在しない場合、描画部１５０は、画像ＢＩＭＧｂを保持部１６０に保持しない。これにより、画像ＩＭＧｃのうちの画像ＢＩＭＧｂに対応する領域は、余白になる。
For example, when no obstacle exists outside the image IMGb (outside the display range), the
保持部１６０に保持された画像ＩＭＧｃは、モニタ４０に表示される。したがって、センサ３０により検知されている障害物が画像ＩＭＧｂに存在しない場合、画像ＩＭＧｂと画像ＢＩＭＧｂ（障害物の画像ＢＩＭＧａ、あるいは、警告用の画像）とがモニタ４０に表示される。すなわち、描画部１５０は、センサ３０により検知されている障害物が画像ＩＭＧｂに存在しないと判定され、かつ、障害物の画像ＢＩＭＧａが保持部１４０に保持されているとき、画像ＩＭＧｂのほかに障害物の画像ＢＩＭＧａをモニタ４０に表示する。
The image IMGc held in the holding
このように、例えば、画像処理装置５０は、カメラ２０と物体を検知するセンサ３０とからデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）を受ける。そして、画像処理装置５０は、カメラ２０で撮影された画像ＩＭＧａの少なくとも一部を含む画像ＩＭＧｃをモニタ４０に表示する。すなわち、画像処理装置５０は、カメラ２０で撮影された画像をモニタ４０に表示する。
Thus, for example, the
なお、システム１０および画像処理装置５０の構成は、この例に限定されない。例えば、抽出部１３０は、障害物が画像ＩＭＧｂの端に存在すると判定されたとき、障害物の画像ＢＩＭＧａを画像ＩＭＧｂから抽出してもよい。すなわち、抽出部１３０は、障害物が画像ＩＭＧｂの端に存在すると判定されたとき、障害物の画像ＢＩＭＧａを画像ＩＭＧａおよび画像ＩＭＧｂの少なくとも一方から抽出してもよい。画像ＩＭＧｂが画像ＩＭＧａから抽出された画像であるため、障害物の画像ＢＩＭＧａを画像ＩＭＧｂから抽出することは、障害物の画像ＢＩＭＧａを画像ＩＭＧａから抽出することに含まれる。
Note that the configurations of the
また、例えば、障害物の画像ＢＩＭＧａが表示される位置（モニタ４０の画面上の位置）は、予め設定された固定位置でもよいし、画像ＩＭＧａに対する障害物の相対的な位置に応じて算出される位置でもよい。例えば、画像処理装置５０は、障害物の画像ＢＩＭＧａを表示する位置（モニタ４０の画面上の位置）を算出する算出部を有してもよい。
Further, for example, the position where the obstacle image BIMGa is displayed (the position on the screen of the monitor 40) may be a fixed position set in advance, or is calculated according to the relative position of the obstacle with respect to the image IMGa. It may be a position. For example, the
また、画像処理装置５０が鏡像処理を実行する場合、障害物の画像に対する鏡像処理は、抽出部１３０で実行されてもよい。例えば、抽出部１３０は、センサ３０で検知された障害物の範囲に対応する画像を画像ＩＭＧａから抽出し、抽出した障害物の画像を左右反転する。そして、抽出部１３０は、左右反転した画像を画像ＢＩＭＧｂとして保持部１４０に保持する。この場合、描画部１５０は、画像ＢＩＭＧａに対して鏡像処理を実行しない。
Further, when the
また、画像処理装置５０は、障害物の画像ＢＩＭＧａの大きさを、障害物の画像ＢＩＭＧａが表示されるモニタ４０の画面上の領域に合わせて調整（縮小や拡大）してもよい。
Further, the
図２は、カメラ２０の撮影範囲ＣＲＡＮとセンサ３０の検知範囲ＳＲＡＮの一例を示している。例えば、自動車の左右のサイドミラーの代わりに、２つのシステム１０（カメラ２０、センサ３０、モニタ４０および画像処理装置５０）が車両３００に搭載されている。
FIG. 2 shows an example of the shooting range CRAN of the
２つのカメラ２０は、車両３００の右側面および左側面にそれぞれ配置されている。図２の例では、カメラ２０の撮影範囲ＣＲＡＮは、表示範囲ＤＲＡＮと同じである。すなわち、カメラ２０で撮影された画像ＩＭＧａがモニタ４０に表示される。
The two
２つのセンサ３０は、車両３００の右側面および左側面にそれぞれ配置されている。センサ３０は、例えば、検知範囲ＳＲＡＮ内に存在する物体（例えば、障害物）を検知する。この実施形態では、センサ３０の検知範囲ＳＲＡＮは、カメラ２０の撮影範囲ＣＲＡＮより広い。したがって、センサ３０は、カメラ２０の撮影範囲ＣＲＡＮの外側に存在する物体（例えば、障害物）を検知できる。
The two
センサ３０は、例えば、障害物を検知したとき、障害物の位置を示す情報と障害物の大きさを示す情報と検知時刻を示す情報とを含む検知結果ＩＮＦａを、画像処理装置５０に転送する。障害物の位置を示す情報は、例えば、障害物の中心とセンサ３０との距離、センサ３０に対する障害物の中心の角度等を示す情報である。センサ３０に対する障害物の中心の角度は、例えば、障害物の中心とセンサ３０とを結ぶ線とセンサ３０の向いている方向（図２のＺ軸）との角度（Ｚ軸に対する水平および垂直方向の角度）である。
For example, when detecting an obstacle, the
また、障害物の大きさを示す情報は、例えば、障害物を垂直に伸びた板状の物体としたときの水平および垂直方向の大きさを示す情報である。なお、センサ３０が地面を障害物として誤認識しないように、センサ３０の取り付け位置における調整は予め完了している。
The information indicating the size of the obstacle is, for example, information indicating the size in the horizontal and vertical directions when the obstacle is a vertically extending plate-like object. In order to prevent the
カメラ２０およびセンサ３０は、例えば、ＥＣＵに接続され、画像ＩＭＧａおよび検知結果ＩＮＦａをＥＣＵにそれぞれ転送する。なお、ＥＣＵは、図１に示した画像処理装置５０を有している。また、ＥＣＵは、モニタ４０に接続され、画像ＩＭＧｃをモニタ４０に表示する。例えば、右側に配置されたモニタ４０は、車両３００の右側面のカメラ２０およびセンサ３０からのデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）に基づく画像ＩＭＧｃを表示する。また、左側に配置されたモニタ４０は、車両３００の左側面のカメラ２０およびセンサ３０からのデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）に基づく画像ＩＭＧｃを表示する。
The
なお、車両３００には、２つのモニタ４０の代わりに、右側面の画像ＩＭＧｃを表示する画面と左側面の画像ＩＭＧｃを表示する画面とを有する１つのモニタが搭載されてもよい。また、ＥＣＵ内の２つの画像処理装置５０は、１つにまとめられてもよい。この場合、画像処理装置５０は、例えば、車両３００の右側面のカメラ２０およびセンサ３０からのデータに基づいて画像ＩＭＧｃを生成する処理と、車両３００の左側面のカメラ２０およびセンサ３０からのデータに基づいて画像ＩＭＧｃを生成する処理とを、独立して実行する。
In addition, instead of the two
図３は、図１に示した画像処理装置５０の動作の一例を示している。図３の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに図３の動作を実行させてもよい。すなわち、プロセッサは、表示プログラムを読み取り、図３の動作を実行してもよい。なお、図３の例では、ステップＳ１００、Ｓ１１０の一連の処理とステップＳ２００の処理とが並列に実行される。例えば、ステップＳ１００、Ｓ１１０、Ｓ３００の一連の処理は、画像処理装置５０が画像ＩＭＧａを受ける度に繰り返される。また、ステップＳ２００の処理は、例えば、画像処理装置５０が検知結果ＩＮＦａを受ける度に繰り返される。
FIG. 3 shows an example of the operation of the
ステップＳ１００では、画像処理装置５０は、カメラ２０で撮影された画像ＩＭＧａを保持部１００に保持する。例えば、画像処理装置５０は、カメラ２０で撮影された画像ＩＭＧａを取得し、カメラ２０から取得した画像ＩＭＧａを保持部１００に保持する。
In step S <b> 100, the
ステップＳ１１０では、生成部１１０は、画像ＩＭＧａから生成した画像ＩＭＧｂを保持部１６０に保持する。例えば、生成部１１０は、ステップＳ１００で保持部１００に保持された画像ＩＭＧａを読み出し、読み出した画像ＩＭＧａから表示範囲ＤＲＡＮの画像ＩＭＧｂを抽出する。これにより、モニタ４０に表示される画像ＩＭＧｂが生成される。そして、生成部１１０は、生成した画像ＩＭＧｂを保持部１６０に保持する。なお、例えば、画像処理装置５０が鏡像処理を実行する場合、生成部１１０は、画像ＩＭＧａから抽出した表示範囲ＤＲＡＮの画像を左右反転して、画像ＩＭＧｂを生成する。
In step S110, the
これにより、カメラ２０の撮影範囲ＣＲＡＮのうちの表示範囲ＤＲＡＮ（モニタ４０に表示される範囲）に相当する画像ＩＭＧｂが保持部１６０に保持される。
Thereby, the image IMGb corresponding to the display range DRAN (the range displayed on the monitor 40) in the shooting range CRAN of the
ステップＳ２００では、判定部１２０、抽出部１３０、描画部１５０等は、図４に示すように、センサ３０の検知結果ＩＮＦａに応じた処理を実行する。例えば、判定部１２０は、センサ３０で検知された障害物が表示範囲ＤＲＡＮ内に存在するか否か等を判定する。また、例えば、抽出部１３０は、センサ３０で検出された障害物が表示範囲ＤＲＡＮの端に存在するとき、ステップＳ１００で保持部１００に保持された画像ＩＭＧａから障害物の画像ＢＩＭＧａを抽出する。そして、抽出部１３０は、抽出した画像ＢＩＭＧａを保持部１４０に保持する。
In step S200, the
また、例えば、描画部１５０は、表示範囲ＤＲＡＮ外に障害物が存在する場合、画像ＢＩＭＧｂ（予め用意された警告用の画像、または、保持部１４０に保持されている障害物の過去の画像ＢＩＭＧａ）を保持部１６０に保持する。これにより、表示範囲ＤＲＡＮ外に障害物が存在する場合、予め用意された警告用の画像と障害物の過去の画像ＢＩＭＧａのいずれかが保持部１６０に保持される。
In addition, for example, when there is an obstacle outside the display range DRAN, the
ステップＳ１００、Ｓ１１０、Ｓ２００の処理により、モニタ４０に表示する画像ＩＭＧｃ（画像ＩＭＧｂ、ＢＩＭＧａを含む画像や画像ＩＭＧｂ）が保持部１６０に保持される。
Through the processing in steps S100, S110, and S200, the image IMGc (an image including the images IMGb and BIMGa and the image IMGb) to be displayed on the
ステップＳ３００では、画像処理装置５０は、保持部１６０に保持されている画像ＩＭＧｃをモニタ４０に転送する。これにより、カメラ２０およびセンサ３０からのデータに基づいて生成された画像ＩＭＧｃがモニタ４０に表示される。
In step S300, the
図４は、図１に示した判定部１２０、抽出部１３０および描画部１５０の動作の一例を示している。すなわち、図４は、図３に示したステップＳ２００の処理の一例を示している。したがって、図４の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに図４の動作を実行させてもよい。すなわち、プロセッサは、表示プログラムを読み取り、図４の動作を実行してもよい。
FIG. 4 illustrates an example of operations of the
ステップＳ２０２では、例えば、判定部１２０は、センサ３０の検知結果ＩＮＦａをセンサ３０から受け、センサ３０が障害物を検知したか否かを検知結果ＩＮＦａに基づいて判定する。障害物が検知されているとき（ステップＳ２０２のＹｅｓ）、画像処理装置５０の動作は、ステップＳ２１０に移る。
In step S202, for example, the
一方、障害物が検知されていないとき（ステップＳ２０２のＮｏ）、判定部１２０は、例えば、障害物が検知されていないことを示す判定結果ＩＮＦｃを、抽出部１３０に転送する。そして、障害物が検知されていないとき、画像処理装置５０の動作は、ステップＳ２０４に移る。例えば、画像処理装置５０は、ステップＳ２０４の処理を実行し、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。
On the other hand, when no obstacle is detected (No in step S202), the
ステップＳ２０４では、抽出部１３０は、障害物の画像ＢＩＭＧａを保持部１４０から削除する。これにより、保持部１４０に保持されている障害物の画像ＢＩＭＧａが削除される。この結果、この実施形態では、誤った画像が障害物の画像ＢＩＭＧａとしてモニタ４０に表示されることを防止できる。
In step S <b> 204, the
ステップＳ２１０では、判定部１２０は、ステップＳ２０２で受けた検知結果ＩＮＦａが示す障害物が追跡中の障害物か否かを判定する。例えば、判定部１２０は、今回のステップＳ２０２で検知されている障害物が前回のステップＳ２０２で検知された障害物と同じ場合、今回のステップＳ２０２で検知されている障害物は、追跡中の障害物であると判定する。
In step S210, the
すなわち、判定部１２０は、今回のステップＳ２０２で検知されている障害物が前回のステップＳ２０２で検知された障害物と異なる場合、今回のステップＳ２０２で検知されている障害物は、追跡中の障害物でないと判定する。なお、判定部１２０は、例えば、前回のステップＳ２０２で障害物が検知されていない場合、今回のステップＳ２０２で検知されている障害物は、追跡中の障害物でないと判定する。
That is, when the obstacle detected in the current step S202 is different from the obstacle detected in the previous step S202, the
障害物が追跡中の障害物であるとき（ステップＳ２１０のＹｅｓ）、画像処理装置５０の動作は、ステップＳ２２０に移る。一方、障害物が追跡中の障害物でないとき（ステップＳ２１０のＮｏ）、判定部１２０は、例えば、障害物が追跡中の障害物でないことを示す判定結果ＩＮＦｃを、抽出部１３０に転送する。そして、障害物が追跡中の障害物でないとき、画像処理装置５０の動作は、ステップＳ２１２に移る
ステップＳ２１２では、抽出部１３０は、障害物の画像ＢＩＭＧａを保持部１４０から削除する。これにより、保持部１４０に保持されている障害物の画像ＢＩＭＧａが削除される。この結果、この実施形態では、誤った画像が障害物の画像ＢＩＭＧａとしてモニタ４０に表示されることを防止できる。画像処理装置５０は、ステップＳ２１２の処理を実行した後、ステップＳ２２０の処理を実行する。
When the obstacle is the obstacle being tracked (Yes in step S210), the operation of the
ステップＳ２２０では、判定部１２０は、センサ３０で検知された障害物が表示範囲ＤＲＡＮ内に存在するか否かを検知結果ＩＮＦａに基づいて判定する。すなわち、判定部１２０は、センサ３０で検知された障害物が画像ＩＭＧｂに存在するか否かを検知結果ＩＮＦａに基づいて判定する。例えば、判定部１２０は、障害物４００の全体が表示範囲ＤＲＡＮ内に存在している場合、障害物４００が表示範囲ＤＲＡＮ内に存在していると判定する。したがって、判定部１２０は、障害物４００の少なくとも一部が表示範囲ＤＲＡＮ外に存在している場合、障害物４００が表示範囲ＤＲＡＮ内に存在していないと判定する。なお、判定部１２０は、障害物４００の少なくとも一部が表示範囲ＤＲＡＮ内に存在している場合、障害物４００が表示範囲ＤＲＡＮ内に存在していると判定してもよい。
In step S220, the
障害物が表示範囲ＤＲＡＮ内に存在するとき（ステップＳ２２０のＹｅｓ）、画像処理装置５０の動作は、ステップＳ２３０に移る。すなわち、障害物が画像ＩＭＧｂに存在するとき、画像処理装置５０の動作は、ステップＳ２３０に移る。
When the obstacle exists in the display range DRAN (Yes in Step S220), the operation of the
一方、障害物が表示範囲ＤＲＡＮ内に存在しないとき（ステップＳ２２０のＮｏ）、判定部１２０は、例えば、センサ３０で検知された障害物が表示範囲ＤＲＡＮ内に存在しないことを示す判定結果ＩＮＦｂを、描画部１５０に転送する。そして、障害物が表示範囲ＤＲＡＮ内に存在しないとき、画像処理装置５０の動作は、ステップＳ２５０に移る。すなわち、障害物が画像ＩＭＧｂに存在しないとき、画像処理装置５０の動作は、ステップＳ２５０に移る。このように、表示範囲ＤＲＡＮ外に存在する障害物がセンサ３０で検知されたとき、画像処理装置５０の動作は、ステップＳ２５０に移る。
On the other hand, when the obstacle does not exist in the display range DRAN (No in Step S220), the
ステップＳ２３０では、判定部１２０は、センサ３０で検知された障害物の位置が表示範囲ＤＲＡＮの端か否かを検知結果ＩＮＦａに基づいて判定する。すなわち、判定部１２０は、障害物が画像ＩＭＧｂの端に存在するか否かを検知結果ＩＮＦａに基づいて判定する。障害物の位置が表示範囲ＤＲＡＮの端のとき（ステップＳ２３０のＹｅｓ）、判定部１２０は、例えば、障害物が表示範囲ＤＲＡＮの端に位置していることを示す判定結果ＩＮＦｃを、抽出部１３０に転送する。
In step S230, the
そして、障害物の位置が表示範囲ＤＲＡＮの端のとき、画像処理装置５０の動作は、ステップＳ２４０に移る。すなわち、障害物が画像ＩＭＧｂの端に存在するとき、画像処理装置５０の動作は、ステップＳ２４０に移る。例えば、画像処理装置５０は、ステップＳ２４０の処理を実行し、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。
When the position of the obstacle is at the end of the display range DRAN, the operation of the
一方、障害物の位置が表示範囲ＤＲＡＮの端でないとき（ステップＳ２３０のＮｏ）、画像処理装置５０は、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。すなわち、障害物が画像ＩＭＧｂの端に存在しないとき、センサ３０の検知結果ＩＮＦａに応じた処理は終了する。
On the other hand, when the position of the obstacle is not the end of the display range DRAN (No in Step S230), the
ステップＳ２４０では、抽出部１３０は、障害物の画像ＢＩＭＧａを保持部１４０に保持する。例えば、抽出部１３０は、図３のステップＳ１００で保持部１００に保持された画像ＩＭＧａを読み出す。そして、抽出部１３０は、センサ３０で検知された障害物の範囲に対応する画像ＢＩＭＧａを画像ＩＭＧａから抽出し、抽出した障害物の画像ＢＩＭＧａを保持部１４０に保持する。
In step S240, the
例えば、障害物が表示範囲ＤＲＡＮ外に移動する前のタイミングでは、障害物が表示範囲ＤＲＡＮの端に位置している可能性は、障害物が表示範囲ＤＲＡＮの中央に位置している可能性に比べて、高い。したがって、この実施形態では、表示範囲ＤＲＡＮの端に位置している障害物の画像ＢＩＭＧａを保持部１４０に保持することにより、障害物が表示範囲ＤＲＡＮ外に移動する直前の状態に近い状態の障害物の画像を保持できる。
For example, at the timing before the obstacle moves outside the display range DRAN, the possibility that the obstacle is located at the end of the display range DRAN is that the obstacle is located at the center of the display range DRAN. Higher than that. Therefore, in this embodiment, by holding the image BIMGa of the obstacle positioned at the end of the display range DRAN in the holding
ステップＳ２５０では、例えば、描画部１５０は、表示範囲ＤＲＡＮ外に存在する障害物の画像ＢＩＭＧａが保持部１４０に保持されているか否かを判定する。すなわち、描画部１５０は、表示範囲ＤＲＡＮ外に存在する障害物の過去の画像ＢＩＭＧａが存在するか否かを判定する。
In step S250, for example, the
障害物の画像ＢＩＭＧａが保持部１４０に保持されているとき（ステップＳ２５０のＹｅｓ）、画像処理装置５０の動作は、ステップＳ２５２に移る。すなわち、障害物の過去の画像ＢＩＭＧａが存在するとき、画像処理装置５０の動作は、ステップＳ２５２に移る。例えば、画像処理装置５０は、ステップＳ２５２の処理を実行し、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。
When the obstacle image BIMGa is held in the holding unit 140 (Yes in step S250), the operation of the
一方、障害物の画像ＢＩＭＧａが保持部１４０に保持されていないとき（ステップＳ２５０のＮｏ）、画像処理装置５０の動作は、ステップＳ２５４に移る。すなわち、障害物の過去の画像ＢＩＭＧａが存在しないとき、画像処理装置５０の動作は、ステップＳ２５４に移る。例えば、画像処理装置５０は、ステップＳ２５４の処理を実行し、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。
On the other hand, when the obstacle image BIMGa is not held in the holding unit 140 (No in step S250), the operation of the
ステップＳ２５２では、描画部１５０は、保持部１４０に保持されている障害物の画像ＢＩＭＧａを描画する。例えば、描画部１５０は、障害物の画像ＢＩＭＧａを保持部１４０から読み出し、読み出した画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持部１６０に保持する。これにより、画像ＢＩＭＧｂ（障害物の画像ＢＩＭＧａ）が描画される。
In step S252, the
ステップＳ２５４では、描画部１５０は、予め用意された警告用の画像を描画する。例えば、描画部１５０は、予め用意された警告用の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。これにより、画像ＢＩＭＧｂ（警告用の画像）が描画される。
In step S254, the
このように、画像処理装置５０は、表示範囲ＤＲＡＮ外に存在する障害物がセンサ３０で検知されたとき、障害物の過去の画像ＢＩＭＧａまたは警告用の画像を、保持部１６０に保持する。例えば、表示範囲ＤＲＡＮ外に存在する障害物の過去の画像ＢＩＭＧａが保持部１４０に保持されている場合、画像処理装置５０は、障害物の過去の画像ＢＩＭＧａを保持部１６０に保持する。また、図３で説明したように、保持部１６０には、表示範囲ＤＲＡＮの画像ＩＭＧｂが保持されている。この場合、表示範囲ＤＲＡＮの画像ＩＭＧｂと障害物の画像ＢＩＭＧａとが保持部１６０に保持されている。これにより、表示範囲ＤＲＡＮの画像ＩＭＧｂと障害物の画像ＢＩＭＧａとがモニタ４０に表示される。
In this way, when an obstacle that exists outside the display range DRAN is detected by the
したがって、システム１０は、表示範囲ＤＲＡＮ外に存在する障害物の過去の画像ＢＩＭＧａが保持部１４０に保持されているとき、表示範囲ＤＲＡＮの画像ＩＭＧｂのほかに障害物の画像ＢＩＭＧａをモニタ４０に表示できる。すなわち、この実施形態では、システム１０の利用者に伝える情報の低減を抑制できる。
Therefore, when the past image BIMGa of the obstacle existing outside the display range DRAN is held in the holding
なお、画像処理装置５０の動作は、図３および図４に示した例に限定されない。例えば、ステップＳ２３０の処理は、省かれてもよい。この場合、抽出部１３０は、例えば、障害物の全体が表示範囲ＤＲＡＮ内に存在することを示す検知結果ＩＮＦａを画像処理装置５０が受ける度に、障害物の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。そして、抽出部１３０は、抽出した障害物の画像ＢＩＭＧａを保持部１４０に保持する。これにより、保持部１４０に保持されている画像ＢＩＭＧａは、新しい画像ＢＩＭＧａに更新される。なお、障害物の少なくとも一部が表示範囲ＤＲＡＮ外に存在するとき、障害物の画像ＢＩＭＧａは、抽出されない。したがって、保持部１４０に保持されている画像ＢＩＭＧａは、障害物が表示範囲ＤＲＡＮ外に移動する直前の画像であり、表示範囲ＤＲＡＮの端に位置している障害物の画像ＢＩＭＧａに対応している。
Note that the operation of the
また、例えば、画像処理装置５０が鏡像処理を実行する場合、描画部１５０は、保持部１４０から読み出した画像ＢＩＭＧａを左右反転して、画像ＢＩＭＧｂを生成してもよい。あるいは、画像処理装置５０が鏡像処理を実行する場合、例えば、抽出部１３０は、画像ＩＭＧａから抽出した障害物の画像を左右反転し、左右反転した画像を画像ＢＩＭＧｂとして保持部１４０に保持してもよい。
In addition, for example, when the
図５は、障害物が存在しないときにモニタ４０に表示される画像ＩＭＧｃの一例を示している。なお、図５は、車両３００の右側面に配置されたカメラ２０およびセンサ３０を含むシステム１０のモニタ４０に表示される画像ＩＭＧｃの一例を示している。以下、車両３００の右側面に配置されたカメラ２０およびセンサ３０を含むシステム１０を中心に説明する。
FIG. 5 shows an example of an image IMGc displayed on the
モニタ４０は、例えば、画像ＩＭＧｂの表示用の領域と画像ＢＩＭＧｂ（障害物の画像ＢＩＭＧａまたは警告用の画像）の表示用の領域とを有している。モニタ４０に表示される画像ＩＭＧｂ、ＢＩＭＧａは、例えば、鏡像である。なお、画像ＢＩＭＧｂの表示用の領域は、モニタ４０に画像ＢＩＭＧｂが表示されない場合、余白ＢＳＰである。
The
図５の例では、センサ３０の検知範囲ＳＲＡＮ内に障害物は存在していない。このため、センサ３０は、障害物を検知しない。したがって、保持部１６０は、障害物の画像ＢＩＭＧａおよび警告用の画像のいずれも保持していない。この場合、モニタ４０には、表示範囲ＤＲＡＮの画像ＩＭＧｂが画像ＩＭＧｃとして表示される。
In the example of FIG. 5, no obstacle exists in the detection range SRAN of the
画像ＩＭＧｂには、例えば、車両３００の一部が映っている。なお、表示範囲ＤＲＡＮ内に障害物が存在しないため、画像ＩＭＧｂには、障害物は映っていない。また、画像ＢＩＭＧｂの表示用の領域は、余白ＢＳＰである。
For example, a part of the
図６は、表示範囲ＤＲＡＮ内に障害物４００が存在するときにモニタ４０に表示される画像ＩＭＧｃの一例を示している。図６の例では、センサ３０で検知された障害物４００は、表示範囲ＤＲＡＮ内に存在する。なお、図６の例は、表示範囲ＤＲＡＮ内に存在する障害物４００の位置は、表示範囲ＤＲＡＮの端ではない。図６の符号ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４は、センサ３０で検知された障害物４００を板状の四角形に換算したときの四角形の各頂点を示している。頂点ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の位置は、表示範囲ＤＲＡＮ内である。
FIG. 6 shows an example of an image IMGc displayed on the
したがって、保持部１６０は、障害物４００の画像ＢＩＭＧａおよび警告用の画像のいずれも保持していない。このため、モニタ４０には、表示範囲ＤＲＡＮの画像ＩＭＧｂが画像ＩＭＧｃとして表示される。なお、表示範囲ＤＲＡＮ内に障害物４００が存在するため、画像ＩＭＧｂには、障害物４００が映っている。また、センサ３０で検知された障害物４００の位置が表示範囲ＤＲＡＮ外でないため、画像ＢＩＭＧｂの表示用の領域は、余白ＢＳＰである。
Therefore, the holding
図７は、表示範囲ＤＲＡＮ内に障害物４００が存在するときにモニタ４０に表示される画像ＩＭＧｃの別の例を示している。図７の符号ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の意味は、図６と同様である。図７の例では、センサ３０で検知された障害物４００は、表示範囲ＤＲＡＮの端に位置している。
FIG. 7 shows another example of the image IMGc displayed on the
例えば、頂点ＯＰ１、ＯＰ２の位置は、表示範囲ＤＲＡＮの端に隣接している。このため、モニタ４０に表示される画像ＩＭＧｂの端に障害物４００が映っている。画像ＩＭＧｂ内の破線の枠は、障害物４００に対応する四角形を分かりやすくするために記載したものであり、モニタ４０には表示されない。なお、例えば、破線の枠内の画像（あるいは、左右反転前の破線の枠内の画像）は、障害物４００の画像ＢＩＭＧａとして保持部１４０に保持されている。
For example, the positions of the vertices OP1 and OP2 are adjacent to the end of the display range DRAN. For this reason, the
図８は、表示範囲ＤＲＡＮ外に障害物４００が存在するときにモニタ４０に表示される画像ＩＭＧｃの一例を示している。図８の符号ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の意味は、図６と同様である。図８の例では、センサ３０で検知された障害物４００は、表示範囲ＤＲＡＮ外に存在する。
FIG. 8 shows an example of an image IMGc displayed on the
なお、図８は、表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動した障害物４００をセンサ３０が検知している状態を示している。例えば、図８に示した状態は、図７に示した状態の後の状態に対応している。したがって、障害物４００の過去の画像ＢＩＭＧａは、保持部１４０に保持されている。
FIG. 8 shows a state in which the
例えば、画像処理装置５０は、図４に示したステップＳ２１０の処理において、センサ３０で検知された障害物４００が追跡中の障害物であると判定する。また、例えば、画像処理装置５０は、図４に示したステップＳ２５０の処理において、表示範囲ＤＲＡＮ外に存在する障害物の画像ＢＩＭＧａが保持部１４０に保持されていると判定する。
For example, the
したがって、保持部１６０は、障害物４００の過去の画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持している。すなわち、保持部１６０は、表示範囲ＤＲＡＮの画像ＩＭＧｂと障害物４００の過去の画像ＢＩＭＧａとを保持している。このため、表示範囲ＤＲＡＮの画像ＩＭＧｂと画像ＢＩＭＧｂ（障害物４００の過去の画像ＢＩＭＧａ）とを含む画像ＩＭＧｃが、モニタ４０に表示される。
Therefore, the holding
表示範囲ＤＲＡＮ内に障害物４００が存在しないため、画像ＩＭＧｂには、障害物４００は映っていない。また、画像ＢＩＭＧｂは、例えば、障害物４００の全体が映ったできるだけ新しい過去の画像ＢＩＭＧａである。
Since the
このように、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動したときにも、表示範囲ＤＲＡＮの画像ＩＭＧｂに加えて、障害物４００の全体が映ったできるだけ新しい過去の画像ＢＩＭＧａをモニタ４０に表示できる。これにより、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動したときにも、障害物４００の存在を運転者に提示し続けることができる。
As described above, in this embodiment, when the
なお、画像処理装置５０は、障害物４００の画像ＢＩＭＧａを画像ＢＩＭＧｂとしてモニタ４０に表示する際に、画像ＢＩＭＧａに対して拡大、縮小等を実行し、画像ＢＩＭＧａのサイズを画像ＢＩＭＧｂの表示用の領域に合うように調整してもよい。
When the image BIMGa of the
図９は、表示範囲ＤＲＡＮ外に障害物４００が存在するときにモニタ４０に表示される画像ＩＭＧｃの別の例を示している。図９の符号ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の意味は、図６と同様である。図９の例では、センサ３０で検知された障害物４００は、表示範囲ＤＲＡＮ外に存在する。図９の破線の障害物４００ａは、センサ３０が検知した障害物４００ｂの前の状態（障害物４００、表示範囲ＤＲＡＮ、検知範囲ＳＲＡＮの相対的な位置関係）を示している。例えば、図９の状態では、センサ３０は、センサ３０の検知範囲ＳＲＡＮ外から検知範囲ＳＲＡＮ内に表示範囲ＤＲＡＮを通過せずに移動した障害物４００を検知している。
FIG. 9 shows another example of the image IMGc displayed on the
したがって、障害物４００ｂの過去の画像ＢＩＭＧａは、保持部１４０に保持されていない。このため、保持部１６０は、予め用意された警告用の画像（図９では、感嘆符が描かれた画像）を画像ＢＩＭＧｂとして保持している。すなわち、保持部１６０は、表示範囲ＤＲＡＮの画像ＩＭＧｂと警告用の画像とを保持している。このため、表示範囲ＤＲＡＮの画像ＩＭＧｂと画像ＢＩＭＧｂ（警告用の画像）とを含む画像ＩＭＧｃが、モニタ４０に表示される。
Therefore, the past image BIMGa of the
表示範囲ＤＲＡＮ内に障害物４００が存在しないため、画像ＩＭＧｂには、障害物４００は映っていない。また、障害物４００ｂの過去の画像ＢＩＭＧａが保持部１４０に保持されていないため、画像ＢＩＭＧｂは、例えば、感嘆符が描かれた警告用の画像である。
Since the
このように、障害物４００ｂの過去の画像ＢＩＭＧａが保持部１４０に保持されていない場合には、障害物４００ｂの画像ＢＩＭＧａの代わりに、障害物４００が表示範囲ＤＲＡＮ外に存在することを知らせる警告用の画像がモニタ４０に表示される。これにより、この実施形態では、障害物４００が検知範囲ＳＲＡＮ外から検知範囲ＳＲＡＮ内に表示範囲ＤＲＡＮを通過せずに移動したときにも、障害物４００の存在を運転者に提示することができる。
Thus, when the past image BIMGa of the
図１０は、センサ３０による障害物３０の検知の概要を示している。障害物４００（ｔ１）は、時刻ｔ１での障害物４００を示し、障害物４００（ｔ２）は、時刻ｔ２での障害物４００を示している。また、中心水平角度θｈ、中心垂直角度θｖ、距離Ｌ、横方向の大きさＷＤ（以下、幅ＷＤとも称する）、縦方向の大きさＨＴ（以下、高さＨＴとも称する）は、センサ３０の検知結果ＩＮＦａに含まれる情報の一例を示している。なお、符号θｈ、θｖ、Ｌ、ＷＤ、ＨＴの末尾の数字は、時刻ｔの末尾の数字に対応している。
FIG. 10 shows an outline of detection of the
例えば、センサ３０は、時刻ｔ１に検知した障害物４００（ｔ１）の検知結果ＩＮＦａとして、中心水平角度θｈ１、中心垂直角度θｖ１、距離Ｌ１、幅ＷＤ１、高さＨＴ１、時刻ｔ１を示す情報を画像処理装置５０の判定部１２０に転送する。また、例えば、センサ３０は、時刻ｔ２に検知した障害物４００（ｔ２）の検知結果ＩＮＦａとして、中心水平角度θｈ２、中心垂直角度θｖ２、距離Ｌ２、幅ＷＤ２、高さＨＴ２、時刻ｔ２を示す情報を画像処理装置５０の判定部１２０に転送する。
For example, the
ここで、例えば、中心水平角度θｈは、障害物４００の検知範囲の中心とセンサ３０とを結ぶ線とＺ軸（センサ３０の向いている方向）との水平方向の角度である。また、中心垂直角度θｖは、障害物４００の中心とセンサ３０とを結ぶ線とＺ軸（センサ３０の向いている方向）との垂直方向の角度である。距離Ｌは、障害物４００の中心とセンサ３０との距離である。幅ＷＤは、障害物４００を垂直に伸びた板状の物体としたときの水平方向の大きさである。高さＨＴは、障害物４００を垂直に伸びた板状の物体としたときの垂直方向の大きさである。例えば、距離Ｌ、幅ＷＤ、高さＨＴの単位は、メートルである。
Here, for example, the center horizontal angle θh is an angle in the horizontal direction between the line connecting the center of the detection range of the
判定部１２０は、例えば、センサ３０から受けた前回（例えば、時刻ｔ１）の検知結果ＩＮＦａを保持している。そして、判定部１２０は、現在（例えば、時刻ｔ２）の検知結果ＩＮＦａをセンサ３０から受けたとき、前回（例えば、時刻ｔ１）の検知結果ＩＮＦａと今回（例えば、時刻ｔ２）の検知結果ＩＮＦａとを用いて、障害物４００を追跡できているか否かを判定する。なお、今回の検知結果ＩＮＦａは、次回の判定（障害物４００を追跡できているか否かの判定）に用いられるため、保持される。
The
障害物４００を追跡できているか否かは、例えば、前回および今回の検知結果ＩＮＦａから算出される障害物４００の中心位置の移動量と、前回および今回の検知結果ＩＮＦａから算出される障害物４００の大きさの変化率とに基づいて判定される。先ず、障害物４００の中心位置の移動量の算出について説明する。
Whether the
センサ３０の位置を原点とし、センサ３０の向いている方向をＺ軸、Ｚ軸を法線ベクトルとする平面内で地面と平行な方向をＸ軸、Ｚ軸を法線ベクトルとする平面内でＸ軸に垂直な方向をＹ軸とする。すなわち、Ｘ軸、Ｙ軸、Ｚ軸は、センサ３０の座標系の軸である。また、前回検知された障害物４００（ｔ１）の中心位置を座標（ｘ１、ｙ１、ｚ１）とし、今回検知された障害物４００（ｔ２）の中心位置を座標（ｘ２、ｙ２、ｚ２）とする。
In the plane where the position of the
障害物４００（ｔ１）の中心位置（ｘ１、ｙ１、ｚ１）から障害物４００（ｔ２）の中心位置（ｘ２、ｙ２、ｚ２）までの移動量をＬｍとした場合、移動量Ｌｍは、式（１）で表される。 When the movement amount from the center position (x1, y1, z1) of the obstacle 400 (t1) to the center position (x2, y2, z2) of the obstacle 400 (t2) is Lm, the movement amount Lm is expressed by the formula ( 1).
なお、障害物４００（ｔ１）の中心位置（ｘ１、ｙ１、ｚ１）は、中心水平角度θｈ１、中心垂直角度θｖ１、距離Ｌ１を用いて、式（２）、式（３）および式（４）で表される。 Note that the center position (x1, y1, z1) of the obstacle 400 (t1) is expressed by the equations (2), (3), and (4) using the center horizontal angle θh1, the center vertical angle θv1, and the distance L1. It is represented by
ｘ１＝Ｌ１・ｃｏｓ（θｖ１）・ｓｉｎ（θｈ１） ‥‥（２）
ｙ１＝Ｌ１・ｃｏｓ（θｈ１）・ｓｉｎ（θｖ１） ‥‥（３）
ｚ１＝Ｌ１・ｃｏｓ（θｈ１）・ｃｏｓ（θｖ１） ‥‥（４）
また、障害物４００（ｔ２）の中心位置（ｘ２、ｙ２、ｚ２）は、中心水平角度θｈ２、中心垂直角度θｖ２、距離Ｌ２を用いて、式（５）、式（６）および式（７）で表される。
x1 = L1 · cos (θv1) · sin (θh1) (2)
y1 = L1 · cos (θh1) · sin (θv1) (3)
z1 = L1 · cos (θh1) · cos (θv1) (4)
Further, the center position (x2, y2, z2) of the obstacle 400 (t2) is expressed by the equations (5), (6), and (7) using the center horizontal angle θh2, the center vertical angle θv2, and the distance L2. It is represented by
ｘ２＝Ｌ２・ｃｏｓ（θｖ２）・ｓｉｎ（θｈ２） ‥‥（５）
ｙ２＝Ｌ２・ｃｏｓ（θｈ２）・ｓｉｎ（θｖ２） ‥‥（６）
ｚ２＝Ｌ２・ｃｏｓ（θｈ２）・ｃｏｓ（θｖ２） ‥‥（７）
ここで、車両３００を基準にした障害物４００の相対的な速さをＶｒとした場合、速さＶｒは、前回の検知時刻ｔ１および今回の検知時刻ｔ２を用いて、式（８）で表される。
x2 = L2 · cos (θv2) · sin (θh2) (5)
y2 = L2 · cos (θh2) · sin (θv2) (6)
z2 = L2 · cos (θh2) · cos (θv2) (7)
Here, when the relative speed of the
Ｖｒ＝Ｌｍ／（ｔ２−ｔ１） ‥‥（８）
例えば、判定部１２０は、速さＶｒが所定値（例えば、秒速２メートル）以下の場合、時刻ｔ１、ｔ２で同じ障害物４００が検知されたと判断する。すなわち、時刻ｔ２で検知された障害物４００は、時刻ｔ１で検知された追跡中の障害物４００が移動したものであると判定される。
Vr = Lm / (t2-t1) (8)
For example, when the speed Vr is equal to or less than a predetermined value (for example, 2 meters per second), the
次に、前回および今回の検知結果ＩＮＦａから算出される障害物４００の大きさの変化率の算出について説明する。
Next, calculation of the rate of change of the size of the
障害物４００の大きさの変化率をＲとした場合、変化率Ｒは、前回検知された障害物４００（ｔ１）の幅ＷＤ１および高さＨＴ１と、今回検知された障害物４００（ｔ２）の幅ＷＤ２および高さＨＴ２と用いて、式（９）で表される。
When the change rate of the size of the
Ｒ＝（ＷＤ２・ＨＴ２）／（ＷＤ１・ＨＴ１） ‥‥（９）
なお、式（９）は、障害物４００を板状の物体と仮定したときの面積の変化率Ｒを表している。センサ３０で検知される障害物４００の大きさ（幅ＷＤ、高さＨＴ）は、障害物４００の見る角度等の変化により、変化する。このため、例えば、判定部１２０は、変化率Ｒが所定の範囲内（例えば、±１０％（０．９から１．１））の場合、時刻ｔ１、ｔ２で同じ障害物４００が検知されたと判断する。
R = (WD2 · HT2) / (WD1 · HT1) (9)
Equation (9) represents an area change rate R when the
例えば、判定部１２０は、速さＶｒが所定値以下である条件と、変化率Ｒが所定の範囲内である条件との両方を満たしたときに、追跡中の障害物４００（前回検知した障害物４００と同じ障害物４００）を検知したと判定する。なお、判定部１２０は、速さＶｒが所定値以下である条件と、変化率Ｒが所定の範囲内である条件のうちの一方に基づいて、障害物４００を追跡できているか否かを判定してもよい。
For example, when the
図１１は、センサ３０により検知される障害物４００の大きさの一例を示している。図１１のＸ軸、Ｙ軸、Ｚ軸は、センサ３０の座標系の軸であり、図１０で説明したＸ軸、Ｙ軸、Ｚ軸と同様である。また、図１１の位置ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４は、障害物４００を板状の物体と仮定したときの障害物４００の四隅の位置（四角形の頂点）を示している。幅ＷＤおよび高さＨＴは、障害物４００を検知したセンサ３０の検知結果ＩＮＦａから得られる障害物４００の幅および高さに対応している。
FIG. 11 shows an example of the size of the
例えば、Ｚ軸が障害物４００の中心を通過する場合、位置ＯＰ１−ＯＰ４のＺ座標は、障害物４００の中心とセンサ３０との距離Ｌで表される。したがって、Ｚ軸が障害物４００の中心を通過する場合、位置ＯＰ１−ＯＰ４の各座標（ｘ、ｙ、ｚ）は、幅ＷＤ、高さＨＴ、距離Ｌを用いて、式（１０）−式（１３）で表される。
For example, when the Z axis passes through the center of the
ＯＰ１（ｘ、ｙ、ｚ）＝（−ＷＤ／２、ＨＴ／２、Ｌ） ‥‥（１０）
ＯＰ２（ｘ、ｙ、ｚ）＝（−ＷＤ／２、−ＨＴ／２、Ｌ） ‥‥（１１）
ＯＰ３（ｘ、ｙ、ｚ）＝（ＷＤ／２、ＨＴ／２、Ｌ） ‥‥（１２）
ＯＰ４（ｘ、ｙ、ｚ）＝（ＷＤ／２、−ＨＴ／２、Ｌ） ‥‥（１３）
ここで、障害物４００の中心が水平方向および垂直方向にそれぞれ中心水平角度θｈおよび中心垂直角度θｖだけ移動した場合、回転後の位置ＯＰ１−ＯＰ４は、角度θｈ、θｖの回転行列を用いて、式（１４）−（１７）で表される。
OP1 (x, y, z) = (− WD / 2, HT / 2, L) (10)
OP2 (x, y, z) = (− WD / 2, −HT / 2, L) (11)
OP3 (x, y, z) = (WD / 2, HT / 2, L) (12)
OP4 (x, y, z) = (WD / 2, −HT / 2, L) (13)
Here, when the center of the
このように、障害物４００の四隅の位置ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４は、検知結果ＩＮＦａの幅ＷＤ、高さＨＴ、距離Ｌ、中心水平角度θｈおよび中心垂直角度θｖを用いて、センサ３０の座標系で表される。
As described above, the positions OP1, OP2, OP3, and OP4 at the four corners of the
図１２は、障害物４００の位置が表示範囲ＤＲＡＮ内か否かの判定の概要を示している。図１２のＵ軸、Ｖ軸、Ｓ軸は、車両３００の座標系の軸を示している。例えば、車両３００を上から見た場合の車両３００の中心で、地面の位置を原点とする。そして、車両３００の前方向をＶ軸、車両３００の右方向をＵ軸、上方向をＳ軸とする。例えば、図１２では、車両３００の座標系でのカメラ２０の座標（ｕ、ｖ、ｓ）を、座標（Ｕｃ、Ｖｃ、Ｓｃ）とし、車両３００の座標系でのセンサ３０の座標（ｕ、ｖ、ｓ）を、座標（Ｕｑ、Ｖｑ、Ｓｑ）とする。
FIG. 12 shows an outline of determination as to whether or not the position of the
また、角度ＰａｎＣ、ＰａｎＱは、車両３００の座標系のＵＶ平面でのカメラ２０およびセンサ３０のそれぞれのパン角度（Ｕ軸が０度）を示している。また、角度ＴｉｌｔＣ、ＴｉｌｔＱは、車両３００の座標系のＵＶ平面に対するカメラ２０およびセンサ３０のそれぞれのチルト角度（ＵＶ平面に交わる方向とＵＶ平面との角度）である。チルト角度は、例えば、ＵＶ平面より上をプラスとする。なお、図１２の例では、角度ＴｉｌｔＣ、ＴｉｌｔＱは、０度である。角度ＲｏｌｌＣ、ＲｏｌｌＱは、カメラ２０およびセンサ３０のそれぞれのロール角度である。例えば、角度ＲｏｌｌＣは、カメラ３０の向く方向の回りを回転するロール角度である。なお、図１２の例では、角度ＲｏｌｌＣ、ＲｏｌｌＱは、０度である。角度ＲｏｌｌＣが０度の場合、例えば、モニタ４０に表示される地面（画像ＩＭＧｂに表示される地面）に垂直な方向とモニタ４０の縦方向とがほぼ一致する。
The angles PanC and PanQ indicate the pan angles (the U axis is 0 degree) of the
画像処理装置５０は、例えば、障害物４００の四隅の位置ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の座標を、センサ３０の座標系から車両３００の座標系に変換する。センサ３０の座標系での位置ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の座標は、図１１で説明したように、検知結果ＩＮＦａの幅ＷＤ、高さＨＴ、距離Ｌ、中心水平角度θｈおよび中心垂直角度θｖを用いて、式（１４）−式（１７）で表される。
For example, the
なお、図１２では、位置ＯＰ１−ＯＰ４のセンサ３０の座標系での各座標（ｘ、ｙ、ｚ）を、座標（Ｘｏｐ１、Ｙｏｐ１、Ｚｏｐ１）、座標（Ｘｏｐ２、Ｙｏｐ２、Ｚｏｐ２）、座標（Ｘｏｐ３、Ｙｏｐ３、Ｚｏｐ３）、座標（Ｘｏｐ４、Ｙｏｐ４、Ｚｏｐ４）とする。また、位置ＯＰ１−ＯＰ４の車両３００の座標系での各座標（ｕ、ｖ、ｓ）を、座標（Ｕｏｐ１、Ｖｏｐ１、Ｓｏｐ１）、座標（Ｕｏｐ２、Ｖｏｐ２、Ｓｏｐ２）、座標（Ｕｏｐ３、Ｖｏｐ３、Ｓｏｐ３）、座標（Ｕｏｐ４、Ｖｏｐ４、Ｓｏｐ４）とする。
In FIG. 12, the coordinates (x, y, zop1), coordinates (Xop1, Yop1, Zop1), coordinates (Xop2, Yop2, Zop2), coordinates (Xop3) in the coordinate system of the
位置ＯＰ１−ＯＰ４に対するセンサ３０の座標系から車両３００の座標系への変換は、式（１８）−式（２１）で与えられる。
Conversion from the coordinate system of the
以下、式（１８）を導き出す過程を説明する。例えば、センサ３０の座標系のＸＺ平面の座標は、車両３００の座標系のＵＶ平面上で角度ＰａｎＱだけ回転させ、センサ３０のＵＶ平面での座標（Ｕｑ、Ｖｑ）に対応するオフセットを加算することにより、ＵＶ平面の座標に変換される。したがって、位置ＯＰ１のＵＶ平面での座標（Ｕｏｐ１、Ｖｏｐ１）は、位置ＯＰ１のＸＺ平面での座標（Ｘｏｐ１、Ｚｏｐ１）、角度ＰａｎＱ、センサ３０のＵＶ平面での座標（Ｕｑ、Ｖｑ）を用いて、式（２２）で表される。
Hereinafter, the process of deriving Equation (18) will be described. For example, the coordinates of the XZ plane of the coordinate system of the
また、車両３００の座標系での位置ＯＰ１のＳ座標（Ｓｏｐ１）は、センサ３０の座標系での位置ＯＰ１のＹ座標（Ｙｏｐ１）に、車両３００の座標系でのセンサ３０のＳ座標（Ｓｑ）を加算した値である。したがって、位置ＯＰ１のＳ座標（Ｓｏｐ１）は、位置ＯＰ１のＹ座標（Ｙｏｐ１）およびセンサ３０のＳ座標（Ｓｑ）を用いて、式（２３）で表される。
In addition, the S coordinate (Sop1) of the position OP1 in the coordinate system of the
Ｓｏｐ１＝Ｙｏｐ１＋Ｓｑ ‥‥（２３）
式（２２）および式（２３）をまとめて行列式で表現すると、座標（Ｕｏｐ１、Ｖｏｐ１、Ｓｏｐ１）は、式（２４）で表される。
Sop1 = Yop1 + Sq (23)
When Expression (22) and Expression (23) are collectively expressed as a determinant, coordinates (Uop1, Vop1, Sop1) are expressed by Expression (24).
そして、式（２４）の座標（Ｕｑ、Ｖｑ、Ｓｑ）の加算部分を行列に組み込み、行列の掛け算のみで表現すると、式（１８）が導き出される。式（１９）−式（２１）も、式（１８）と同様に導き出される。 Then, when the addition part of the coordinates (Uq, Vq, Sq) of Expression (24) is incorporated into a matrix and expressed only by matrix multiplication, Expression (18) is derived. Expressions (19) to (21) are also derived in the same manner as Expression (18).
次に、位置ＯＰ１−ＯＰ４が表示範囲ＤＲＡＮ内か否かを判定する際の条件について説明する。画角φｗは、表示範囲ＤＲＡＮの水平方向の範囲を角度で表したときの画角を示している。この実施形態では、カメラ２０の撮影範囲ＣＲＡＮは、表示範囲ＤＲＡＮと同じである。したがって、画角φｗは、カメラ２０の水平方向の画角を示している。
Next, conditions for determining whether or not the positions OP1 to OP4 are within the display range DRAN will be described. The angle of view φw indicates the angle of view when the horizontal range of the display range DRAN is expressed as an angle. In this embodiment, the shooting range CRAN of the
例えば、表示範囲ＤＲＡＮ内のＵＶ平面の座標では、カメラ２０に向かう線分とＵ軸方向に沿う線分との角度は、角度“ＰａｎＣ−φｗ／２”以上で角度“ＰａｎＣ＋φｗ／２”以下である。したがって、カメラ２０の位置（Ｕｃ、Ｖｃ）から見た位置ＯＰ１−ＯＰ４のＵ軸に対する水平方向のそれぞれの角度が角度“ＰａｎＣ−φｗ／２”以上で角度“ＰａｎＣ＋φｗ／２”以下の場合、位置ＯＰ１−ＯＰ４は、表示範囲ＤＲＡＮ内に存在する。
For example, in the coordinates of the UV plane in the display range DRAN, the angle between the line segment toward the
カメラ２０の位置（Ｕｃ、Ｖｃ）から見た位置ＯＰ１−ＯＰ４のＵ軸に対する水平方向のそれぞれの角度をθｈｏｐ１、θｈｏｐ２、θｈｏｐ３、θｈｏｐ４とする。この場合、角度θｈｏｐ１、位置ＯＰ１のＵＶ平面における座標（Ｖｏｐ１、Ｕｏｐ１）およびカメラ２０のＵＶ平面における座標（Ｕｃ、Ｖｃ）の関係は、式（２５）で表される。
The angles in the horizontal direction with respect to the U axis at positions OP1 to OP4 viewed from the position (Uc, Vc) of the
ｔａｎ（θｈｏｐ１）＝（Ｖｏｐ１−Ｖｃ）／（Ｕｏｐ１−Ｕｃ） ‥‥（２５）
角度θｈｏｐ２−θｈｏｐ４、位置ＯＰ２−ＯＰ４のＵＶ平面における座標およびカメラ２０のＵＶ平面における座標（Ｕｃ、Ｖｃ）の関係も、式（２５）と同様の関係式で表される。したがって、角度θｈｏｐ１−θｈｏｐ４は、式（２６）−式（２９）で表される。
tan (θhop1) = (Vop1-Vc) / (Uop1-Uc) (25)
The relationship between the angle θhop2-θhop4, the coordinates of the positions OP2-OP4 in the UV plane and the coordinates (Uc, Vc) in the UV plane of the
θｈｏｐ１＝ｔａｎ−１（（Ｖｏｐ１−Ｖｃ）／（Ｕｏｐ１−Ｕｃ）） ‥‥（２６）
θｈｏｐ２＝ｔａｎ−１（（Ｖｏｐ２−Ｖｃ）／（Ｕｏｐ２−Ｕｃ）） ‥‥（２７）
θｈｏｐ３＝ｔａｎ−１（（Ｖｏｐ３−Ｖｃ）／（Ｕｏｐ３−Ｕｃ）） ‥‥（２８）
θｈｏｐ４＝ｔａｎ−１（（Ｖｏｐ４−Ｖｃ）／（Ｕｏｐ４−Ｕｃ）） ‥‥（２９）
例えば、画像処理装置５０の判定部１２０は、角度θｈｏｐ１−θｈｏｐ４の全てが角度“ＰａｎＣ−φｗ／２”以上で角度“ＰａｎＣ＋φｗ／２”以下の場合、表示範囲ＤＲＡＮの水平方向について、表示範囲ＤＲＡＮ内に障害物４００が存在すると判定する。なお、判定部１２０は、角度θｈｏｐ１、θｈｏｐ２の一方と角度θｈｏｐ３、θｈｏｐ４の一方とを確認することにより、表示範囲ＤＲＡＮのうちの水平方向の範囲に障害物４００が存在するか否かを判定してもよい。
θhop1 = tan −1 ((Vop1−Vc) / (Uop1−Uc)) (26)
θhop2 = tan −1 ((Vop2−Vc) / (Uop2−Uc)) (27)
θhop3 = tan −1 ((Vop3-Vc) / (Uop3-Uc)) (28)
θhop4 = tan −1 ((Vop4-Vc) / (Uop4-Uc)) (29)
For example, the
次に、表示範囲ＤＲＡＮの垂直方向について説明する。画角φｖは、表示範囲ＤＲＡＮの垂直方向の範囲を角度で表したときの画角を示している。この実施形態では、カメラ２０の撮影範囲ＣＲＡＮは、表示範囲ＤＲＡＮと同じである。したがって、画角φｖは、カメラ２０の垂直方向の画角を示している。ここで、図１２では、カメラ２０のＳ方向の位置（高さ）がセンサ３０のＳ方向の位置（高さ）と同じであるとして説明する。
Next, the vertical direction of the display range DRAN will be described. The angle of view φv indicates the angle of view when the vertical range of the display range DRAN is expressed as an angle. In this embodiment, the shooting range CRAN of the
例えば、角度ＴｉｌｔＣが０度であるため、表示範囲ＤＲＡＮ内のＳ座標では、カメラ２０に向かう線分とＵＶ平面との角度は、角度“−φｖ／２”以上で角度“φｖ／２”以下である。位置ＯＰ１−ＯＰ４からカメラ２０に向かう線分とＵＶ平面とのそれぞれの角度をθｖｏｐ１、θｖｏｐ２、θｖｏｐ３、θｖｏｐ４とする。この場合、角度θｖｏｐ１、位置ＯＰ１の座標（Ｖｏｐ１、Ｕｏｐ１、Ｓｏｐ１）およびカメラ２０の座標（Ｕｃ、Ｖｃ、Ｓｃ）の関係は、式（３０）で表される。
For example, since the angle TiltC is 0 degree, in the S coordinate in the display range DRAN, the angle between the line segment toward the
なお、式（３０）の右辺の分母は、位置ＯＰ１とカメラ２０とのＵＶ平面における距離を表している。角度θｖｏｐ２−θｖｏｐ４、位置ＯＰ２−ＯＰ４の座標およびカメラ２０の座標（Ｕｃ、Ｖｃ、Ｓｃ）の関係も、式（３０）と同様の関係式で表される。したがって、角度θｖｏｐ１−θｖｏｐ４は、式（３１）−式（３４）で表される。
The denominator on the right side of Expression (30) represents the distance between the position OP1 and the
例えば、判定部１２０は、角度θｖｏｐ１−θｖｏｐ４の全てが角度“−φｖ／２”以上で角度“φｖ／２”以下の場合、表示範囲ＤＲＡＮの垂直方向について、表示範囲ＤＲＡＮ内に障害物４００が存在すると判定する。なお、判定部１２０は、角度θｖｏｐ１、θｖｏｐ３の一方と角度θｖｏｐ２、θｖｏｐ４の一方とを確認することにより、表示範囲ＤＲＡＮのうちの垂直方向の範囲に障害物４００が存在するか否かを判定してもよい。
For example, when all the angles θvop1 to θvop4 are equal to or larger than the angle “−φv / 2” and smaller than the angle “φv / 2”, the
このように、判定部１２０は、カメラ２０から見た位置ＯＰ（ＯＰ１−ＯＰ４）の水平および垂直方向の角度θｈｏｐ（θｈｏｐ１−θｈｏｐ４）、θｖｏｐ（θｖｏｐ１−θｖｏｐ４）に基づいて、障害物４００の位置が表示範囲ＤＲＡＮ内か否かを判定する。なお、判定部１２０は、障害物４００の少なくとも一部が表示範囲ＤＲＡＮ内に存在している場合、障害物４００が表示範囲ＤＲＡＮ内に存在していると判定してもよい。
In this manner, the
また、例えば、判定部１２０は、以下に示す式（３５）−式（３８）の少なくとも１つを満たす位置ＯＰ（ＯＰ１−ＯＰ４）が存在する場合、障害物４００が画像ＩＭＧｂの端に存在すると判定する。
For example, when there is a position OP (OP1-OP4) that satisfies at least one of the following formulas (35) to (38), the
θｈｏｐ＝ＰａｎＣ−φｗ／２ ‥‥（３５）
θｈｏｐ＝ＰａｎＣ＋φｗ／２ ‥‥（３６）
θｖｏｐ＝−φｖ／２ ‥‥（３７）
θｖｏｐ＝φｖ／２ ‥‥（３８）
なお、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動するまでの撮影期間において、角度θｈｏｐ等が表示範囲ＤＲＡＮの端に完全に重なる状態が撮影されない場合もある。このため、判定部１２０は、所定の幅（例えば、±５度）の余裕を持って、式（３５）−式（３８）の少なくとも１つを満たすか判定してもよい。例えば、所定の幅をＭｈ、Ｍｖとした場合、判定部１２０は、以下に示す式（３９）−式（４２）の少なくとも１つを満たす位置ＯＰ（ＯＰ１−ＯＰ４）が存在する場合、障害物４００が画像ＩＭＧｂの端に存在すると判定する。
θhop = PanC−φw / 2 (35)
θhop = PanC + φw / 2 (36)
θvop = −φv / 2 (37)
θvop = φv / 2 (38)
Note that there may be a case where the state in which the angle θ hop or the like completely overlaps the end of the display range DRAN is not captured during the imaging period until the
ＰａｎＣ−φｗ／２−Ｍｈ≦θｈｏｐ≦ＰａｎＣ−φｗ／２＋Ｍｈ ‥‥（３９）
ＰａｎＣ＋φｗ／２−Ｍｈ≦θｈｏｐ≦ＰａｎＣ＋φｗ／２＋Ｍｈ ‥‥（４０）
−φｖ／２−Ｍｖ≦θｖｏｐ≦−φｖ／２＋Ｍｖ ‥‥（４１）
φｖ／２−Ｍｖ≦θｖｏｐ≦φｖ／２＋Ｍｖ ‥‥（４２）
なお、所定の幅Ｍｈ、Ｍｖは、プラス側とマイナス側とで異なる値でもよい。障害物４００が画像ＩＭＧｂの端に存在すると判定された場合、図１３に示すように、障害物４００の画像ＢＩＭＧａが画像ＩＭＧａから抽出される。
PanC−φw / 2−Mh ≦ θhop ≦ PanC−φw / 2 + Mh (39)
PanC + φw / 2−Mh ≦ θhop ≦ PanC + φw / 2 + Mh (40)
−φv / 2−Mv ≦ θvop ≦ −φv / 2 + Mv (41)
φv / 2−Mv ≦ θvop ≦ φv / 2 + Mv (42)
The predetermined widths Mh and Mv may be different values on the plus side and the minus side. When it is determined that the
また、判定部１２０は、例えば、障害物４００の少なくとも一部が画像ＩＭＧｂの端を超えたか否かを角度θｈｏｐ、θｖｏｐに基づいて判定することにより、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定してもよい。この場合、障害物４００の少なくとも一部が画像ＩＭＧｂの端を超えたと判定される前まで、障害物４００の画像ＢＩＭＧａは、画像ＩＭＧａから抽出される。そして、保持部１４０に保持されている画像ＢＩＭＧａは、抽出された画像ＢＩＭＧａに更新される。なお、障害物４００の少なくとも一部が画像ＩＭＧｂの端を超えたと判定されたときには、障害物４００の画像ＢＩＭＧａは、抽出されない。すなわち、保持部１４０には、障害物４００の少なくとも一部が画像ＩＭＧｂの端を超えたと判定される前に抽出された障害物４００の画像ＢＩＭＧａが保持されている。
Further, the
図１３は、障害物４００の画像ＢＩＭＧａの抽出の一例を示している。なお、図１３では、図７等との対応を容易にするために、保持部１００から読み出される画像ＩＭＧａは、鏡像処理（左右反転処理）が実行された画像として説明する。図１３では、画像ＩＭＧａの中心を原点とし、画像ＩＭＧａの横方向をＷ軸、画像ＩＭＧａの縦方向をＨ軸とする。また、画像ＩＭＧａの横幅ＳＣＷおよび縦幅ＳＣＨは、画像ＩＭＧａがビットマップ画像の場合、画像ＩＭＧａの横方向および縦方向の画素数をそれぞれ示している。
FIG. 13 shows an example of extraction of the image BIMGa of the
なお、カメラ２０のレンズの光軸に対する光の入射角は、例えば、入射した光の画像ＩＭＧａ上の投影位置から画像ＩＭＧａの中心までの距離と比例関係にある。例えば、図１２において、光の入射角が光軸（カメラの向き）に対して“φｗ／２”の場合、入射した光の画像ＩＭＧａ上の投影位置から画像ＩＭＧａの中心までのＷ方向に沿う距離は、“ＳＣＷ／２”画素に相当する距離である。すなわち、光の入射角が光軸（カメラの向き）に対して“φｗ／２”の場合、入射した光の画像ＩＭＧａ上の投影位置は、画像ＩＭＧａの端である。また、例えば、光の入射角が光軸（カメラの向き）に対して“φｗ／４”の場合、入射した光の画像ＩＭＧａ上の投影位置から画像ＩＭＧａの中心までのＷ方向に沿う距離は、“ＳＣＷ／４”画素に相当する距離である。
The incident angle of light with respect to the optical axis of the lens of the
画像処理装置５０の抽出部１３０は、例えば、障害物４００が画像ＩＭＧｂの端に存在すると判定された場合、位置ＯＰ１−ＯＰ４の画像ＩＭＧａ上の４つの点で囲まれる範囲（図１３の破線の枠内）の画像を、障害物４００の画像ＢＩＭＧａとして抽出する。例えば、位置ＯＰ１−ＯＰ４の画像ＩＭＧａ上の各座標（Ｗ、Ｈ）を、座標（ＯＰ１ｗ、ＯＰ１ｈ）、座標（ＯＰ２ｗ、ＯＰ２ｈ）、座標（ＯＰ３ｗ、ＯＰ３ｈ）、座標（ＯＰ４ｗ、ＯＰ４ｈ）とする。
For example, when it is determined that the
この場合、位置ＯＰ１−ＯＰ４の画像ＩＭＧａ上の各座標（Ｗ、Ｈ）は、横幅ＳＣＷ、縦幅ＳＣＨ、図１２で説明した角度θｈｏｐ１−θｈｏｐ４、θｖｏｐ１−θｖｏｐ４、角度ＰａｎＣ、画角φｗ、φｖを用いて、式（４３）−式（５０）で表される。なお、式（４３）−式（５０）は、画像ＩＭＧａが鏡像である場合の位置ＯＰ１−ＯＰ４の画像ＩＭＧａ上で各座標（Ｗ、Ｈ）を表している。 In this case, the coordinates (W, H) on the image IMGa at the positions OP1-OP4 are the horizontal width SCW, the vertical width SCH, the angles θhop1-θhop4, θvop1-θvop4, the angle PanC, the angle of view φw, φv described in FIG. Is represented by Formula (43) -Formula (50). In addition, Formula (43) -Formula (50) represents each coordinate (W, H) on image IMGa of position OP1-OP4 in case image IMGa is a mirror image.
ＯＰ１ｗ＝−（θｈｏｐ１−ＰａｎＣ）・（ＳＣＷ／φｗ） ‥‥（４３）
ＯＰ１ｈ＝θｖｏｐ１・（ＳＣＨ／φｖ） ‥‥（４４）
ＯＰ２ｗ＝−（θｈｏｐ２−ＰａｎＣ）・（ＳＣＷ／φｗ） ‥‥（４５）
ＯＰ２ｈ＝θｖｏｐ２・（ＳＣＨ／φｖ） ‥‥（４６）
ＯＰ３ｗ＝−（θｈｏｐ３−ＰａｎＣ）・（ＳＣＷ／φｗ） ‥‥（４７）
ＯＰ３ｈ＝θｖｏｐ３・（ＳＣＨ／φｖ） ‥‥（４８）
ＯＰ４ｗ＝−（θｈｏｐ４−ＰａｎＣ）・（ＳＣＷ／φｗ） ‥‥（４９）
ＯＰ４ｈ＝θｖｏｐ４・（ＳＣＨ／φｖ） ‥‥（５０）
例えば、抽出部１３０は、式（４３）−式（５０）に基づいて、画像ＩＭＧａ上の座標（ＯＰ１ｗ、ＯＰ１ｈ）、座標（ＯＰ２ｗ、ＯＰ２ｈ）、座標（ＯＰ３ｗ、ＯＰ３ｈ）、座標（ＯＰ４ｗ、ＯＰ４ｈ）を算出する。そして、抽出部１３０は、画像ＩＭＧａ上の座標（ＯＰ１ｗ、ＯＰ１ｈ）、座標（ＯＰ２ｗ、ＯＰ２ｈ）、座標（ＯＰ３ｗ、ＯＰ３ｈ）、座標（ＯＰ４ｗ、ＯＰ４ｈ）で囲まれる範囲（図１３の破線の枠内）の画像を、障害物４００の画像ＢＩＭＧａとして抽出する。また、抽出部１３０は、抽出した画像ＢＩＭＧａを保持部１４０に保持する。
OP1w = − (θhop1-PanC). (SCW / φw) (43)
OP1h = θvop1 · (SCH / φv) (44)
OP2w = − (θhop2-PanC). (SCW / φw) (45)
OP2h = θvop2 · (SCH / φv) (46)
OP3w =-(θhop3-PanC) (SCW / φw) (47)
OP3h = θvop3 · (SCH / φv) (48)
OP4w =-([theta] hop4-PanC). (SCW / [phi] w) (49)
OP4h = θvop4 · (SCH / φv) (50)
For example, the
なお、抽出部１３０は、画像ＩＭＧｂから障害物４００の画像ＢＩＭＧａを抽出してもよい。また、画像ＩＭＧａ上の座標（ＯＰ１ｗ、ＯＰ１ｈ）、座標（ＯＰ２ｗ、ＯＰ２ｈ）、座標（ＯＰ３ｗ、ＯＰ３ｈ）、座標（ＯＰ４ｗ、ＯＰ４ｈ）は、判定部１２０で算出されてもよい。
Note that the
以上、図１から図１３に示した実施形態の画像処理装置５０、システム１０および表示プログラムでは、障害物４００が画像ＩＭＧｂの端に存在するときの障害物４００の画像ＢＩＭＧａが画像ＩＭＧａ、ＩＭＧｂの少なくとも一方から抽出される。例えば、画像処理装置５０は、保持部１００、１４０、１６０、生成部１１０、判定部１２０、抽出部１３０および描画部１５０を有している。
As described above, in the
例えば、生成部１１０は、カメラ２０で撮影された画像ＩＭＧａを保持部１００から読み出し、画像ＩＭＧａからモニタ４０に表示する画像ＩＭＧｂを生成する。判定部１２０は、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在するか否かを判定し、障害物４００が画像ＩＭＧｂに存在するとき、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定する。
For example, the
抽出部１３０は、障害物４００が画像ＩＭＧｂの端に存在すると判定されたとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。そして、抽出部１３０は、障害物４００の画像ＢＩＭＧａを保持部１４０に保持する。これにより、保持部１４０は、障害物４００が表示範囲ＤＲＡＮ外に移動する直前の状態に近い状態の障害物４００の画像ＢＩＭＧａを保持できる。
When it is determined that the
描画部１５０は、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在しないと判定され、かつ、障害物４００の画像ＢＩＭＧが保持部１４０に保持されているとき、モニタ４０に表示する画像ＩＭＧｃに障害物４００の画像ＢＩＭＧａを追加する。これにより、表示範囲ＤＲＡＮの画像ＩＭＧｂと障害物の画像ＢＩＭＧａとがモニタ４０に表示される。
The
したがって、この実施形態では、表示範囲ＤＲＡＮ外に存在する障害物４００の過去の画像ＢＩＭＧａが保持部１４０に保持されているとき、表示範囲ＤＲＡＮの画像ＩＭＧｂのほかに障害物４００の画像ＢＩＭＧａをモニタ４０に表示できる。例えば、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動したときにも、センサ３０が障害物４００を検知している間は、障害物４００を追跡できる。そして、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動した場合でも、障害物４００の全体が映ったできるだけ新しい過去の画像ＢＩＭＧａを、モニタ４０に表示できる。
Therefore, in this embodiment, when the past image BIMGa of the
ここで、例えば、運転者が車室内のモニタ４０を見るために動かす視線の範囲は、運転者が車室外のサイドミラーを見るために動かす視線の範囲に比べて、狭い。このため、表示範囲ＤＲＡＮ内の画像ＩＭＧｂのみが表示されたモニタ４０を運転者が確認した場合、運転者が得る情報量は、サイドミラーを使用したときに比べて、減少するおそれがある。なお、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動したときにも、障害物４００の全体が映ったできるだけ新しい過去の画像ＢＩＭＧａをモニタ４０に表示できるため、運転者が得る情報量の減少分の一部を補うことができる。
Here, for example, the range of the line of sight that the driver moves to see the
例えば、この実施形態では、表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動した障害物４００をセンサ３０が検知している間は、緊急の対応が必要な障害物４００か否かを判断する情報として、障害物４００の画像ＢＩＭＧａを継続的に運転者に提供できる。これにより、運転者は、モニタ４０に画像ＢＩＭＧａが表示されないカメラシステムを使用するときに比べて、緊急の対応が必要な障害物４００か否かを容易に判断できる。
For example, in this embodiment, while the
このように、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。 As described above, in this embodiment, it is possible to suppress a reduction in information transmitted to the user of the system 10 (for example, information around the vehicle 300).
図１４は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示した画像処理装置５０に抽出判定部１２２が追加された画像処理装置５０Ａを、画像処理装置５０の代わりに有している。システム１０および画像処理装置５０Ａのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図１３で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。
FIG. 14 shows another embodiment of the image processing apparatus and system. The
画像処理装置５０Ａは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ａの動作を実行させてもよい。 The image processing apparatus 50A may be realized only by hardware, or may be realized by controlling the hardware by software. For example, software such as a display program may cause the processor to execute the operation of the image processing apparatus 50A.
画像処理装置５０Ａは、例えば、保持部１００、１４０、１６０、生成部１１０、判定部１２０、抽出判定部１２２、抽出部１３０および描画部１５０を有している。抽出判定部１２２は、例えば、障害物４００が画像ＩＭＧｂの端に存在すると判定されたとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出するか否かを画像ＩＭＧｂ内の障害物４００の大きさに基づいて判定する。
The image processing apparatus 50A includes, for example, holding
例えば、抽出判定部１２２は、障害物４００が画像ＩＭＧｂの端に存在することを示す判定結果ＩＮＦｃを判定部１２０から受けたとき、画像ＩＭＧｂ内の障害物４００の大きさが予め決められた下限値以上か否かを判定する。そして、抽出判定部１２２は、例えば、画像ＩＭＧｂ内の障害物４００の大きさが下限値以上のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定する。障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出するか否かの判定結果ＩＮＦｄは、抽出部１３０に転送される。
For example, when the
例えば、抽出部１３０は、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出することを示す判定結果ＩＮＦｄを抽出判定部１２２から受けたとき、保持部１００に保持されている画像ＩＭＧａを読み出す。そして、抽出部１３０は、センサ３０で検知された障害物４００の範囲に対応する画像ＢＩＭＧａを画像ＩＭＧａから抽出し、抽出した障害物４００の画像ＢＩＭＧａを保持部１４０に保持する。このように、抽出部１３０は、障害物４００が画像ＩＭＧｂの端に存在すると判定され、かつ、画像ＩＭＧｂ内の障害物４００の大きさが下限値以上であると判定されたとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。
For example, when receiving the determination result INFd indicating that the image BIMGa of the
これにより、下限値以上の大きさの障害物４００がモニタ４０に表示される。この場合、障害物４００の画像ＢＩＭＧａがモニタ４０に表示されたときに、画像ＢＩＭＧａが小さくなることを防止できる。
Thereby, the
なお、システム１０の動作および構成は、この例に限定されない。また、画像処理装置５０Ａの構成および動作は、この例に限定されない。例えば、抽出判定部１２２は、障害物４００が画像ＩＭＧｂの端に存在することを示す判定結果ＩＮＦｃを判定部１２０から受けたとき、画像ＩＭＧｂ内の障害物４００の大きさが予め決められた上限値以下か否かを判定してもよい。そして、抽出判定部１２２は、例えば、画像ＩＭＧｂ内の障害物４００の大きさが上限値以下のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定してもよい。例えば、モニタ４０の画像ＢＩＭＧｂの表示用の領域に合わせて上限値が設定されている場合、画像処理装置５０Ａは、画像ＢＩＭＧａを縮小することなく、適切な大きさの画像ＢＩＭＧａをモニタ４０に表示できる。
The operation and configuration of the
あるいは、抽出判定部１２２は、画像ＩＭＧｂ内の障害物４００の大きさが下限値以上で上限値以下のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定してもよい。また、抽出判定部１２２は、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出するか否かを画像ＩＭＧａ内の障害物４００の大きさに基づいて判定してもよい。また、抽出部１３０は、障害物４００の画像ＢＩＭＧａを画像ＩＭＧｂから抽出してもよい。
Alternatively, the
以上、図１４に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。
As described above, also in the embodiment shown in FIG. 14, the same effects as those in the embodiment shown in FIGS. 1 to 13 can be obtained. For example, in this embodiment, reduction of information (for example, information around the vehicle 300) transmitted to the user of the
さらに、この実施形態では、抽出判定部１２２は、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出するか否かを画像ＩＭＧｂ内の障害物４００の大きさに基づいて判定する。例えば、抽出判定部１２２は、画像ＩＭＧｂ内の障害物４００の大きさが下限値以上のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定する。この場合、下限値以上の大きさの障害物４００がモニタ４０に表示される。したがって、この実施形態では、障害物４００の画像ＢＩＭＧａがモニタ４０に表示されたときに、画像ＢＩＭＧａが小さくなることを防止できる。すなわち、この実施形態では、モニタ４０に表示される画像ＢＩＭＧａの解像度が不足することを防止できる。この結果、この実施形態では、鮮明な画像ＢＩＭＧａを運転者に提供できる。
Furthermore, in this embodiment, the
また、例えば、抽出判定部１２２は、画像ＩＭＧｂ内の障害物４００の大きさが上限値以下のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定してもよい。この場合、この実施形態では、例えば、モニタ４０の画像ＢＩＭＧｂの表示用の領域に合わせて上限値を設定することにより、画像ＢＩＭＧａを縮小することなく、適切な大きさの画像ＢＩＭＧａをモニタ４０に表示できる。
For example, the
図１５は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示したカメラ２０および画像処理装置５０の代わりに、カメラ２０Ａおよび画像処理装置５０Ｂを有している。この実施形態の画像処理装置５０Ｂでは、調整部１２４が図１に示した画像処理装置５０に追加されている。また、画像処理装置５０Ｂは、図１に示した生成部１１０の代わりに生成部１１０Ａを有している。システム１０および画像処理装置５０Ｂのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図１３で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。
FIG. 15 shows another embodiment of the image processing apparatus and system. The
画像処理装置５０Ｂは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｂの動作を実行させてもよい。 The image processing device 50B may be realized only by hardware, or may be realized by controlling the hardware by software. For example, software such as a display program may cause the processor to execute the operation of the image processing device 50B.
カメラ２０Ａの撮影範囲ＣＲＡＮに対応する画角は、例えば、センサ３０で障害物４００が検知されていないときに表示される画像ＩＭＧｂの表示範囲ＤＲＡＮに対応する画角より大きい。以下、センサ３０で障害物４００が検知されていないときに表示される画像ＩＭＧｂの表示範囲ＤＲＡＮを通常表示範囲ＤＲＡＮとも称する。また、通常表示範囲ＤＲＡＮの画角より広い画角の表示範囲ＤＲＡＮを、拡大表示範囲ＤＲＡＮとも称する。
The angle of view corresponding to the shooting range CRAN of the
拡大表示範囲ＤＲＡＮの画角は、例えば、撮影範囲ＣＲＡＮの画角とほぼ同じ大きさである。なお、拡大表示範囲ＤＲＡＮの画角は、撮影範囲ＣＲＡＮの画角より小さくてもよい。例えば、撮影範囲ＣＲＡＮの画角が通常表示範囲ＤＲＡＮの画角の２倍以上の場合、拡大表示範囲ＤＲＡＮの画角は、通常表示範囲ＤＲＡＮの画角の２倍以下でもよい。 The angle of view of the enlarged display range DRAN is, for example, approximately the same size as the angle of view of the shooting range CRAN. Note that the angle of view of the enlarged display range DRAN may be smaller than the angle of view of the imaging range CRAN. For example, when the angle of view of the shooting range CRAN is more than twice the angle of view of the normal display range DRAN, the angle of view of the enlarged display range DRAN may be less than twice the angle of view of the normal display range DRAN.
画像処理装置５０Ｂは、例えば、保持部１００、１４０、１６０、生成部１１０Ａ、判定部１２０、調整部１２４、抽出部１３０および描画部１５０を有している。調整部１２４は、カメラ２０Ａの画角が画像ＩＭＧｂに反映されている表示範囲ＤＲＡＮの画角より大きく、かつ、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在しないと判定されたとき、表示範囲ＤＲＡＮの画角を広くする。
The image processing device 50B includes, for example, holding
例えば、調整部１２４は、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮ内に存在しないことを示す判定結果ＩＮＦｂを判定部１２０から受けたとき、拡大表示範囲ＤＲＡＮの画角を示す情報ＩＮＦｅを生成部１１０Ａに転送する。なお、調整部１２４は、例えば、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮ内に存在することを示す判定結果ＩＮＦｂを判定部１２０から受けたとき、通常表示範囲ＤＲＡＮの画角を示す情報ＩＮＦｅを生成部１１０Ａに転送する。また、例えば、センサ３０で障害物４００が検知されていないとき、調整部１２４は、通常表示範囲ＤＲＡＮの画角を示す情報ＩＮＦｅを生成部１１０Ａに転送する。
For example, the
生成部１１０Ａは、情報ＩＮＦｅが示す画角の画像ＩＭＧｂを、保持部１００に保持されている画像ＩＭＧａから生成する。例えば、情報ＩＮＦｅが通常表示範囲ＤＲＡＮの画角を示している場合、生成部１１０Ａは、通常表示範囲ＤＲＡＮの画像ＩＭＧｂを生成する。すなわち、情報ＩＮＦｅが通常表示範囲ＤＲＡＮの画角を示している場合、生成部１１０Ａは、図１に示した生成部１１０と同様の動作を実行する。
The
また、例えば、情報ＩＮＦｅが拡大表示範囲ＤＲＡＮの画角を示している場合、生成部１１０Ａは、拡大表示範囲ＤＲＡＮの画像ＩＭＧｂを生成する。これにより、通常表示範囲ＤＲＡＮより広い拡大表示範囲ＤＲＡＮの像が映っている画像ＩＭＧｂがモニタ４０に表示される。なお、モニタ４０に表示される画像ＩＭＧｂの大きさは、通常表示範囲ＤＲＡＮの画像ＩＭＧｂと拡大表示範囲ＤＲＡＮの画像ＩＭＧｂとでほぼ同じである。したがって、生成部１１０Ａは、例えば、拡大表示範囲ＤＲＡＮの画像ＩＭＧｂを生成する際、画像ＩＭＧｂの表示用の領域に合わせて、画像ＩＭＧｂを縮小する。
For example, when the information INFe indicates the angle of view of the enlarged display range DRAN, the
図１６は、表示範囲ＤＲＡＮを広げるときの一例を示している。図１６の通常表示範囲ＤＲＡＮｎは、センサ３０で障害物４００が検知されていないときにモニタ４０に表示される画像ＩＭＧｂの表示範囲ＤＲＡＮを示している。また、拡大表示範囲ＤＲＡＮｗは、センサ３０で検知された障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しないときにモニタ４０に表示される画像ＩＭＧｂの表示範囲ＤＲＡＮを示している。
FIG. 16 shows an example when the display range DRAN is expanded. A normal display range DRANn in FIG. 16 indicates the display range DRAN of the image IMGb displayed on the
画像ＩＭＧｂ（ｎ）は、センサ３０で障害物４００が検知されていないときにモニタ４０に表示される画像ＩＭＧｂを示している。画像ＩＭＧｂ（ｗ）は、センサ３０で検知された障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しないときにモニタ４０に表示される画像ＩＭＧｂを示している。また、画像処理装置５０Ｂは、障害物４００の画像ＢＩＭＧａを保持している場合、画像ＩＭＧｂ（ｗ）の他に、障害物４００の画像ＢＩＭＧａを画像ＢＩＭＧｂとしてモニタ４０に表示する。なお、画像処理装置５０Ｂは、障害物４００の画像ＢＩＭＧａを保持していない場合、障害物４００の画像ＢＩＭＧａの代わりに、警告用の画像（例えば、図７に示した画像ＢＩＭＧｂ）を画像ＢＩＭＧｂとしてモニタ４０に表示する。
The image IMGb (n) indicates the image IMGb displayed on the
図１６の例では、カメラ２０Ａの撮影範囲ＣＲＡＮは、通常表示範囲ＤＲＡＮｎより広く、拡大表示範囲ＤＲＡＮと同じである。したがって、センサ３０で検知された障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しない場合、カメラ２０で撮影された画像ＩＭＧａがモニタ４０に表示される。
In the example of FIG. 16, the shooting range CRAN of the
このように、画像処理装置５０Ｂは、センサ３０で検知された障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しない場合、表示範囲ＤＲＡＮの画角を広げて、通常表示範囲ＤＲＡＮｎより広い拡大表示範囲ＤＲＡＮｗの画像ＩＭＧｂ（ｗ）をモニタ４０に表示する。例えば、画像処理装置５０Ｂの調整部１２４は、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しないとき、モニタ４０に表示する画像ＩＭＧｂの表示範囲ＤＲＡＮを通常表示範囲ＤＲＡＮｎより広くする。
As described above, when the
ここで、画像ＩＭＧｂ（ｗ）内の破線の枠は、通常表示範囲ＤＲＡＮｎに対応する範囲を分かりやすくするために記載したものであり、モニタ４０には表示されない。なお、画像処理装置５０Ｂは、通常表示範囲ＤＲＡＮｎに対応する範囲を示す枠（例えば、画像ＩＭＧｂ（ｗ）内の破線の枠）を画像ＩＭＧｂ（ｗ）に重畳してモニタ４０に表示してもよい。
Here, the broken-line frame in the image IMGb (w) is described for easy understanding of the range corresponding to the normal display range DRANn, and is not displayed on the
なお、システム１０の動作および構成は、この例に限定されない。また、画像処理装置５０Ｂの構成および動作は、この例に限定されない。例えば、表示範囲ＤＲＡＮを拡大表示範囲ＤＲＡＮｗに変更する条件は、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮｎ外で拡大表示範囲ＤＲＡＮｗ内のときでもよい。この場合、画像処理装置５０Ｂは、障害物４００が映っている画像ＩＭＧｂ（ｗ）をモニタ４０に表示できる。
The operation and configuration of the
あるいは、画像処理装置５０Ｂは、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在しないとき、画像ＩＭＧｂに対する障害物４００の相対的な位置を算出する算出部を有してもよい。この場合、例えば、調整部１２４は、画像ＩＭＧａに反映されている撮影範囲がモニタ４０の画面以上であり、障害物４００の相対的な位置が画面内であるとき、画像ＩＭＧｂに反映される表示範囲の画角を画面に対応する画角まで広くしてもよい。
Alternatively, the image processing device 50B may include a calculation unit that calculates the relative position of the
以上、図１５および図１６に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。
As described above, also in the embodiment shown in FIGS. 15 and 16, the same effect as that of the embodiment shown in FIGS. 1 to 13 can be obtained. For example, in this embodiment, reduction of information (for example, information around the vehicle 300) transmitted to the user of the
さらに、この実施形態では、調整部１２４は、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在しないとき、表示範囲ＤＲＡＮの画角を広くする。すなわち、この実施形態では、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しない場合、センサ３０で障害物４００が検知されていないときに比べて、車両３００の周辺の広い範囲を映した画像ＩＭＧｂ（ｗ）を運転者に提供できる。
Further, in this embodiment, the
図１７は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１５に示した画像処理装置５０Ｂに枠描画部１１２が追加された画像処理装置５０Ｃを、画像処理装置５０Ｂの代わりに有している。システム１０および画像処理装置５０Ｃのその他の構成は、図１５に示したシステム１０および画像処理装置５０Ｂと同様である。図１から図１６で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。
FIG. 17 shows another embodiment of the image processing apparatus and system. The
画像処理装置５０Ｃは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｃの動作を実行させてもよい。 The image processing apparatus 50C may be realized only by hardware, or may be realized by controlling the hardware by software. For example, software such as a display program may cause the processor to execute the operation of the image processing device 50C.
画像処理装置５０Ｃは、例えば、保持部１００、１４０、１６０、生成部１１０Ａ、枠描画部１１２、判定部１２０、抽出部１３０および描画部１５０を有している。枠描画部１１２は、画像ＩＭＧｂを生成部１１０Ａから受け、画像ＩＭＧｂ２を保持部１６０に保持する。例えば、枠描画部１１２は、画像ＩＭＧｂの表示範囲ＤＲＡＮが通常表示範囲ＤＲＡＮｎの場合、画像ＩＭＧｂを画像ＩＭＧｂ２として保持部１６０に保持する。
The image processing apparatus 50C includes, for example, holding
また、例えば、画像ＩＭＧｂの表示範囲ＤＲＡＮが拡大表示範囲ＤＲＡＮｗの場合、枠描画部１１２は、通常表示範囲ＤＲＡＮｎを示す枠を画像ＩＭＧｂに重畳した画像ＩＭＧｂ２を保持部１６０に保持する。例えば、枠描画部１１２は、拡大表示範囲ＤＲＡＮｗの画像ＩＭＧｂ上の通常表示範囲ＤＲＡＮｎの位置を算出し、通常表示範囲ＤＲＡＮｎを示す枠を画像ＩＭＧｂに重畳する。これにより、通常表示範囲ＤＲＡＮｎを示す枠が重畳された画像ＩＭＧｂ２が生成される。拡大表示範囲ＤＲＡＮｗの画像ＩＭＧｂに重畳される枠は、例えば、図１５に示した画像ＩＭＧｂ（ｗ）内の破線の枠である。なお、拡大表示範囲ＤＲＡＮｗの画像ＩＭＧｂに重畳される枠は、実線でもよい。
For example, when the display range DRAN of the image IMGb is the enlarged display range DRANw, the
このように、枠描画部１１２は、表示範囲ＤＲＡＮの画角を広くする場合、表示範囲ＤＲＡＮの画角を広くする前の通常表示範囲ＤＲＡＮｎを示す枠を表示範囲ＤＲＡＮの画角を広くした画像ＩＭＧｂ内に表示する。
As described above, when the
以上、図１７に示した実施形態においても、図１５および図１６に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。また、この実施形態では、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しない場合、センサ３０で障害物４００が検知されていないときに比べて、車両３００の周辺の広い範囲を映した画像ＩＭＧｂ（ｗ）を運転者に提供できる。
As described above, also in the embodiment shown in FIG. 17, the same effects as those in the embodiment shown in FIGS. 15 and 16 can be obtained. For example, in this embodiment, reduction of information (for example, information around the vehicle 300) transmitted to the user of the
さらに、この実施形態では、枠描画部１１２は、表示範囲ＤＲＡＮの画角を広くする場合、表示範囲ＤＲＡＮの画角を広くする前の通常表示範囲ＤＲＡＮｎを示す枠を表示範囲ＤＲＡＮの画角を広くした画像ＩＭＧｂ内に表示する。このため、この実施形態では、通常表示範囲ＤＲＡＮｎ外に障害物４００が存在することを強調して運転者に伝えることができる。
Further, in this embodiment, when the
図１８は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示したカメラ２０および画像処理装置５０の代わりに、カメラ２０Ａおよび画像処理装置５０Ｄを有している。この実施形態の画像処理装置５０Ｄは、図１に示した判定部１２０および描画部１５０の代わりに、判定部１２０Ａおよび描画部１５０Ａを有している。システム１０および画像処理装置５０Ｄのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図１７で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。
FIG. 18 shows another embodiment of the image processing apparatus and system. The
画像処理装置５０Ｄは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｄの動作を実行させてもよい。 The image processing device 50D may be realized only by hardware, or may be realized by controlling the hardware by software. For example, software such as a display program may cause the processor to execute the operation of the image processing device 50D.
カメラ２０Ａの撮影範囲ＣＲＡＮに対応する画角は、例えば、表示範囲ＤＲＡＮに対応する画角より大きい。したがって、カメラ２０Ａは、表示範囲ＤＲＡＮより広い撮影範囲ＣＲＡＮの像が映っている画像ＩＭＧａを、画像処理装置５０Ｄに転送する。
The angle of view corresponding to the shooting range CRAN of the
画像処理装置５０Ｄは、例えば、保持部１００、１４０、１６０、生成部１１０、判定部１２０Ａ、抽出部１３０および描画部１５０Ａを有している。生成部１１０は、表示範囲ＤＲＡＮより広い撮影範囲ＣＲＡＮの画像ＩＭＧａから表示範囲ＤＲＡＮの画像ＩＭＧｂを抽出する。
The image processing device 50D includes, for example, holding
判定部１２０Ａは、センサ３０で検知された障害物４００が表示範囲ＤＲＡＮ内に存在しないとき、障害物４００がカメラ２０Ａの撮影範囲ＣＲＡＮ内に存在するか否かを判定する。すなわち、判定部１２０Ａは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在しないとき、障害物４００が画像ＩＭＧａに存在するか否かを判定する。
When the
なお、判定部１２０Ａの動作は、画像ＩＭＧｂに存在しない障害物４００が画像ＩＭＧａに存在するか否かを判定することを除いて、図１に示した判定部１２０と同様である。例えば、判定部１２０Ａは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在するとき、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定する。
The operation of the
判定部１２０Ａの判定結果ＩＮＦｃ、ＩＮＦｂ２は、例えば、抽出部１３０および描画部１５０Ａにそれぞれ転送される。例えば、判定部１２０Ａは、障害物４００が画像ＩＭＧｂの端に存在するか否かの判定結果ＩＮＦｃを抽出部１３０に転送する。また、例えば、判定部１２０Ａは、障害物４００が画像ＩＭＧｂに存在するか否かの判定結果ＩＮＦｂ２を描画部１５０Ａに転送する。なお、障害物４００が画像ＩＭＧｂに存在しないことを示す判定結果ＩＮＦｂ２には、障害物４００が画像ＩＭＧａに存在するか否かの判定結果も含まれる。
The determination results INFc and INFb2 of the
描画部１５０Ａは、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在せず、かつ、センサ３０により検知されている障害物４００が画像ＩＭＧａに存在するとき、画像ＩＭＧａから障害物４００の画像を抽出する。そして、描画部１５０Ａは、画像ＩＭＧａから抽出した障害物４００の画像を、モニタ４０に表示する障害物４００の画像ＢＩＭＧａとして使用する。
When the
すなわち、描画部１５０Ａは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＩＭＧａに存在するとき、画像ＩＭＧａから抽出した障害物４００の画像を、画像ＢＩＭＧｂとして保持部１６０に保持する。
That is, the
例えば、描画部１５０Ａは、障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＩＭＧａに存在することを示す判定結果ＩＮＦｂ２を判定部１２０Ａから受けたとき、保持部１００に保持されている画像ＩＭＧａを読み出す。そして、描画部１５０Ａは、センサ３０で検知された障害物４００の範囲に対応する画像を画像ＩＭＧａから抽出し、抽出した障害物４００の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。これにより、障害物４００の新しい画像がモニタ４０に表示される。
For example, the
描画部１５０Ａの動作は、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＩＭＧａに存在するときの動作を除いて、図１に示した描画部１５０と同様である。
The
なお、システム１０の構成および動作は、この例に限定されない。また、画像処理装置５０Ｄの構成および動作は、この例に限定されない。例えば、描画部１５０Ａは、障害物４００の画像ＢＩＭＧａが保持部１４０に保持されているときには、障害物４００が画像ＩＭＧａに存在するか否かに拘わらず、保持部１４０に保持されている画像ＢＩＭＧａを、画像ＢＩＭＧｂとして保持部１６０に保持してもよい。あるいは、描画部１５０Ａは、画像ＩＭＧａから抽出した障害物４００の画像を、画像ＢＩＭＧａとして保持部１４０に保持してもよい。
The configuration and operation of the
図１９は、モニタ４０に表示される画像ＩＭＧｃの一例を示している。図１９の障害物４００ａは、センサ３０が検知した障害物４００ｂの前の状態（障害物４００、表示範囲ＤＲＡＮ、検知範囲ＳＲＡＮの相対的な位置関係）を示している。障害物４００ｂが検知される前の状態では、センサ３０の検知範囲ＳＲＡＮ内に障害物４００が存在していないため、画像ＩＭＧｂおよび余白ＢＳＰを含む画像ＩＭＧｃ（ａ）がモニタ４０に表示される。なお、表示範囲ＤＲＡＮ内に障害物４００が存在しないため、画像ＩＭＧｂには、障害物４００は映っていない。
FIG. 19 shows an example of an image IMGc displayed on the
そして、例えば、障害物４００ａがセンサ３０の検知範囲ＳＲＡＮ外から検知範囲ＳＲＡＮ内に表示範囲ＤＲＡＮを通過せずに移動した場合、センサ３０は、検知範囲ＳＲＡＮ内の障害物４００ｂ（障害物４００ａの移動後の状態）を検知する。なお、センサ３０で検知された障害物４００ｂは、表示範囲ＤＲＡＮ外でカメラ２０Ａの撮影範囲ＣＲＡＮ内に存在する。
For example, when the
このため、描画部１５０Ａは、画像ＩＭＧａから抽出した障害物４００ｂの画像を画像ＢＩＭＧｂとしてモニタ４０に表示する。すなわち、障害物４００ｂが映っていない画像ＩＭＧｂと障害物４００ｂが映っている画像ＢＩＭＧｂとを含む画像ＩＭＧｃ（ｂ）がモニタ４０に表示される。このように、画像処理装置５０Ｄは、表示範囲ＤＲＡＮ外に存在する障害物４００ｂがカメラ２０Ａの撮影範囲ＣＲＡＮ内に存在するとき、障害物４００の新しい画像ＢＩＭＧｂをモニタ４０に表示できる。
Therefore, the
なお、画像処理装置５０Ｄは、障害物４００ｂがカメラ２０Ａの撮影範囲ＣＲＡＮ内に存在するときには、障害物４００ｂの過去の画像ＢＩＭＧａが保持部１４０に保持されているか否かに拘わらず、障害物４００ｂの新しい画像ＢＩＭＧｂをモニタ４０に表示できる。
Note that when the
以上、図１８および図１９に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。
As described above, also in the embodiment shown in FIGS. 18 and 19, the same effect as that of the embodiment shown in FIGS. 1 to 13 can be obtained. For example, in this embodiment, reduction of information (for example, information around the vehicle 300) transmitted to the user of the
さらに、この実施形態では、描画部１５０Ａは、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＩＭＧａに存在するとき、画像ＩＭＧａから抽出した障害物４００の画像を、モニタ４０に表示する。すなわち、この実施形態では、センサ３０で検知されている障害物４００が撮影範囲ＣＲＡＮ内に存在する限り、障害物４００の新しい画像をモニタ４０に表示できる。これにより、この実施形態では、障害物４００の新しい画像を運転者に提供できる。また、この実施形態では、障害物４００の過去の画像ＢＩＭＧａが保持部１４０に保持されていない場合でも、センサ３０で検知されている障害物４００が撮影範囲ＣＲＡＮ内に存在するときには、障害物４００の新しい画像をモニタ４０に表示できる。
Further, in this embodiment, the
図２０は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０では、図１に示したシステム１０にサブカメラ２２が追加されている。さらに、この実施形態のシステム１０は、図１に示した画像処理装置５０に保持部１４２が追加された画像処理装置５０Ｅを、画像処理装置５０の代わりに有している。また、画像処理装置５０Ｅは、図１に示した判定部１２０および描画部１５０の代わりに、判定部１２０Ｂおよび描画部１５０Ｂを有している。システム１０および画像処理装置５０Ｅのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図１９で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。
FIG. 20 shows another embodiment of the image processing apparatus and system. In the
画像処理装置５０Ｅは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｅの動作を実行させてもよい。
The
システム１０は、例えば、カメラ２０、サブカメラ２２、センサ３０、モニタ４０および画像処理装置５０Ｅを有している。例えば、サブカメラ２２は、カメラ２０の撮影範囲ＣＲＡＮ外を撮影できるように、車両３００の側面に配置される。サブカメラ２２で撮影された画像ＳＩＭＧａは、画像処理装置５０Ｅに転送される。したがって、画像処理装置５０Ｅは、カメラ２０で撮影された画像ＩＭＧａとサブカメラ２２で撮影された画像ＳＩＭＧａとセンサ３０の検知結果ＩＮＦａとを受ける。そして、画像処理装置５０Ｅは、画像ＩＭＧａ、ＳＩＭＧａ、検知結果ＩＮＦａ等に基づいて生成した画像ＩＭＧｃをモニタ４０に表示する。
The
画像処理装置５０Ｅは、例えば、保持部１００、１４０、１４２、１６０、生成部１１０、判定部１２０Ｂ、抽出部１３０および描画部１５０Ｂを有している。保持部１４２は、サブカメラ２２で撮影された画像ＳＩＭＧａを順次保持する。
The
判定部１２０Ｂは、センサ３０で検知された障害物４００が表示範囲ＤＲＡＮ内に存在しないとき、障害物４００がサブカメラ２２の撮影範囲に存在するか否かを判定する。すなわち、判定部１２０Ｂは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在しないとき、障害物４００が画像ＳＩＭＧａに存在するか否かを判定する。
The
なお、判定部１２０Ｂの動作は、画像ＩＭＧｂに存在しない障害物４００が画像ＳＩＭＧａに存在するか否かを判定することを除いて、図１に示した判定部１２０と同様である。例えば、判定部１２０Ｂは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在するとき、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定する。
The operation of the
判定部１２０Ｂの判定結果ＩＮＦｃ、ＩＮＦｂ３は、例えば、抽出部１３０および描画部１５０Ｂにそれぞれ転送される。例えば、判定部１２０Ｂは、障害物４００が画像ＩＭＧｂの端に存在するか否かの判定結果ＩＮＦｃを抽出部１３０に転送する。また、例えば、判定部１２０Ｂは、障害物４００が画像ＩＭＧｂに存在するか否かの判定結果ＩＮＦｂ３を描画部１５０Ｂに転送する。なお、障害物４００が画像ＩＭＧｂに存在しないことを示す判定結果ＩＮＦｂ３には、障害物４００が画像ＳＩＭＧａに存在するか否かの判定結果も含まれる。
The determination results INFc and INFb3 of the
描画部１５０Ｂは、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在せず、かつ、センサ３０により検知されている障害物４００が画像ＳＩＭＧａに存在するとき、画像ＳＩＭＧａから障害物４００の画像を抽出する。そして、描画部１５０Ｂは、画像ＳＩＭＧａから抽出した障害物４００の画像を、モニタ４０に表示する障害物４００の画像ＢＩＭＧａとして使用する。
When the
すなわち、描画部１５０Ｂは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＳＩＭＧａに存在するとき、画像ＳＩＭＧａから抽出した障害物４００の画像を、画像ＢＩＭＧｂとして保持部１６０に保持する。
That is, the
例えば、描画部１５０Ｂは、障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＳＩＭＧａに存在することを示す判定結果ＩＮＦｂ３を判定部１２０Ｂから受けたとき、保持部１４２に保持されている画像ＳＩＭＧａを読み出す。そして、描画部１５０Ｂは、センサ３０で検知された障害物４００の範囲に対応する画像を画像ＳＩＭＧａから抽出し、抽出した障害物４００の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。これにより、障害物４００の新しい画像がモニタ４０に表示される。
For example, the
描画部１５０Ｂの動作は、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＳＩＭＧａに存在するときの動作を除いて、図１に示した描画部１５０と同様である。
The
なお、システム１０の構成および動作は、この例に限定されない。また、画像処理装置５０Ｅの構成および動作は、この例に限定されない。例えば、描画部１５０Ｂは、障害物４００の画像ＢＩＭＧａが保持部１４０に保持されているときには、障害物４００が画像ＳＩＭＧａに存在するか否かに拘わらず、保持部１４０に保持されている画像ＢＩＭＧａを、画像ＢＩＭＧｂとして保持部１６０に保持してもよい。あるいは、描画部１５０Ｂは、画像ＳＩＭＧａから抽出した障害物４００の画像を、画像ＢＩＭＧａとして保持部１４０に保持してもよい。
The configuration and operation of the
図２１は、カメラ２０の撮影範囲ＣＲＡＮとサブカメラ２２の撮影範囲ＣＲＡＮ２とセンサ３０の検知範囲ＳＲＡＮの一例を示している。例えば、自動車の左右のサイドミラーの代わりに、２つのシステム１０（カメラ２０、サブカメラ２２、センサ３０、モニタ４０および画像処理装置５０Ｅ）が車両３００に搭載されている。
FIG. 21 shows an example of the shooting range CRAN of the
２つのカメラ２０は、車両３００の右側面および左側面にそれぞれ配置されている。図２１の例では、カメラ２０の撮影範囲ＣＲＡＮは、表示範囲ＤＲＡＮと同じである。すなわち、カメラ２０で撮影された画像ＩＭＧａがモニタ４０に表示される。２つのセンサ３０は、車両３００の右側面および左側面にそれぞれ配置されている。この実施形態では、センサ３０の検知範囲ＳＲＡＮは、カメラ２０の撮影範囲ＣＲＡＮより広い。したがって、センサ３０は、カメラ２０の撮影範囲ＣＲＡＮの外側に存在する物体（例えば、障害物）を検知できる。
The two
２つのサブカメラ２２は、車両３００の右側面および左側面にそれぞれ配置されている。例えば、サブカメラ２２は、カメラ２０の撮影範囲ＣＲＡＮ外を撮影できるように、車両３００の側面に配置される。すなわち、サブカメラ２２の撮影範囲ＣＲＡＮ２は、カメラ２０の撮影範囲ＣＲＡＮを補っている。これにより、画像処理装置５０Ｅは、センサ３０で検知された障害物４００がカメラ２０の撮影範囲ＣＲＡＮ内に存在しないときにも、障害物４００がサブカメラ２２の撮影範囲ＣＲＡＮ２内に存在する限り、障害物４００の新しい画像をモニタ４０に表示できる。
The two
カメラ２０、サブカメラ２２およびセンサ３０は、例えば、ＥＣＵに接続され、画像ＩＭＧａ、ＳＩＭＧａおよび検知結果ＩＮＦａをＥＣＵにそれぞれ転送する。なお、ＥＣＵは、図２０に示した画像処理装置５０Ｅを有している。また、ＥＣＵは、モニタ４０に接続され、画像ＩＭＧｃをモニタ４０に表示する。例えば、右側に配置されたモニタ４０は、車両３００の右側面のカメラ２０、サブカメラ２２およびセンサ３０からのデータ（画像ＩＭＧａ、ＳＩＭＧａ、検知結果ＩＮＦａ）に基づく画像ＩＭＧｃを表示する。また、左側に配置されたモニタ４０は、車両３００の左側面のカメラ２０、サブカメラ２２およびセンサ３０からのデータ（画像ＩＭＧａ、ＳＩＭＧａ、検知結果ＩＮＦａ）に基づく画像ＩＭＧｃを表示する。
The
以上、図２０および図２１に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。
As described above, also in the embodiment shown in FIGS. 20 and 21, the same effect as that of the embodiment shown in FIGS. 1 to 13 can be obtained. For example, in this embodiment, reduction of information (for example, information around the vehicle 300) transmitted to the user of the
さらに、この実施形態では、システム１０は、カメラ２０の撮影範囲ＣＲＡＮを補うサブカメラ２２を有している。サブカメラ２２は、例えば、撮影した画像ＳＩＭＧａを画像処理装置５０Ｅに順次転送する。また、描画部１５０Ｂは、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＳＩＭＧａに存在するとき、画像ＳＩＭＧａから抽出した障害物４００の画像を、モニタ４０に表示する。
Furthermore, in this embodiment, the
すなわち、この実施形態では、センサ３０で検知されている障害物４００がカメラ２０の撮影範囲ＣＲＡＮ内に存在しないときにも、障害物４００がサブカメラ２２の撮影範囲ＣＲＡＮ２内に存在する限り、障害物４００の新しい画像をモニタ４０に表示できる。これにより、この実施形態では、障害物４００の新しい画像を運転者に提供できる。また、この実施形態では、障害物４００の過去の画像ＢＩＭＧａが保持部１４０に保持されていない場合でも、センサ３０で検知されている障害物４００がサブカメラ２２の撮影範囲ＣＲＡＮ２内に存在するときには、障害物４００の新しい画像をモニタ４０に表示できる。
In other words, in this embodiment, even when the
図２２は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示した画像処理装置５０に算出部１２６が追加された画像処理装置５０Ｆを、画像処理装置５０の代わりに有している。また、画像処理装置５０Ｆは、外挿部１１４を含む生成部１１０Ｂを、図１に示した生成部１１０の代わりに有している。システム１０および画像処理装置５０Ｆのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図２１で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。
FIG. 22 shows another embodiment of the image processing apparatus and system. The
画像処理装置５０Ｆは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｆの動作を実行させてもよい。 The image processing device 50F may be realized only by hardware, or may be realized by controlling the hardware by software. For example, software such as a display program may cause the processor to execute the operation of the image processing device 50F.
画像処理装置５０Ｆは、例えば、保持部１００、１４０、１６０、生成部１１０Ｂ、判定部１２０、算出部１２６、抽出部１３０および描画部１５０を有している。判定部１２０は、例えば、障害物４００が画像ＩＭＧｂに存在するか否かの判定結果ＩＮＦｂを算出部１２６に転送する。なお、画像ＩＭＧｂは、図１等で説明したように、画像ＩＭＧａから抽出される表示範囲ＤＲＡＮの画像ＩＭＧｂである。カメラ２０の撮影範囲ＣＲＡＮと表示範囲ＤＲＡＮとが一致する場合、表示範囲ＤＲＡＮの画像ＩＭＧｂは、画像ＩＭＧａである。
The image processing apparatus 50F includes, for example, holding
算出部１２６は、例えば、障害物４００が画像ＩＭＧｂに存在しないことを示す判定結果ＩＮＦｂを受けたとき、モニタ４０の画面上の画像ＢＩＭＧｂ（障害物４００の画像ＢＩＭＧａや警告用の画像）の表示位置を算出する。そして、算出部１２６は、モニタ４０の画面上の画像ＢＩＭＧｂの表示位置等を示す情報ＰＩＮＦ１、ＰＩＮＦ２を描画部１５０および生成部１１０Ｂにそれぞれ転送する。
For example, when receiving the determination result INFb indicating that the
情報ＰＩＮＦ１は、例えば、画面上の画像ＢＩＭＧｂの表示位置を示す情報である。また、情報ＰＩＮＦ２は、例えば、空白領域、あるいは、画像ＢＩＭＧｂの表示領域を示す情報である。ここで、空白領域は、例えば、画像ＢＩＭＧｂおよび画像ＩＭＧｂのいずれも表示されない画面内の領域である。すなわち、空白領域は、表示範囲ＤＲＡＮ外に対応する画面上の領域から画像ＩＭＧｂの表示領域を除いた領域である。 The information PINF1 is information indicating the display position of the image BIMGb on the screen, for example. The information PINF2 is information indicating a blank area or a display area of the image BIMGb, for example. Here, the blank area is, for example, an area in the screen where neither the image BIMGb nor the image IMGb is displayed. That is, the blank area is an area obtained by removing the display area of the image IMGb from the area on the screen corresponding to the outside of the display range DRAN.
なお、障害物４００が画像ＩＭＧｂに存在する場合、例えば、算出部１２６は、障害物４００が画像ＩＭＧｂに存在することを示す情報ＰＩＮＦ１、ＰＩＮＦ２を描画部１５０および生成部１１０Ｂにそれぞれ転送する。
When the
例えば、算出部１２６は、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在しないとき、画像ＩＭＧｂに対する障害物４００の相対的な位置を算出する。なお、画像ＩＭＧｂに対する障害物４００の相対的な位置がモニタ４０の画面外である場合、算出部１２６は、画像ＢＩＭＧｂの表示位置をモニタ４０の画面内の位置に決定する。この場合、例えば、画像ＢＩＭＧｂの表示位置（モニタ４０の画面上の位置）は、予め設定された固定位置でもよいし、画像ＩＭＧａに対する障害物４００の相対的な位置に応じてモニタ４０の画面内で調整される位置でもよい。
For example, when the
描画部１５０は、例えば、算出部１２６からの情報ＰＩＮＦ１が示す表示位置に画像ＢＩＭＧｂが表示されるように、画像ＢＩＭＧｂを保持部１６０に保持する。すなわち、描画部１５０は、モニタ４０の画面が画像ＩＭＧｂより大きく、障害物４００の相対的な位置が画面内であるとき、画面上の障害物４００の相対的な位置に、障害物４００の画像ＢＩＭＧａを表示させる。
For example, the
例えば、描画部１５０は、障害物４００の画像ＢＩＭＧａが保持部１４０に保持されているとき、情報ＰＩＮＦ１が示す表示位置に画像ＢＩＭＧａが表示されるように、画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持部１６０に保持する。また、例えば、描画部１５０は、障害物４００の画像ＢＩＭＧａが保持部１４０に保持されていないとき、情報ＰＩＮＦ１が示す表示位置に警告用の画像が表示されるように、警告用の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。
For example, when the image BIMGa of the
生成部１１０Ｂは、例えば、外挿部１１４を有している。生成部１１０Ｂの動作は、外挿部１１４に関する動作を除いて、図１に示した生成部１１０と同様である。したがって、生成部１１０Ｂの外挿部１１４以外の動作については、詳細な説明を省略する。
The
外挿部１１４は、モニタ４０の画面が画像ＩＭＧｂより大きく、障害物４００の相対的な位置が画面内であるとき、画面のうち、画像ＩＭＧｂおよび障害物４００の画像ＢＩＭＧａのいずれも表示されない空白領域の画像を、画像ＩＭＧｂに基づいて生成する。例えば、外挿部１１４は、算出部１２６からの情報ＰＩＮＦ２が示す空白領域に表示する画像を、画像ＩＭＧｂを外挿して生成する。
When the screen of the
なお、外挿部１１４は、情報ＰＩＮＦ２が画像ＢＩＭＧｂの表示領域を示す情報である場合、情報ＰＩＮＦ２が示す画像ＢＩＭＧｂの表示領域と、画像ＩＭＧｂの表示領域とに基づいて、空白領域を算出してもよい。
When the information PINF2 is information indicating the display area of the image BIMGb, the
生成部１１０Ｂにより生成された画像ＩＭＧｂ３は、保持部１６０に保持される。例えば、生成部１１０Ｂは、画像ＩＭＧｂに対する障害物４００の相対的な位置がモニタ４０の画面内の場合、画像ＩＭＧｂを外挿して空白領域を埋めた画像ＩＭＧｂ３を、保持部１６０に保持する。また、例えば、生成部１１０Ｂは、画像ＩＭＧｂに対する障害物４００の相対的な位置がモニタ４０の画面外の場合、画像ＩＭＧｂを画像ＩＭＧｂ３として保持部１６０に保持する。なお、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在するときにも、生成部１１０Ｂは、画像ＩＭＧｂを画像ＩＭＧｂ３として保持部１６０に保持する。
The image IMGb3 generated by the
これにより、保持部１６０には、画像ＩＭＧｂ３を含む画像ＩＭＧｃ２が保持される。なお、保持部１６０に画像ＢＩＭＧｂが保持されている場合、画像ＩＭＧｃ２は、画像ＩＭＧｂ３および画像ＢＩＭＧｂを含む画像である。
As a result, the holding
図２３は、表示範囲ＤＲＡＮの画像ＩＭＧｂを外挿して空白領域ＥＡＲＥに画像を表示する処理の一例を示している。モニタ４０（ａ）は、画像ＩＭＧｂ、ＢＩＭＧｂおよび空白領域ＥＡＲＥのモニタ４０の画面上の位置関係を示している。なお、モニタ４０の画面に表示される画像は、画像ＩＭＧｂ外の障害物４００の相対的な位置が画面内である場合、モニタ４０（ｂ）に示すように、空白領域ＥＡＲＥが埋められた画像ＩＭＧｃ２である。モニタ４０（ｂ）は、画像ＩＭＧｂを外挿して空白領域ＥＡＲＥを埋めた画像ＩＭＧｂ３と画像ＢＩＭＧｂとを含む画像ＩＭＧｃ２が表示されたモニタ４０の画面を示している。
FIG. 23 shows an example of a process for extrapolating the image IMGb in the display range DRAN and displaying the image in the blank area EARE. The monitor 40 (a) shows the positional relationship between the images IMGb and BIMGb and the blank area EARE on the
図２３の符号ＰＸ（ＰＸｏ、ＰＸｅ）は、モニタ４０の画面内の画素を示している。また、画素ＰＸｏ（ＰＸｏ１、ＰＸｏ２、ＰＸｏ３）は、画像ＩＭＧｂ内の画素ＰＸを示し、画素ＰＸｅ（ＰＸｅ１−ＰＸｅ７）は、空白領域ＥＡＲＥの画素ＰＸを示している。図２３では、着目する１つの画素ＰＸｅと消失点Ｐｄとを結ぶ直線（画面の端まで延長した線）上の画素ＰＸｅでは、同じ画像が連続すると仮定した場合の処理を説明する。なお、消失点Ｐｄは、例えば、車両走行時に画像が流れ込む中心の座標である。
A symbol PX (PXo, PXe) in FIG. 23 indicates a pixel in the screen of the
先ず、外挿部１１４は、カメラ２０の取り付け位置や向きに基づいて、画像が流れ込む中心の座標（消失点Ｐｄ）を算出する。例えば、外挿部１１４は、カメラ２０の取り付け位置や向きを示す情報を判定部１２０から取得する。そして、外挿部１１４は、車両３００が直進する場合のカメラ２０の向きに対する移動方向等に基づいて、画像ＩＭＧａの消失点を算出する。そして、外挿部１１４は、画像ＩＭＧｂの表示領域および表示位置等に基づいて、モニタ４０の画面上での消失点Ｐｄを画像ＩＭＧａの消失点から算出する。
First, the
次に、外挿部１１４は、例えば、空白領域ＥＡＲＥから１つの画素ＰＸｅを選択し、選択した画素ＰＸｅ（例えば、画素ＰＸｅ１）と消失点Ｐｄとを結ぶ直線（図２３の破線の矢印）を算出する。以下、画素ＰＸｅ１が選択されたものとして説明する。
Next, the
外挿部１１４は、画素ＰＸｅ１と消失点Ｐｄとを結ぶ直線と、画像ＩＭＧｂの境界とが交わる箇所を算出する。そして、外挿部１１４は、直線と画像ＩＭＧｂの境界とが交わる箇所の画素ＰＸｏ１の色を取得する。また、外挿部１１４は、直線と画像ＩＭＧｂの境界とが交わる箇所の画素ＰＸｏ１から消失点Ｐｄに向かって数個の画素ＰＸｏ（例えば、画素ＰＸｏ２、ＰＸｏ３）の色を取得する。
The
そして、外挿部１１４は、取得した数個の画素ＰＸｏ１−ＰＸｏ３の色の平均を算出する。外挿部１１４は、画素ＰＸｏ１−ＰＸｏ３の色を平均した色を、画素ＰＸｅ１の色として描画する。これにより、画素ＰＸｏ１−ＰＸｏ３の色を平均した色が、モニタ４０の画素ＰＸｅ１に表示される。なお、この実施形態では、ノイズ対策として、画素ＰＸｏ１−ＰＸｏ３の色を平均している。したがって、ノイズ対策を別に実行する場合等では、外挿部１１４は、数個の画素ＰＸｏの色の平均を使用せずに、画素ＰＸｏ１の色を画素ＰＸｅ１の色として描画してもよい。
Then, the
画素ＰＸｅ１に対して実行された処理は、空白領域ＥＡＲＥの全ての画素ＰＸｅが描画されるまで、空白領域ＥＡＲＥの各画素ＰＸｅに対して実行される。これにより、空白領域ＥＡＲＥが埋められた画像ＩＭＧｃ２がモニタ４０に表示される。この結果、この実施形態では、空白領域ＥＡＲＥの画像が欠落することに対する運転者の違和感を緩和できる。
The process executed for the pixel PXe1 is executed for each pixel PXe in the blank area EARE until all the pixels PXe in the blank area EARE are drawn. Thus, the image IMGc2 in which the blank area EARE is filled is displayed on the
なお、システム１０の動作および構成は、この例に限定されない。また、画像処理装置５０Ｆの構成および動作は、この例に限定されない。例えば、画像処理装置５０Ｆは、生成部１１０Ｂの外部に外挿部１１４を有してもよい。また、外挿部１１４は、画像ＢＩＭＧｂが表示されない画面内の領域を外挿して埋めてもよい。この場合、描画部１５０は、例えば、画像ＩＭＧｂ３が保持部１６０に保持された後に、算出部１２６からの情報ＰＩＮＦ１が示す表示位置に画像ＢＩＭＧｂを上書きする。
The operation and configuration of the
また、着目する１つの画素ＰＸｅと消失点Ｐｄとを結ぶ直線上の画素ＰＸｅでは、同じ画像が連続すると仮定した場合、外挿部１１４は、直線上の１つの画素ＰＸｅの色を算出し、算出した色を直線上の残りの画素ＰＸｅの色としてもよい。
In addition, in the pixel PXe on the straight line connecting the one pixel PXe of interest and the vanishing point Pd, when the same image is assumed to be continuous, the
あるいは、画像処理装置５０Ｆは、画像ＩＭＧｂの境界を示す枠（例えば、画像ＩＭＧｃ２内の破線の枠）を画像ＩＭＧｃ２に重畳してモニタ４０に表示してもよい。例えば、画像処理装置５０Ｆは、図１７に示した枠描画部１１２と同様のモジュールを有してもよい。
Alternatively, the image processing device 50F may display a frame indicating the boundary of the image IMGb (for example, a broken line frame in the image IMGc2) on the
また、外挿部１１４は、カメラ２０の撮影範囲ＣＲＡＮに対応する画角が表示範囲ＤＲＡＮに対応する画角より大きい場合、空白領域ＥＡＲＥと重なる部分の画像ＩＭＧａを、外挿の画像として使用してもよい。この場合、画像ＩＭＧａと重ならない空白領域ＥＡＲＥの部分の色が、画像ＩＭＧａあるいは画像ＩＭＧｂを外挿することにより算出される。
Further, when the angle of view corresponding to the shooting range CRAN of the
以上、図２２および図２３に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。
As described above, also in the embodiment shown in FIGS. 22 and 23, the same effect as the embodiment shown in FIGS. 1 to 13 can be obtained. For example, in this embodiment, reduction of information (for example, information around the vehicle 300) transmitted to the user of the
さらに、この実施形態では、外挿部１１４は、障害物４００の相対的な位置がモニタ４０の画面内であるとき、空白領域ＥＡＲＥの画像を画像ＩＭＧｂに基づいて生成する。これにより、この実施形態では、空白領域ＥＡＲＥを埋めた画像ＩＭＧｃ２をモニタ４０に表示できる。この結果、この実施形態では、空白領域ＥＡＲＥの画像が欠落することに対する運転者の違和感を緩和できる。
Furthermore, in this embodiment, the
図２４は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示した画像処理装置５０の代わりに、画像処理装置５０Ｇを有している。また、画像処理装置５０Ｇは、図１に示した判定部１２０、抽出部１３０、保持部１４０および描画部１５０の代わりに、判定部１２０Ｃ、抽出部１３０Ａ、保持部１４０Ａおよび描画部１５０Ｃを有している。システム１０および画像処理装置５０Ｇのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図２３で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。
FIG. 24 shows another embodiment of the image processing apparatus and system. The
画像処理装置５０Ｇは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｇの動作を実行させてもよい。 The image processing apparatus 50G may be realized only by hardware, or may be realized by controlling the hardware by software. For example, software such as a display program may cause the processor to execute the operation of the image processing device 50G.
画像処理装置５０Ｇは、例えば、保持部１００、１４０Ａ、１６０、生成部１１０、判定部１２０Ｃ、抽出部１３０Ａおよび描画部１５０Ｃを有している。判定部１２０Ｃ、抽出部１３０Ａ、保持部１４０Ａおよび描画部１５０Ｃは、複数の障害物４００に対して処理を実行できる。判定部１２０Ｃ、抽出部１３０Ａ、保持部１４０Ａおよび描画部１５０Ｃのその他の動作は、図１に示した判定部１２０、抽出部１３０、保持部１４０および描画部１５０と同様である。
The image processing device 50G includes, for example, holding
例えば、判定部１２０Ｃは、センサ３０により検知されている障害物４００が複数の場合、複数の障害物４００のそれぞれに対して、障害物４００が画像ＩＭＧｂに存在するか否かを判定する。そして、判定部１２０Ｃは、画像ＩＭＧｂに存在する障害物４００に対して、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定する。
For example, when there are a plurality of
また、判定部１２０Ｃは、複数の障害物４００のそれぞれに対して、追跡中の障害物４００か否かを判定する。そして、判定部１２０Ｃは、新たな障害物４００（追跡中の障害物４００と異なる障害物４００）と判定した障害物４００に対しては、識別情報を付与する。このように、画像処理装置５０Ｇは、識別情報を用いて、複数の障害物４００を管理する。
In addition, the
抽出部１３０Ａは、画像ＩＭＧｂの端に存在すると判定されたそれぞれの障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。なお、各障害物４００の画像ＢＩＭＧａも各障害物４００に付与された識別情報により管理される。保持部１４０Ａは、抽出部１３０Ａで抽出されたそれぞれの障害物４００の画像ＢＩＭＧａを保持する。すなわち、保持部１４０Ａは、複数の画像ＢＩＭＧａを保持できる。
130 A of extraction parts extract image BIMGa of each
描画部１５０Ｃは、例えば、画像ＩＭＧｂに存在しないと判定された障害物４００に対応する障害物４００の画像ＢＩＭＧａが保持部１４０Ａに保持されているか否かを、障害物４００に付与された識別情報に基づいて判定する。そして、描画部１５０Ｃは、画像ＩＭＧｂに存在しないと判定された障害物４００に対応し、かつ、保持部１４０Ａに保持されている障害物４００の画像ＢＩＭＧａを、モニタ４０に表示する画像ＩＭＧｃに追加する。また、例えば、描画部１５０Ｃは、画像ＩＭＧｂに存在しないと判定された障害物４００の少なくとも１つが、画像ＢＩＭＧａが保持部１４０Ａに保持されていない障害物４００である場合、モニタ４０に表示する画像ＩＭＧｃに警告用の画像を追加してもよい。
For example, the drawing unit 150C determines whether or not the image BIMGa of the
なお、システム１０の動作および構成は、この例に限定されない。また、画像処理装置５０Ｇの構成および動作は、この例に限定されない。例えば、図１４から図２３で説明した画像処理装置５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆに、複数の障害物４００を管理する機能を追加してもよい。
The operation and configuration of the
以上、図２４に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。
As described above, also in the embodiment shown in FIG. 24, the same effects as those in the embodiment shown in FIGS. 1 to 13 can be obtained. For example, in this embodiment, reduction of information (for example, information around the vehicle 300) transmitted to the user of the
さらに、この実施形態では、センサ３０により検知されている障害物４００が複数の場合でも、判定部１２０Ｃ、抽出部１３０Ａ、保持部１４０Ａおよび描画部１５０Ｃは、複数の障害物４００に対して処理を実行できる。これにより、この実施形態では、センサ３０で複数の障害物４００が検知された場合でも、表示範囲ＤＲＡＮ外の複数の障害物４００に対応する画像ＢＩＭＧｂをモニタ４０に表示できる。これにより、この実施形態では、複数の障害物４００が車両３００の周辺に存在することを運転者に伝えることができる。
Furthermore, in this embodiment, even when there are a plurality of
図２５は、画像処理装置のハードウエア構成の一例を示している。なお、図１から図２４で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。 FIG. 25 shows an example of the hardware configuration of the image processing apparatus. Elements similar to those described in FIGS. 1 to 24 are denoted by the same reference numerals, and detailed description thereof will be omitted.
コンピュータ装置ＣＰは、プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦと、光学ドライブ装置ＯＤＲとを有している。プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦと、光学ドライブ装置ＯＤＲとは、バスを介して互いに接続されている。 The computer device CP includes a processor PU, a memory MEM, a hard disk device HDD, an input / output interface IF, and an optical drive device ODR. The processor PU, the memory MEM, the hard disk device HDD, the input / output interface IF, and the optical drive device ODR are connected to each other via a bus.
プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦとは、例えば、画像処理装置５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆ、５０Ｇのいずれかの機能を実現する。例えば、プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦとは、ＥＣＵ内に配置されている。
The processor PU, the memory MEM, the hard disk device HDD, and the input / output interface IF realize, for example, any of the functions of the
光学ドライブ装置ＯＤＲは、光ディスク等のリムーバブルディスクＤＩＳを装着可能であり、装着したリムーバブルディスクＤＩＳに記録された情報の読み出しおよび記録を行う。 The optical drive device ODR can be mounted with a removable disk DIS such as an optical disk, and reads and records information recorded on the mounted removable disk DIS.
コンピュータ装置ＣＰは、入出力インタフェースＩＦを介してカメラ２０およびセンサ３０に接続されている。これにより、プロセッサＰＵは、入出力インタフェースＩＦを介して、カメラ２０で撮影された画像ＩＭＧａやセンサ３０の検知結果ＩＮＦａを受け取ることができる。なお、プロセッサＰＵ等が画像処理装置５０Ｅの機能を実現する場合、図２０に示したサブカメラ２２も入出力インタフェースＩＦを介してコンピュータ装置ＣＰに接続される。
The computer device CP is connected to the
メモリＭＥＭは、例えば、コンピュータ装置ＣＰのオペレーティングシステムを格納している。また、メモリＭＥＭは、例えば、例えば、画像処理装置５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆ、５０Ｇのいずれかの動作をプロセッサＰＵが実行するための表示プログラム等のアプリケーションプログラムを格納している。
The memory MEM stores, for example, the operating system of the computer device CP. Further, the memory MEM stores application programs such as a display program for the processor PU to execute any of the operations of the
表示プログラム等のアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスクＤＩＳに記録して頒布することができる。例えば、コンピュータ装置ＣＰは、表示プログラム等のアプリケーションプログラムを、リムーバブルディスクＤＩＳから光学ドライブ装置ＯＤＲを介して読み出し、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。また、コンピュータ装置ＣＰは、表示プログラム等のアプリケーションプログラムを、インターネット等のネットワークに接続する通信装置(図示せず)を介してダウンロードし、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。 An application program such as a display program can be recorded and distributed on a removable disk DIS such as an optical disk. For example, the computer device CP may read an application program such as a display program from the removable disk DIS via the optical drive device ODR and store it in the memory MEM or the hard disk device HDD. Further, the computer device CP may download an application program such as a display program via a communication device (not shown) connected to a network such as the Internet and store it in the memory MEM or the hard disk device HDD.
画像処理装置のハードウエア構成は、この例に限定されない。例えば、コンピュータ装置ＣＰは、光学ドライブ装置ＯＤＲが省かれてもよい。 The hardware configuration of the image processing apparatus is not limited to this example. For example, the optical drive device ODR may be omitted from the computer device CP.
以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
カメラと物体を検知するセンサとからのデータを用いて、画像をモニタに表示する画像処理装置であって、
前記カメラで撮影された第１画像を保持する第１保持部と、
前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成する生成部と、
前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定する判定部と、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出する抽出部と、
前記抽出部で抽出された前記障害物の画像を保持する第２保持部と、
前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する描画部と
を備えていることを特徴とする画像処理装置。
（付記２）
付記１に記載の画像処理装置において、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出するか否かを前記第２画像内の前記障害物の大きさに基づいて判定する第２判定部を備えていることを特徴とする画像処理装置。
（付記３）
付記１または付記２に記載の画像処理装置において、
前記カメラの画角が前記第２画像に反映されている表示範囲の画角より大きく、かつ、前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定されたとき、前記表示範囲の画角を広くする調整部を備えていることを特徴とする画像処理装置。
（付記４）
付記３に記載の画像処理装置において、
前記表示範囲の画角を広くする場合、前記表示範囲の画角を広くする前の前記表示範囲を示す枠を前記表示範囲の画角を広くした前記第２画像内に表示する第２生成部を備えていることを特徴とする画像処理装置。
（付記５）
付記１または付記２に記載の画像処理装置において、
前記第１画像に反映されている撮影範囲は、前記第２画像に反映されている表示範囲より大きく、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第１画像に存在するとき、前記第１画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とする画像処理装置。
（付記６）
付記１または付記２に記載の画像処理装置において、
前記カメラとは別のカメラである第２カメラで撮影された第３画像を保持する第３保持部を備え、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第３画像に存在するとき、前記第３画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とする画像処理装置。
（付記７）
付記１または付記２に記載の画像処理装置において、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像および前記障害物の画像のいずれも表示されない領域の画像を、前記第２画像に基づいて生成する外挿部とを備え、
前記描画部は、前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面上の前記障害物の相対的な位置に、前記障害物の画像を表示させる
ことを特徴とする画像処理装置。
（付記８）
付記７に記載の画像処理装置において、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面に表示される前記第２画像の境界に枠を表示する第２生成部を備えていることを特徴とする画像処理装置。
（付記９）
付記１ないし付記８のいずれか１項に記載の画像処理装置において、
前記判定部は、前記センサにより検知されている前記障害物が複数の場合、前記複数の障害物のそれぞれに対して、前記障害物が前記第２画像に存在するか否かを判定し、前記第２画像に存在する前記障害物に対して、前記障害物が前記第２画像の端に存在するか否かを判定し、
前記抽出部は、前記第２画像の端に存在すると判定されたそれぞれの前記障害物の画像を前記第１画像から抽出し、
前記第２保持部は、前記抽出部で抽出されたそれぞれの前記障害物の画像を保持し、
前記描画部は、前記第２画像に存在しないと判定された前記障害物に対応し、かつ、前記第２保持部に保持されている前記障害物の画像を、前記モニタに表示する画像に追加する
ことを特徴とする画像処理装置。
（付記１０）
付記１または付記２に記載の画像処理装置において、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
前記第１画像に反映されている撮影範囲が前記モニタの画面以上であり、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像に反映される表示範囲の画角を前記画面に対応する画角まで広くする調整部と
を備えていることを特徴とする画像処理装置。
（付記１１）
カメラ、センサ、画像処理装置およびモニタを備え、
前記画像処理装置は、
前記カメラで撮影された第１画像を保持する第１保持部と、
前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成する生成部と、
前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定する判定部と、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出する抽出部と、
前記抽出部で抽出された前記障害物の画像を保持する第２保持部と、
前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する描画部と
を備えていることを特徴とするシステム。
（付記１２）
付記１１に記載のシステムにおいて、
前記画像処理装置は、前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出するか否かを前記第２画像内の前記障害物の大きさに基づいて判定する第２判定部を備えていることを特徴とするシステム。
（付記１３）
付記１１または付記１２に記載のシステムにおいて、
前記画像処理装置は、前記カメラの画角が前記第２画像に反映されている表示範囲の画角より大きく、かつ、前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定されたとき、前記表示範囲の画角を広くする調整部を備えていることを特徴とするシステム。
（付記１４）
付記１３に記載のシステムにおいて、
前記画像処理装置は、前記表示範囲の画角を広くする場合、前記表示範囲の画角を広くする前の前記表示範囲を示す枠を前記表示範囲の画角を広くした前記第２画像内に表示する第２生成部を備えていることを特徴とするシステム。
（付記１５）
付記１１または付記１２に記載のシステムにおいて、
前記第１画像に反映されている撮影範囲は、前記第２画像に反映されている表示範囲より大きく、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第１画像に存在するとき、前記第１画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とするシステム。
（付記１６）
付記１１または付記１２に記載のシステムにおいて、
前記カメラとは別のカメラである第２カメラを備え、
前記画像処理装置は、前記第２カメラで撮影された第３画像を保持する第３保持部を備え、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第３画像に存在するとき、前記第３画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とするシステム。
（付記１７）
付記１１または付記１２に記載のシステムにおいて、
前記画像処理装置は、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像および前記障害物の画像のいずれも表示されない領域の画像を、前記第２画像に基づいて生成する外挿部とを備え、
前記描画部は、前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面上の前記障害物の相対的な位置に、前記障害物の画像を表示させる
ことを特徴とするシステム。
（付記１８）
付記１７に記載のシステムにおいて、
前記画像処理装置は、前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面に表示される前記第２画像の境界に枠を表示する第２生成部を備えていることを特徴とするシステム。
（付記１９）
付記１１ないし付記１８のいずれか１項に記載のシステムにおいて、
前記判定部は、前記センサにより検知されている前記障害物が複数の場合、前記複数の障害物のそれぞれに対して、前記障害物が前記第２画像に存在するか否かを判定し、前記第２画像に存在する前記障害物に対して、前記障害物が前記第２画像の端に存在するか否かを判定し、
前記抽出部は、前記第２画像の端に存在すると判定されたそれぞれの前記障害物の画像を前記第１画像から抽出し、
前記第２保持部は、前記抽出部で抽出されたそれぞれの前記障害物の画像を保持し、
前記描画部は、前記第２画像に存在しないと判定された前記障害物に対応し、かつ、前記第２保持部に保持されている前記障害物の画像を、前記モニタに表示する画像に追加する
ことを特徴とするシステム。
（付記２０）
付記１１または付記１２に記載のシステムにおいて、
前記画像処理装置は、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
前記第１画像に反映されている撮影範囲が前記モニタの画面以上であり、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像に反映される表示範囲の画角を前記画面に対応する画角まで広くする調整部と
を備えていることを特徴とするシステム。
（付記２１）
カメラと物体を検知するセンサとからのデータを用いて画像をモニタに表示する処理をコンピュータに実行させる表示プログラムであって、
前記カメラで撮影された第１画像を保持し、
前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成し、
前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定し、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出し、
前記抽出部で抽出された前記障害物の画像を保持し、
前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する
処理をコンピュータに実行させることを特徴とする表示プログラム。
（付記２２）
付記２１に記載の表示プログラムにおいて、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出するか否かを前記第２画像内の前記障害物の大きさに基づいて判定する処理をコンピュータに実行させる表示プログラム。
（付記２３）
付記２１または付記２２に記載の表示プログラムにおいて、
前記カメラの画角が前記第２画像に反映されている表示範囲の画角より大きく、かつ、前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定されたとき、前記表示範囲の画角を広くする処理をコンピュータに実行させる表示プログラム。
（付記２４）
付記２３に記載の表示プログラムにおいて、
前記表示範囲の画角を広くする場合、前記表示範囲の画角を広くする前の前記表示範囲を示す枠を前記表示範囲の画角を広くした前記第２画像内に表示する処理をコンピュータに実行させる表示プログラム。
（付記２５）
付記２１または付記２２に記載の表示プログラムにおいて、
前記第１画像に反映されている撮影範囲が、前記第２画像に反映されている表示範囲より大きい場合、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第１画像に存在するとき、前記第１画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する処理をコンピュータに実行させる表示プログラム。
（付記２６）
付記２１または付記２２に記載の表示プログラムにおいて、
前記カメラとは別のカメラである第２カメラで撮影された第３画像を保持し、
前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第３画像に存在するとき、前記第３画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
処理をコンピュータに実行させる表示プログラム。
（付記２７）
付記２１または付記２２に記載の表示プログラムにおいて、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出し、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像および前記障害物の画像のいずれも表示されない領域の画像を、前記第２画像に基づいて生成し、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面上の前記障害物の相対的な位置に、前記障害物の画像を表示させる
処理をコンピュータに実行させる表示プログラム。
（付記２８）
付記２７に記載の表示プログラムにおいて、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面に表示される前記第２画像の境界に枠を表示する処理をコンピュータに実行させる表示プログラム。
（付記２９）
付記２１ないし付記２８のいずれか１項に記載の表示プログラムにおいて、
前記センサにより検知されている前記障害物が複数の場合、前記複数の障害物のそれぞれに対して、前記障害物が前記第２画像に存在するか否かを判定し、前記第２画像に存在する前記障害物に対して、前記障害物が前記第２画像の端に存在するか否かを判定し、
前記第２画像の端に存在すると判定されたそれぞれの前記障害物の画像を前記第１画像から抽出し、
前記抽出部で抽出されたそれぞれの前記障害物の画像を保持し、
前記第２画像に存在しないと判定された前記障害物に対応し、かつ、前記第２保持部に保持されている前記障害物の画像を、前記モニタに表示する画像に追加する
処理をコンピュータに実行させる表示プログラム。
（付記３０）
付記２１または付記２２に記載の表示プログラムにおいて、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出し、
前記第１画像に反映されている撮影範囲が前記モニタの画面以上であり、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像に反映される表示範囲の画角を前記画面に対応する画角まで広くする
処理をコンピュータに実行させる表示プログラム。
The invention described in the above embodiments is organized and disclosed as an appendix.
(Appendix 1)
An image processing apparatus that displays an image on a monitor using data from a camera and a sensor that detects an object,
A first holding unit for holding a first image taken by the camera;
A generating unit that generates a second image to be displayed on the monitor from the first image held in the first holding unit;
The detection result of the sensor is received, it is determined whether or not the obstacle that is the object detected by the sensor exists in the second image, and when the obstacle exists in the second image, the obstacle A determination unit for determining whether an object is present at an end of the second image;
An extraction unit that extracts an image of the obstacle from the first image when it is determined that the obstacle exists at an edge of the second image;
A second holding unit that holds an image of the obstacle extracted by the extraction unit;
When it is determined that the obstacle detected by the sensor does not exist in the second image and the image of the obstacle is held in the second holding unit, the image displayed on the monitor An image processing apparatus comprising: a drawing unit that adds an image of an obstacle.
(Appendix 2)
In the image processing apparatus according to
When it is determined that the obstacle is present at the edge of the second image, whether or not the obstacle image is extracted from the first image is determined based on the size of the obstacle in the second image. An image processing apparatus comprising a second determination unit for determining.
(Appendix 3)
In the image processing apparatus according to
When it is determined that the angle of view of the camera is larger than the angle of view of the display range reflected in the second image and the obstacle detected by the sensor does not exist in the second image, An image processing apparatus comprising an adjustment unit that widens the angle of view of a display range.
(Appendix 4)
In the image processing device according to attachment 3,
When widening the angle of view of the display range, a second generation unit that displays a frame indicating the display range before widening the angle of view of the display range in the second image with the angle of view of the display range widened An image processing apparatus comprising:
(Appendix 5)
In the image processing apparatus according to
The shooting range reflected in the first image is larger than the display range reflected in the second image,
When the obstacle detected by the sensor does not exist in the second image and the obstacle detected by the sensor exists in the first image, the drawing unit An image processing apparatus, wherein an image of the obstacle is extracted from an image, and the extracted image of the obstacle is used as an image of the obstacle displayed on the monitor.
(Appendix 6)
In the image processing apparatus according to
A third holding unit for holding a third image taken by a second camera which is a camera different from the camera;
When the obstacle detected by the sensor does not exist in the second image and the obstacle detected by the sensor exists in the third image, the drawing unit An image processing apparatus, wherein an image of the obstacle is extracted from an image, and the extracted image of the obstacle is used as an image of the obstacle displayed on the monitor.
(Appendix 7)
In the image processing apparatus according to
A calculation unit that calculates a relative position of the obstacle with respect to the second image when the obstacle detected by the sensor does not exist in the second image;
When the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen, an image of an area in which neither the second image nor the obstacle image is displayed An extrapolation unit that generates based on two images,
When the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen, the drawing unit is arranged at the relative position of the obstacle on the screen. An image processing apparatus for displaying an image.
(Appendix 8)
In the image processing device according to attachment 7,
A second generator for displaying a frame at the boundary of the second image displayed on the screen when the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen; An image processing apparatus comprising:
(Appendix 9)
In the image processing device according to any one of
The determination unit determines whether or not the obstacle exists in the second image for each of the plurality of obstacles when the obstacle detected by the sensor is plural, For the obstacle present in the second image, determine whether the obstacle is present at the end of the second image,
The extraction unit extracts, from the first image, images of the respective obstacles determined to be present at the end of the second image,
The second holding unit holds an image of each obstacle extracted by the extraction unit,
The drawing unit adds an image of the obstacle corresponding to the obstacle determined not to exist in the second image and held in the second holding unit to an image displayed on the monitor An image processing apparatus.
(Appendix 10)
In the image processing apparatus according to
A calculation unit that calculates a relative position of the obstacle with respect to the second image when the obstacle detected by the sensor does not exist in the second image;
When the shooting range reflected in the first image is greater than or equal to the screen of the monitor and the relative position of the obstacle is within the screen, the angle of view of the display range reflected in the second image is An image processing apparatus comprising: an adjustment unit that widens the angle of view corresponding to the screen.
(Appendix 11)
A camera, a sensor, an image processing device and a monitor;
The image processing apparatus includes:
A first holding unit for holding a first image taken by the camera;
A generating unit that generates a second image to be displayed on the monitor from the first image held in the first holding unit;
The detection result of the sensor is received, it is determined whether or not the obstacle that is the object detected by the sensor exists in the second image, and when the obstacle exists in the second image, the obstacle A determination unit for determining whether an object is present at an end of the second image;
An extraction unit that extracts an image of the obstacle from the first image when it is determined that the obstacle exists at an edge of the second image;
A second holding unit that holds an image of the obstacle extracted by the extraction unit;
When it is determined that the obstacle detected by the sensor does not exist in the second image and the image of the obstacle is held in the second holding unit, the image displayed on the monitor And a drawing unit for adding an image of an obstacle.
(Appendix 12)
In the system according to attachment 11,
The image processing apparatus determines whether or not to extract an image of the obstacle from the first image when it is determined that the obstacle is present at an end of the second image. A system comprising: a second determination unit that determines based on the size of the system.
(Appendix 13)
In the system according to appendix 11 or appendix 12,
When the angle of view of the camera is larger than the angle of view of the display range reflected in the second image and the obstacle detected by the sensor is not present in the second image, the image processing apparatus A system comprising: an adjustment unit that, when determined, widens the angle of view of the display range.
(Appendix 14)
In the system according to attachment 13,
When the image processing apparatus widens the angle of view of the display range, a frame indicating the display range prior to widening the angle of view of the display range is included in the second image with the angle of view of the display range widened. A system comprising a second generation unit for displaying.
(Appendix 15)
In the system according to appendix 11 or appendix 12,
The shooting range reflected in the first image is larger than the display range reflected in the second image,
When the obstacle detected by the sensor does not exist in the second image and the obstacle detected by the sensor exists in the first image, the drawing unit An image of the obstacle is extracted from an image, and the extracted image of the obstacle is used as an image of the obstacle displayed on the monitor.
(Appendix 16)
In the system according to appendix 11 or appendix 12,
A second camera which is a camera different from the camera;
The image processing apparatus includes a third holding unit that holds a third image captured by the second camera,
When the obstacle detected by the sensor does not exist in the second image and the obstacle detected by the sensor exists in the third image, the drawing unit An image of the obstacle is extracted from an image, and the extracted image of the obstacle is used as an image of the obstacle displayed on the monitor.
(Appendix 17)
In the system according to appendix 11 or appendix 12,
The image processing apparatus includes:
A calculation unit that calculates a relative position of the obstacle with respect to the second image when the obstacle detected by the sensor does not exist in the second image;
When the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen, an image of an area in which neither the second image nor the obstacle image is displayed An extrapolation unit that generates based on two images,
When the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen, the drawing unit is arranged at the relative position of the obstacle on the screen. A system characterized by displaying images of
(Appendix 18)
In the system according to appendix 17,
The image processing device displays a frame at the boundary of the second image displayed on the screen when the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen. The system characterized by including the 2nd production | generation part to do.
(Appendix 19)
In the system according to any one of appendix 11 to appendix 18,
The determination unit determines whether or not the obstacle exists in the second image for each of the plurality of obstacles when the obstacle detected by the sensor is plural, For the obstacle present in the second image, determine whether the obstacle is present at the end of the second image,
The extraction unit extracts, from the first image, images of the respective obstacles determined to be present at the end of the second image,
The second holding unit holds an image of each obstacle extracted by the extraction unit,
The drawing unit adds an image of the obstacle corresponding to the obstacle determined not to exist in the second image and held in the second holding unit to an image displayed on the monitor A system characterized by
(Appendix 20)
In the system according to appendix 11 or appendix 12,
The image processing apparatus includes:
A calculation unit that calculates a relative position of the obstacle with respect to the second image when the obstacle detected by the sensor does not exist in the second image;
When the shooting range reflected in the first image is greater than or equal to the screen of the monitor and the relative position of the obstacle is within the screen, the angle of view of the display range reflected in the second image is An adjustment unit that widens the angle of view corresponding to the screen.
(Appendix 21)
A display program for causing a computer to execute a process of displaying an image on a monitor using data from a camera and a sensor for detecting an object,
Holding a first image taken by the camera;
Generating a second image to be displayed on the monitor from the first image held in the first holding unit;
The detection result of the sensor is received, it is determined whether or not the obstacle that is the object detected by the sensor exists in the second image, and when the obstacle exists in the second image, the obstacle Determining whether an object is present at the edge of the second image;
When it is determined that the obstacle is present at the edge of the second image, the obstacle image is extracted from the first image;
Holding the image of the obstacle extracted by the extraction unit;
When it is determined that the obstacle detected by the sensor does not exist in the second image and the image of the obstacle is held in the second holding unit, the image displayed on the monitor A display program for causing a computer to execute processing for adding an image of an obstacle.
(Appendix 22)
In the display program described in
When it is determined that the obstacle is present at the edge of the second image, whether or not the obstacle image is extracted from the first image is determined based on the size of the obstacle in the second image. A display program that causes a computer to execute a determination process.
(Appendix 23)
In the display program described in
When it is determined that the angle of view of the camera is larger than the angle of view of the display range reflected in the second image and the obstacle detected by the sensor does not exist in the second image, A display program that causes a computer to execute processing for widening the angle of view of a display range.
(Appendix 24)
In the display program according to attachment 23,
When widening the angle of view of the display range, the computer displays a process of displaying a frame indicating the display range before the angle of view of the display range is widened in the second image with the angle of view of the display range widened. Display program to be executed.
(Appendix 25)
In the display program described in
If the shooting range reflected in the first image is larger than the display range reflected in the second image, the obstacle detected by the sensor does not exist in the second image, and When the obstacle detected by the sensor is present in the first image, the obstacle image is extracted from the first image, and the extracted obstacle image is displayed on the monitor. A display program that causes a computer to execute processing used as an image of a computer.
(Appendix 26)
In the display program described in
Holding a third image taken by a second camera which is a separate camera from the camera;
When the obstacle detected by the sensor does not exist in the second image and the obstacle detected by the sensor exists in the third image, the obstacle from the third image A display program for causing a computer to execute a process of extracting the image of the obstacle and using the extracted image of the obstacle as the obstacle image displayed on the monitor.
(Appendix 27)
In the display program described in
When the obstacle detected by the sensor is not present in the second image, the relative position of the obstacle with respect to the second image is calculated,
When the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen, an image of an area in which neither the second image nor the obstacle image is displayed Based on two images,
When the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen, the image of the obstacle is displayed at the relative position of the obstacle on the screen. A display program that causes a computer to execute processing.
(Appendix 28)
In the display program according to attachment 27,
When the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen, a process of displaying a frame at the boundary of the second image displayed on the screen is executed on the computer Display program to make.
(Appendix 29)
In the display program according to any one of
When there are a plurality of obstacles detected by the sensor, it is determined whether or not the obstacle exists in the second image for each of the plurality of obstacles, and exists in the second image. Determining whether the obstacle exists at an edge of the second image with respect to the obstacle;
Extracting each obstacle image determined to be present at an edge of the second image from the first image;
Holding an image of each of the obstacles extracted by the extraction unit;
A process for adding an image of the obstacle corresponding to the obstacle determined not to exist in the second image and held in the second holding unit to an image displayed on the monitor. Display program to be executed.
(Appendix 30)
In the display program described in
When the obstacle detected by the sensor is not present in the second image, the relative position of the obstacle with respect to the second image is calculated,
When the shooting range reflected in the first image is greater than or equal to the screen of the monitor and the relative position of the obstacle is within the screen, the angle of view of the display range reflected in the second image is A display program for causing a computer to execute processing for widening the angle of view corresponding to the screen.
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。 From the above detailed description, features and advantages of the embodiments will become apparent. This is intended to cover the features and advantages of the embodiments described above without departing from the spirit and scope of the claims. Also, any improvement and modification should be readily conceivable by those having ordinary knowledge in the art. Therefore, there is no intention to limit the scope of the inventive embodiments to those described above, and appropriate modifications and equivalents included in the scope disclosed in the embodiments can be used.
１０‥システム；２０、２０Ａ‥カメラ；２２‥サブカメラ；３０‥センサ；４０‥モニタ；５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆ、５０Ｇ‥画像処理装置；１００、１４０、１４０Ａ、１４２、１６０‥保持部；１１０、１１０Ａ、１１０Ｂ‥生成部；１１２‥枠描画部；１１４‥外挿部；１２０、１２０Ａ、１２０Ｂ‥判定部；１２２‥描画判定部；１２４‥調整部；１２６‥算出部；１３０、１３０Ａ‥抽出部；１５０、１５０Ａ、１５０Ｂ‥描画部；ＣＰ‥コンピュータ装置；ＤＩＳ‥リムーバブルディスク；ＨＤＤ‥ハードディスク装置；ＩＦ‥入出力インタフェース；ＭＥＭ‥メモリ；ＯＤＲ‥光学ドライブ装置；ＰＵ‥プロセッサ
DESCRIPTION OF
Claims (10)
前記カメラで撮影された第１画像を保持する第１保持部と、
前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成する生成部と、
前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定する判定部と、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出する抽出部と、
前記抽出部で抽出された前記障害物の画像を保持する第２保持部と、
前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する描画部と
を備えていることを特徴とする画像処理装置。 An image processing apparatus that displays an image on a monitor using data from a camera and a sensor that detects an object,
A first holding unit for holding a first image taken by the camera;
A generating unit that generates a second image to be displayed on the monitor from the first image held in the first holding unit;
The detection result of the sensor is received, it is determined whether or not the obstacle that is the object detected by the sensor exists in the second image, and when the obstacle exists in the second image, the obstacle A determination unit for determining whether an object is present at an end of the second image;
An extraction unit that extracts an image of the obstacle from the first image when it is determined that the obstacle exists at an edge of the second image;
A second holding unit that holds an image of the obstacle extracted by the extraction unit;
When it is determined that the obstacle detected by the sensor does not exist in the second image and the image of the obstacle is held in the second holding unit, the image displayed on the monitor An image processing apparatus comprising: a drawing unit that adds an image of an obstacle.
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出するか否かを前記第２画像内の前記障害物の大きさに基づいて判定する第２判定部を備えていることを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
When it is determined that the obstacle is present at the edge of the second image, whether or not the obstacle image is extracted from the first image is determined based on the size of the obstacle in the second image. An image processing apparatus comprising a second determination unit for determining.
前記カメラの画角が前記第２画像に反映されている表示範囲の画角より大きく、かつ、前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定されたとき、前記表示範囲の画角を広くする調整部を備えていることを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
When it is determined that the angle of view of the camera is larger than the angle of view of the display range reflected in the second image and the obstacle detected by the sensor does not exist in the second image, An image processing apparatus comprising an adjustment unit that widens the angle of view of a display range.
前記表示範囲の画角を広くする場合、前記表示範囲の画角を広くする前の前記表示範囲を示す枠を前記表示範囲の画角を広くした前記第２画像内に表示する第２生成部を備えていることを特徴とする画像処理装置。 The image processing apparatus according to claim 3.
When widening the angle of view of the display range, a second generation unit that displays a frame indicating the display range before widening the angle of view of the display range in the second image with the angle of view of the display range widened An image processing apparatus comprising:
前記第１画像に反映されている撮影範囲は、前記第２画像に反映されている表示範囲より大きく、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第１画像に存在するとき、前記第１画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The shooting range reflected in the first image is larger than the display range reflected in the second image,
When the obstacle detected by the sensor does not exist in the second image and the obstacle detected by the sensor exists in the first image, the drawing unit An image processing apparatus, wherein an image of the obstacle is extracted from an image, and the extracted image of the obstacle is used as an image of the obstacle displayed on the monitor.
前記カメラとは別のカメラである第２カメラで撮影された第３画像を保持する第３保持部を備え、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第３画像に存在するとき、前記第３画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
A third holding unit for holding a third image taken by a second camera which is a camera different from the camera;
When the obstacle detected by the sensor does not exist in the second image and the obstacle detected by the sensor exists in the third image, the drawing unit An image processing apparatus, wherein an image of the obstacle is extracted from an image, and the extracted image of the obstacle is used as an image of the obstacle displayed on the monitor.
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像および前記障害物の画像のいずれも表示されない領域の画像を、前記第２画像に基づいて生成する外挿部とを備え、
前記描画部は、前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面上の前記障害物の相対的な位置に、前記障害物の画像を表示させる
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
A calculation unit that calculates a relative position of the obstacle with respect to the second image when the obstacle detected by the sensor does not exist in the second image;
When the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen, an image of an area in which neither the second image nor the obstacle image is displayed An extrapolation unit that generates based on two images,
When the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen, the drawing unit is arranged at the relative position of the obstacle on the screen. An image processing apparatus for displaying an image.
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面に表示される前記第２画像の境界に枠を表示する第２生成部を備えていることを特徴とする画像処理装置。 The image processing apparatus according to claim 7.
A second generator for displaying a frame at the boundary of the second image displayed on the screen when the screen of the monitor is larger than the second image and the relative position of the obstacle is within the screen; An image processing apparatus comprising:
前記画像処理装置は、
前記カメラで撮影された第１画像を保持する第１保持部と、
前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成する生成部と、
前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定する判定部と、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出する抽出部と、
前記抽出部で抽出された前記障害物の画像を保持する第２保持部と、
前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する描画部と
を備えていることを特徴とするシステム。 A camera, a sensor, an image processing device and a monitor;
The image processing apparatus includes:
A first holding unit for holding a first image taken by the camera;
A generating unit that generates a second image to be displayed on the monitor from the first image held in the first holding unit;
The detection result of the sensor is received, it is determined whether or not the obstacle that is the object detected by the sensor exists in the second image, and when the obstacle exists in the second image, the obstacle A determination unit for determining whether an object is present at an end of the second image;
An extraction unit that extracts an image of the obstacle from the first image when it is determined that the obstacle exists at an edge of the second image;
A second holding unit that holds an image of the obstacle extracted by the extraction unit;
When it is determined that the obstacle detected by the sensor does not exist in the second image and the image of the obstacle is held in the second holding unit, the image displayed on the monitor And a drawing unit for adding an image of an obstacle.
前記カメラで撮影された第１画像を保持し、
前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成し、
前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定し、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出し、
前記抽出部で抽出された前記障害物の画像を保持し、
前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する
処理をコンピュータに実行させることを特徴とする表示プログラム。 A display program for causing a computer to execute a process of displaying an image on a monitor using data from a camera and a sensor for detecting an object,
Holding a first image taken by the camera;
Generating a second image to be displayed on the monitor from the first image held in the first holding unit;
The detection result of the sensor is received, it is determined whether or not the obstacle that is the object detected by the sensor exists in the second image, and when the obstacle exists in the second image, the obstacle Determining whether an object is present at the edge of the second image;
When it is determined that the obstacle is present at the edge of the second image, the obstacle image is extracted from the first image;
Holding the image of the obstacle extracted by the extraction unit;
When it is determined that the obstacle detected by the sensor does not exist in the second image and the image of the obstacle is held in the second holding unit, the image displayed on the monitor A display program for causing a computer to execute processing for adding an image of an obstacle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013190600A JP6194713B2 (en) | 2013-09-13 | 2013-09-13 | Image processing apparatus, system, and display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013190600A JP6194713B2 (en) | 2013-09-13 | 2013-09-13 | Image processing apparatus, system, and display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015056851A true JP2015056851A (en) | 2015-03-23 |
| JP6194713B2 JP6194713B2 (en) | 2017-09-13 |
Family
ID=52820899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013190600A Expired - Fee Related JP6194713B2 (en) | 2013-09-13 | 2013-09-13 | Image processing apparatus, system, and display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6194713B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017169706A1 (en) * | 2016-03-30 | 2017-10-05 | マツダ株式会社 | Electronic mirror control device |
| JP2019134371A (en) * | 2018-02-01 | 2019-08-08 | アルパイン株式会社 | Perimeter monitoring system |
| JP2020182122A (en) * | 2019-04-25 | 2020-11-05 | トヨタ自動車株式会社 | Event camera |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010130646A (en) * | 2008-12-01 | 2010-06-10 | Aisin Seiki Co Ltd | Vehicle periphery checking system |
| JP2012066615A (en) * | 2010-09-21 | 2012-04-05 | Aisin Seiki Co Ltd | Driving support system |
| JP2013005233A (en) * | 2011-06-16 | 2013-01-07 | Aisin Seiki Co Ltd | Vehicle periphery monitoring device |
-
2013
- 2013-09-13 JP JP2013190600A patent/JP6194713B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010130646A (en) * | 2008-12-01 | 2010-06-10 | Aisin Seiki Co Ltd | Vehicle periphery checking system |
| JP2012066615A (en) * | 2010-09-21 | 2012-04-05 | Aisin Seiki Co Ltd | Driving support system |
| JP2013005233A (en) * | 2011-06-16 | 2013-01-07 | Aisin Seiki Co Ltd | Vehicle periphery monitoring device |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017169706A1 (en) * | 2016-03-30 | 2017-10-05 | マツダ株式会社 | Electronic mirror control device |
| JP2017183974A (en) * | 2016-03-30 | 2017-10-05 | マツダ株式会社 | Electronic mirror control device |
| US10596969B2 (en) | 2016-03-30 | 2020-03-24 | Mazda Motor Corporation | Electronic mirror control device |
| JP2019134371A (en) * | 2018-02-01 | 2019-08-08 | アルパイン株式会社 | Perimeter monitoring system |
| JP7055555B2 (en) | 2018-02-01 | 2022-04-18 | アルパイン株式会社 | Peripheral monitoring system |
| JP2020182122A (en) * | 2019-04-25 | 2020-11-05 | トヨタ自動車株式会社 | Event camera |
| JP7298277B2 (en) | 2019-04-25 | 2023-06-27 | トヨタ自動車株式会社 | event camera |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6194713B2 (en) | 2017-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3160138B1 (en) | Image synthesis system, image synthesis device therefor, and image synthesis method | |
| JP5222597B2 (en) | Image processing apparatus and method, driving support system, and vehicle | |
| US7728879B2 (en) | Image processor and visual field support device | |
| KR101811157B1 (en) | Bowl-shaped imaging system | |
| EP2482557B1 (en) | Driving support display device | |
| JPWO2010137265A1 (en) | Vehicle perimeter monitoring device | |
| US9902341B2 (en) | Image processing apparatus and image processing method including area setting and perspective conversion | |
| KR101705558B1 (en) | Top view creating method for camera installed on vehicle and AVM system | |
| JP6194713B2 (en) | Image processing apparatus, system, and display program | |
| WO2016092967A1 (en) | Image generation device and image generation method | |
| US20230283898A1 (en) | Image processing device, image processing method and non-transitory computer-readable recording medium | |
| US11827148B2 (en) | Display control device, display control method, moving body, and storage medium | |
| CN112351242A (en) | Image processing apparatus and image processing method | |
| US20230232103A1 (en) | Image processing device, image display system, method, and program | |
| CN117774833A (en) | Method for installing movable equipment and camera device | |
| JP6293089B2 (en) | Rear monitor | |
| JP6032141B2 (en) | Travel road marking detection device and travel road marking detection method | |
| JP6999239B2 (en) | Image processing device and image processing method | |
| JP6187322B2 (en) | Image display device and image display system | |
| EP3896387A1 (en) | Image processing device | |
| JP5833887B2 (en) | Own vehicle movement estimation method and own vehicle movement estimation program | |
| US20230217108A1 (en) | Image processing device, image processing method and non-transitory computer-readable recording medium | |
| TWI834301B (en) | Vehicle surrounding image display method | |
| KR101762117B1 (en) | Top view creating method for camera installed on vehicle and AVM system | |
| JP2024007203A (en) | Camera system and control method thereof, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170731 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6194713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |