JP2015008453A - Camera device and warning method - Google Patents

Camera device and warning method Download PDF

Info

Publication number
JP2015008453A
JP2015008453A JP2014063796A JP2014063796A JP2015008453A JP 2015008453 A JP2015008453 A JP 2015008453A JP 2014063796 A JP2014063796 A JP 2014063796A JP 2014063796 A JP2014063796 A JP 2014063796A JP 2015008453 A JP2015008453 A JP 2015008453A
Authority
JP
Japan
Prior art keywords
image
obstacle
warning
display
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014063796A
Other languages
Japanese (ja)
Inventor
貴志 前川
Takashi Maekawa
貴志 前川
英敏 梅田
Hidetoshi Umeda
英敏 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2014063796A priority Critical patent/JP2015008453A/en
Publication of JP2015008453A publication Critical patent/JP2015008453A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To issue a warning without changing a view angle of a display image displayed on a display unit, if an obstacle exists outside the display range of the display unit.SOLUTION: A camera device 10 includes: a camera 11, attached to a predetermined position of a mobile body, for generating an imaged image outside the moving body; and a control unit 12 for determining a display image which is a partial image of the imaged image, detecting the obstacle existent in the imaged image, and generating different warnings between when the obstacle exists in a non-display image, which is an image excluding the display image from the imaged image, and when the obstacle exists in the display image.

Description

本発明は、移動体周辺に障害物が存在する場合に運転者に警告を行うカメラ装置および警告方法に関する。   The present invention relates to a camera device and a warning method for warning a driver when an obstacle exists around a moving body.

従来、車両に搭載された魚眼カメラにより撮影された魚眼画像を俯瞰画像に変換して表示するとともに、俯瞰画像から障害物を認識することにより、車両の周辺を監視する装置が知られている（例えば、特許文献１参照）。   2. Description of the Related Art Conventionally, there has been known an apparatus that monitors a periphery of a vehicle by converting a fisheye image captured by a fisheye camera mounted on the vehicle into a bird's-eye view image and displaying an obstacle from the bird's-eye view image. (For example, refer to Patent Document 1).

また、車両に搭載された広角カメラにより撮影された画像から障害物を検出し、障害物が検出されたと判定された場合、広角カメラにより撮影された画像の全体を表示し、障害物が検出されていないと判定された場合には、広角カメラの撮影画像に対して所定の処理を施した画像を表示することにより、車両周辺の画像を表示する装置が知られている（例えば、特許文献２参照）。   In addition, when an obstacle is detected from an image captured by a wide-angle camera mounted on the vehicle and it is determined that an obstacle has been detected, the entire image captured by the wide-angle camera is displayed and the obstacle is detected. An apparatus that displays an image around a vehicle by displaying an image obtained by performing a predetermined process on a captured image of a wide-angle camera when it is determined that the image is not present (for example, Patent Document 2). reference).

特開２００６−４８４５１号公報JP 2006-48451 A 特開２００８−２３８９２７号公報JP 2008-238927 A

しかし、特許文献１に記載の装置では、俯瞰画像から障害物を認識処理するので、表示部に表示される範囲内における障害物に対してしか警告を行うことはできなかった。また、特許文献２に記載の装置では、障害物を検出したときに表示画角ごと変更するので、障害物を検出した場合と検出しなかった場合とで頻繁に表示画角が変更されて煩わしいという問題があった。   However, in the apparatus described in Patent Document 1, since an obstacle is recognized from the overhead image, a warning can be given only to the obstacle within the range displayed on the display unit. Further, in the apparatus described in Patent Document 2, since the display angle of view is changed when an obstacle is detected, the display angle of view is frequently changed between when the obstacle is detected and when the obstacle is not detected. There was a problem.

かかる事情に鑑みてなされた本発明の目的は、表示部に表示される範囲外に障害物が存在する場合にも、表示部に表示される表示画像の画角を変更することなく警告を行うことが可能なカメラ装置および警告方法を提供することにある。   An object of the present invention made in view of such circumstances is to issue a warning without changing the angle of view of the display image displayed on the display unit even when an obstacle exists outside the range displayed on the display unit. It is an object of the present invention to provide a camera device and a warning method.

上記課題を解決するため、本発明に係るカメラ装置は、
移動体の所定位置に取り付けられ、移動体外部の撮像画像を生成するカメラと、
前記撮像画像の一部の画像である表示画像を決定するとともに、前記撮像画像内に存在する障害物を検出し、該障害物が前記撮像画像から前記表示画像を除いた画像である非表示画像内に存在する場合と、該障害物が前記表示画像内に存在する場合とで、異なる警告を発生させる制御部と、
を備えることを特徴とする。 In order to solve the above problems, a camera device according to the present invention provides:
A camera attached to a predetermined position of the moving body and generating a captured image outside the moving body;
A non-display image that determines a display image that is a part of the captured image, detects an obstacle present in the captured image, and is obtained by removing the display image from the captured image A control unit that generates different warnings depending on whether the obstacle exists in the display image, and
It is characterized by providing.

さらに、本発明に係るカメラ装置において、
前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用画像を前記表示画像に重畳させることを特徴とする。 Furthermore, in the camera device according to the present invention,
The control unit may superimpose different warning images on the display image depending on whether the obstacle is present in the non-display image and in the display image.

さらに、本発明に係るカメラ装置において、
前記制御部は、時間経過による前記移動体および前記障害物の相対距離の変化を判別し、前記相対距離の変化が相対距離の増加である場合と相対距離の減少である場合とで異なる警告を発生させることを特徴とする。 Furthermore, in the camera device according to the present invention,
The control unit determines a change in the relative distance between the moving object and the obstacle over time, and gives a different warning depending on whether the change in the relative distance is an increase in relative distance or a decrease in relative distance. It is characterized by generating.

さらに、本発明に係るカメラ装置において、
前記制御部は、前記カメラによる生成時期の異なる複数の撮像画像に基づいて、前記相対距離の変化を判別することを特徴とする。 Furthermore, in the camera device according to the present invention,
The control unit determines a change in the relative distance based on a plurality of captured images having different generation times by the camera.

さらに、本発明に係るカメラ装置において、
前記制御部は、前記移動体から取得する運転情報、および前記撮像画像における前記障害物の位置に基づいて、前記相対距離の変化を判別することを特徴とする。 Furthermore, in the camera device according to the present invention,
The control unit determines a change in the relative distance based on driving information acquired from the moving body and a position of the obstacle in the captured image.

さらに、本発明に係るカメラ装置において、
前記制御部は、
前記障害物が前記非表示画像内に存在する場合には、前記表示画像のうち該障害物が存在する方向の画像端に第１の警告用画像を重畳させ、
前記障害物が前記表示画像内に存在する場合には、該障害物の位置に応じて第２の警告用画像を重畳させることを特徴とする。 Furthermore, in the camera device according to the present invention,
The controller is
When the obstacle is present in the non-display image, the first warning image is superimposed on the image edge in the direction in which the obstacle exists in the display image,
When the obstacle exists in the display image, a second warning image is superimposed according to the position of the obstacle.

さらに、本発明に係るカメラ装置において、
前記制御部は、
前記障害物が前記非表示画像内に存在する場合には、前記表示画像のうち該障害物が存在する方向の画像端または画像隅に第１の警告用画像を重畳させ、
前記障害物が前記表示画像内に存在する場合には、第１の警告用画像の色または形状を変化させた画像を第２の警告用画像として重畳させることを特徴とする。 Furthermore, in the camera device according to the present invention,
The controller is
When the obstacle is present in the non-display image, a first warning image is superimposed on an image edge or an image corner in the direction in which the obstacle exists in the display image,
When the obstacle is present in the display image, an image obtained by changing the color or shape of the first warning image is superimposed as a second warning image.

さらに、本発明に係るカメラ装置において、
前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用音声を出力させることを特徴とする。 Furthermore, in the camera device according to the present invention,
The control unit may output different warning sounds depending on whether the obstacle is present in the non-display image or in the display image.

さらに、本発明に係るカメラ装置において、
前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在
する場合とで、異なる警告用振動を発生させることを特徴とする。 Furthermore, in the camera device according to the present invention,
The control unit may generate different warning vibrations when the obstacle is present in the non-display image and when the obstacle is present in the display image.

また、上記課題を解決するため、本発明に係るカメラ装置は、
移動体の所定位置に取り付けられたカメラの撮像画像から、前記撮像画像内に存在する障害物を検出するカメラ装置であって、
前記障害物が前記撮像画像において表示部にて表示されない領域である非表示画像内に存在する場合と、該障害物が前記撮像画像において表示部にて表示される領域である表示画像内に存在する場合とで、異なる警告を行う制御部と、
を備えることを特徴とする。 In addition, in order to solve the above problems, a camera device according to the present invention includes:
A camera device that detects an obstacle present in the captured image from a captured image of a camera attached to a predetermined position of a moving body,
The obstacle exists in a non-display image that is a region that is not displayed on the display unit in the captured image, and the obstacle exists in a display image that is a region that is displayed on the display unit in the captured image. A control unit that gives different warnings depending on
It is characterized by providing.

また、上記課題を解決するため、本発明に係る警告方法は、
移動体の所定位置に取り付けられたカメラにより、移動体外部の撮像画像を生成するステップと、
前記撮像画像の一部の画像である表示画像を決定するステップと、
前記撮像画像内に存在する障害物を検出するステップと、
前記障害物が前記撮像画像から前記表示画像を除いた画像である非表示画像内に存在する場合と、前記障害物が前記表示画像内に存在する場合とで、異なる警告を行うステップと、
を含むことを特徴とする。 In order to solve the above problem, a warning method according to the present invention includes:
Generating a captured image outside the moving body with a camera attached to a predetermined position of the moving body;
Determining a display image that is a partial image of the captured image;
Detecting an obstacle present in the captured image;
Different warnings when the obstacle is present in a non-display image that is an image obtained by removing the display image from the captured image and when the obstacle is present in the display image;
It is characterized by including.

本発明によれば、表示部に表示される範囲外に障害物が存在する場合にも警告を行うことができる。また、表示部に表示される表示画像の画角を変更することなく警告を行うことができる。   According to the present invention, a warning can be issued even when an obstacle exists outside the range displayed on the display unit. Further, a warning can be issued without changing the angle of view of the display image displayed on the display unit.

本発明の第１の実施形態に係るカメラ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the camera apparatus which concerns on the 1st Embodiment of this invention. カメラを後方向きに取り付けた移動体を示す図である。It is a figure which shows the moving body which attached the camera facing back. 本発明の第１の実施形態に係る警告方法を示すフローチャートである。It is a flowchart which shows the warning method which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係るカメラ装置における撮像画像の一例を示す図である。It is a figure which shows an example of the captured image in the camera apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る表示による警告の第１の例を示す図である。It is a figure which shows the 1st example of the warning by the display which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る表示による警告の第２の例を示す図である。It is a figure which shows the 2nd example of the warning by the display which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る表示による警告の第３の例を示す図である。It is a figure which shows the 3rd example of the warning by the display which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る音声による警告例を示す図である。It is a figure which shows the example of warning by the voice which concerns on the 1st Embodiment of this invention. 本発明の第２の実施形態に係る警告方法を示すフローチャートである。It is a flowchart which shows the warning method which concerns on the 2nd Embodiment of this invention. 本発明の第３の実施形態に係るカメラ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the camera apparatus which concerns on the 3rd Embodiment of this invention.

以下、本発明による実施形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments according to the present invention will be described in detail with reference to the drawings.

図１は、本発明の第１の実施形態に係るカメラ装置の構成例を示すブロック図である。図１に示すように、カメラシステム１は、カメラ装置１０と、表示部２０と、音声出力部３０と、振動発生部４０とを備える。カメラ装置１０は、カメラ１１と、制御部１２と、記憶部１３とを備える。   FIG. 1 is a block diagram illustrating a configuration example of a camera device according to the first embodiment of the present invention. As shown in FIG. 1, the camera system 1 includes a camera device 10, a display unit 20, an audio output unit 30, and a vibration generation unit 40. The camera device 10 includes a camera 11, a control unit 12, and a storage unit 13.

カメラ１１は、撮像部１１１と、画像処理部１１２とを有する。なお、画像処理部１１２の一部または全部の機能を制御部１２が有するようにしてもよい。カメラ１１は、移動体の所定位置に取り付けられ、移動体外部の撮像画像を生成する。   The camera 11 includes an imaging unit 111 and an image processing unit 112. Note that the control unit 12 may have some or all of the functions of the image processing unit 112. The camera 11 is attached to a predetermined position of the moving body and generates a captured image outside the moving body.

撮像部１１１は、ＣＭＯＳ，ＣＣＤなどのイメージセンサを有しており、レンズを通して入射した被写体光を電気信号に変換する。撮像部１１１は広い画角（例えば、１８０度超）を有するものとする。   The imaging unit 111 has an image sensor such as a CMOS or CCD, and converts subject light incident through the lens into an electrical signal. The imaging unit 111 has a wide angle of view (for example, more than 180 degrees).

画像処理部１１２は、撮像部１１１により生成された信号に対してＡ／Ｄ変換、ノイズ低減処理、画像処理などを施して、例えばプログレッシブ形式またはインターレース形式の撮像画像を生成する。撮像画像は撮像部１１１の画角に相当する領域を有する。   The image processing unit 112 performs A / D conversion, noise reduction processing, image processing, and the like on the signal generated by the imaging unit 111 to generate, for example, a captured image in a progressive format or an interlace format. The captured image has an area corresponding to the angle of view of the imaging unit 111.

図２は、一例としてカメラ１１を後方向きに取り付けた車両などの移動体を示す図である。本実施形態では、図２に示すように、カメラ１１は移動体１００後方のバンパー付近に取り付けられ、移動体１００の後方の映像を撮影する。図中の領域Ａは、カメラ１１によって映像が撮影される領域である。もちろん、カメラ１１が移動体の前方向きや側方向きに取り付けられる例において本発明を適用してもよいことは言うまでも無い。カメラ装置１０がカメラ１１に一体化されたモジュールとして構成されている場合には、移動体の所定位置にカメラ装置１０が取り付けられることとなる。   FIG. 2 is a diagram illustrating a moving body such as a vehicle with the camera 11 attached rearward as an example. In the present embodiment, as shown in FIG. 2, the camera 11 is attached in the vicinity of the bumper behind the moving body 100 and shoots an image behind the moving body 100. A region A in the figure is a region where a video is taken by the camera 11. Of course, it goes without saying that the present invention may be applied to an example in which the camera 11 is attached to the front or side of the moving body. When the camera device 10 is configured as a module integrated with the camera 11, the camera device 10 is attached to a predetermined position of the moving body.

表示部２０は、運転者により例えばリバースギアに切り替えた時などをトリガとしてカメラモードが指示された場合には、カメラ装置１０によって生成された映像を表示する。カメラモードとは、例えば駐車時に移動体１００を運転する運転者から見えづらい移動体１００後方の領域Ａ内の映像を表示部２０に表示させることによって、駐車を円滑に行えるように手助けするためのモードである。また、移動体１００後方の領域Ａ内の映像に、更に移動体１００が通過する予測軌跡を重畳して表示し、より円滑に駐車を行えるようにすることもできる。   The display unit 20 displays an image generated by the camera device 10 when the camera mode is instructed by the driver when, for example, switching to the reverse gear is used as a trigger. The camera mode is, for example, for displaying the image in the area A behind the moving body 100 that is difficult for the driver who drives the moving body 100 during parking to display the image on the display unit 20 so that parking can be performed smoothly. Mode. Further, the predicted trajectory through which the moving body 100 passes can be superimposed on the video in the area A behind the moving body 100 so that parking can be performed more smoothly.

また、表示部２０は、運転者によりナビゲーションモードが指示された場合には、ナビゲーションシステムにより得られた目的地までのルート案内図を表示し、テレビモードが指示された場合には、テレビ受信機により得られたテレビ映像を表示することも可能である。   The display unit 20 displays a route guide map to the destination obtained by the navigation system when the driver instructs the navigation mode. When the TV mode is specified, the display unit 20 displays the TV receiver. It is also possible to display the television image obtained by the above.

制御部１２は、画像処理部１１２により生成された撮像画像内に障害物の画像（以下、単に障害物という）が存在するか否かを判定し、障害物を検出した場合には警告を発生させる。   The control unit 12 determines whether or not an obstacle image (hereinafter simply referred to as an obstacle) exists in the captured image generated by the image processing unit 112, and generates a warning when an obstacle is detected. Let

具体的には、制御部１２は、撮像画像のうち、カメラ１１の画角（例えば、１８０度超）よりも狭い画角（例えば、１３０〜１５０度）に相当する領域を切り出して表示画像を生成する。カメラモードで運転者が表示させたい画像は移動体近傍の画像であるため、広い画角により撮像された撮像画像全体を表示させる必要はない。また、撮像画像全体を表示させると運転者が注目したい領域の画像は小さく表示されることになり、さらに撮像画像は端部にいくほどレンズの特性により歪んで表示されることになる。そのため、制御部１２は、撮像画像全体ではなく、撮像画像の一部である表示画像を表示部２０に表示させる。   Specifically, the control unit 12 cuts out a region corresponding to an angle of view (for example, 130 to 150 degrees) narrower than the angle of view of the camera 11 (for example, more than 180 degrees) from the captured image, and displays the display image. Generate. Since the image that the driver wants to display in the camera mode is an image near the moving body, it is not necessary to display the entire captured image captured with a wide angle of view. Further, when the entire captured image is displayed, the image of the region that the driver wants to pay attention to is displayed smaller, and further, the captured image is displayed distorted due to the lens characteristics toward the end. Therefore, the control unit 12 causes the display unit 20 to display a display image that is a part of the captured image, not the entire captured image.

そして制御部１２は、障害物を検出した場合には、後述するように、障害物が撮像画像のうちの表示画像を除く画像である非表示画像内に存在する場合と表示画像内に存在する場合とで異なる警告を発生させる。異なる警告であることを明示するために、以下では、障害物が非表示画像内に存在する場合に行う警告を「第１の警告」と記し、障害物が表示画像内に存在する場合に行う警告を「第２の警告」と記す。   When detecting an obstacle, the control unit 12, as will be described later, the obstacle is present in a non-display image that is an image excluding the display image in the captured image and in the display image. Generate different warnings depending on the situation. In order to clearly indicate that this is a different warning, in the following, a warning that is given when an obstacle is present in the non-display image will be referred to as a “first warning”, and is given when the obstacle is present in the display image. The warning is referred to as “second warning”.

図１に示すように、制御部１２は、障害物検出部１２１と、表示制御部１２２と、音声制御部１２３と、振動制御部１２４とを備える。   As shown in FIG. 1, the control unit 12 includes an obstacle detection unit 121, a display control unit 122, a voice control unit 123, and a vibration control unit 124.

障害物検出部１２１は、カメラ１１により生成された撮像画像内に障害物があるか否かを判定し、障害物を検出した場合には障害物の位置を示す情報を表示制御部１２２、音声制御部１２３、および振動制御部１２４に出力する。障害物検出部１２１は、既知の人物、物体、移動物などの検出技術により、障害物を判定する。   The obstacle detection unit 121 determines whether or not there is an obstacle in the captured image generated by the camera 11, and when the obstacle is detected, the information indicating the position of the obstacle is displayed in the display control unit 122, voice It outputs to the control part 123 and the vibration control part 124. The obstacle detection unit 121 determines an obstacle using a detection technique such as a known person, object, or moving object.

表示制御部１２２は、表示画像を表示部２０の表示デバイスに適したフォーマット（例えば、ＮＴＳＣなど）に変換し、表示部２０に出力する。また、表示制御部１２２は、障害物検出部１２１により障害物が検出された場合には、表示画像に警告用画像を重畳した画像を表示部２０に表示させる。その際、表示制御部１２２は、障害物が非表示画像内に存在する場合と表示画像内に存在する場合とで異なる警告用画像を重畳した画像を表示部２０に表示させる。   The display control unit 122 converts the display image into a format (for example, NTSC) suitable for the display device of the display unit 20 and outputs the converted image to the display unit 20. In addition, when the obstacle detection unit 121 detects an obstacle, the display control unit 122 causes the display unit 20 to display an image in which a warning image is superimposed on the display image. At this time, the display control unit 122 causes the display unit 20 to display an image in which different warning images are superimposed depending on whether the obstacle is present in the non-display image or the display image.

表示部２０は、移動体内部に取り付けられ、一般的にはカーナビゲーション装置の表示部として構成される。表示部２０は、カメラモード時には、表示制御部１２２による制御により画像を表示する。   The display unit 20 is attached inside the moving body and is generally configured as a display unit of a car navigation device. The display unit 20 displays an image under the control of the display control unit 122 in the camera mode.

音声制御部１２３は、障害物検出部１２１により障害物が検出された場合には、警告用音声を音声出力部３０から出力させる。その際、音声制御部１２３は、障害物が非表示画像内に存在する場合と表示画像内に存在する場合とで異なる警告用音声を音声出力部３０から出力させる。   The voice control unit 123 causes the voice output unit 30 to output a warning voice when the obstacle detection unit 121 detects an obstacle. At that time, the sound control unit 123 causes the sound output unit 30 to output different warning sounds depending on whether the obstacle exists in the non-display image or in the display image.

音声出力部３０は、移動体内部の左側（例えば左ドア内側）に取り付けられて運転者の左側から音声を出力する左側音声出力部３１と、移動体内部の右側（例えば右ドア内側）に取り付けられて運転者の右側から音声を出力する右側音声出力部３２とを有し、音声制御部１２３による制御により音声を出力する。   The audio output unit 30 is attached to the left side (for example, the inside of the left door) inside the moving body and outputs sound from the left side of the driver, and is attached to the right side (for example, the inside of the right door) inside the moving body. And a right audio output unit 32 that outputs audio from the right side of the driver, and outputs audio under the control of the audio control unit 123.

振動制御部１２４は、障害物検出部１２１により障害物が検出された場合には、振動発生部４０により振動を発生させる。その際、振動制御部１２４は、障害物が非表示画像内に存在する場合と表示画像内に存在する場合とで異なる警告用振動を振動発生部４０から発生させる。   The vibration control unit 124 causes the vibration generation unit 40 to generate vibration when an obstacle is detected by the obstacle detection unit 121. At that time, the vibration control unit 124 causes the vibration generation unit 40 to generate different warning vibrations when the obstacle is present in the non-display image and when the obstacle is present in the display image.

振動発生部４０は、振動アクチュエータまたは振動モータなどにより構成され、移動体内部の運転者が触れる場所のうち左側に取り付けられる左側振動発生部４１と右側に取り付けられる右側振動発生部４２とを有する。   The vibration generating unit 40 includes a vibration actuator, a vibration motor, or the like, and includes a left vibration generating unit 41 attached to the left side and a right vibration generating unit 42 attached to the right side of a place touched by the driver inside the moving body.

記憶部１３は、制御部１２における処理に必要となるデータ、例えば警告用画像を記憶する。   The storage unit 13 stores data necessary for processing in the control unit 12, such as a warning image.

カメラシステム１は、障害物検出部１２１により障害物が検出された場合、表示部２０に警告用の表示を行うか、音声出力部３０から警告用の音声を出力させるか、または振動発生部４０により振動を発生させるか、の少なくとも１つ以上の方法により警告を行う。   When an obstacle is detected by the obstacle detection unit 121, the camera system 1 displays a warning on the display unit 20, outputs a warning voice from the voice output unit 30, or the vibration generation unit 40. The alarm is issued by at least one method of generating vibrations.

図３は、本発明の第１の実施形態に係る警告方法を示すフローチャートである。まず、障害物検出部１２１により、撮像画像内に障害物が存在するか否かを判定する（ステップＳ１０１）。撮像画像内に障害物が存在する場合において（ステップＳ１０１−Ｙｅｓ）、障害物が非表示画像内に存在するときは（ステップＳ１０２−Ｙｅｓ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により第１の警告を行う（ステップＳ１０３）。一方、障害物が非表示画像内に存在しないとき（ステップＳ１０２−Ｎｏ）、すなわち障害物が表示画像内に存在するときは、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により第２の警告を行う（ステップＳ１０４）。そして、撮像画像内に障害物が存在する間は（ステップＳ１０５−Ｙｅｓ）、第１の警告または第２の警告を継続し、撮像画像内に障害物が存在しなくなった場合に（ステップＳ１０５−Ｎｏ）、警告を終了する。   FIG. 3 is a flowchart showing a warning method according to the first embodiment of the present invention. First, the obstacle detection unit 121 determines whether there is an obstacle in the captured image (step S101). When there is an obstacle in the captured image (step S101-Yes), when the obstacle exists in the non-display image (step S102-Yes), the display unit 20, the audio output unit 30, or the vibration generation unit A first warning is issued by at least one of 40 (step S103). On the other hand, when the obstacle is not present in the non-display image (step S102-No), that is, when the obstacle is present in the display image, at least one of the display unit 20, the audio output unit 30, or the vibration generation unit 40. A second warning is given by one or more (step S104). Then, while there is an obstacle in the captured image (step S105-Yes), the first warning or the second warning is continued, and when there is no obstacle in the captured image (step S105- No), the warning is terminated.

障害物が非表示画像から表示画像に移動する場合を考えると、カメラシステム１は、障害物が非表示画像内に存在している間は第１の警告を行い（ステップＳ１０３）、その後、障害物が表示画像内に存在している間は第２の警告を行う（ステップＳ１０４）。同様に、障害物が表示画像から非表示画像に移動する場合には、カメラシステム１は、障害物が表示画像内に存在している間は第２の警告を行い（ステップＳ１０４）、その後、障害物が非表示画像内に存在している間は第１の警告を行う（ステップＳ１０３）。   Considering the case where the obstacle moves from the non-display image to the display image, the camera system 1 issues a first warning while the obstacle exists in the non-display image (step S103). While the object is present in the display image, a second warning is given (step S104). Similarly, when the obstacle moves from the display image to the non-display image, the camera system 1 issues a second warning while the obstacle exists in the display image (step S104), and then While the obstacle is present in the non-display image, a first warning is given (step S103).

図４は、運転者によりカメラモードが指示された場合に、カメラ１１により生成された撮像画像の一例を示す図である。表示部２０には、撮像画像５１のうちの一部の画像である表示画像５２が表示される。ここで、障害物（人物）５４が非表示画像５３から表示画像５２へ移動する場合における警告方法について、以下に説明する。   FIG. 4 is a diagram illustrating an example of a captured image generated by the camera 11 when the driver instructs the camera mode. A display image 52 that is a part of the captured image 51 is displayed on the display unit 20. Here, a warning method when the obstacle (person) 54 moves from the non-display image 53 to the display image 52 will be described below.

図５は、表示による警告の第１の例を示す図である。この例では、障害物５４が非表示画像５３内に存在する場合、表示制御部１２２は図５（ａ）に示すように、表示画像５２のうち障害物５４が存在する方向の画像端（この例では左端）、または障害物５４が近くに存在する領域に第１の警告用画像６１を重畳することにより、第１の警告を行う。そして、表示画像５２内に障害物５４が表示された場合には、表示制御部１２２は図５（ｂ）に示すように、障害物５４を取り囲むようにして第２の警告用画像６２を重畳することにより、第２の警告を行う。第２の警告用画像６２は障害物５４の動きに追従する。なお、第２の警告用画像６２は障害物５４の位置に応じて重畳させる画像であればよく、図５（ｂ）に示すような障害物５４を取り囲むよう画像以外に、障害物５４と一部分が重なる画像や、障害物５４の上部に表示させる画像であってもよい。   FIG. 5 is a diagram illustrating a first example of warning by display. In this example, when the obstacle 54 is present in the non-display image 53, the display control unit 122 displays the image edge in the direction in which the obstacle 54 exists in the display image 52 (as shown in FIG. 5A). In the example, the first warning is performed by superimposing the first warning image 61 on the area where the obstacle 54 is present in the vicinity. When the obstacle 54 is displayed in the display image 52, the display control unit 122 superimposes the second warning image 62 so as to surround the obstacle 54 as shown in FIG. To give a second warning. The second warning image 62 follows the movement of the obstacle 54. The second warning image 62 may be an image to be superimposed according to the position of the obstacle 54. In addition to the image surrounding the obstacle 54 as shown in FIG. May be an image that overlaps or an image that is displayed on top of the obstacle 54.

図６は、表示による警告の第２の例を示す図である。この例では、障害物５４が非表示画像５３内に存在する場合、表示制御部１２２は図６（ａ）に示すように、表示画像５２のうち障害物５４が存在する方向の画像端、または障害物５４が近くに存在する領域に第１の警告用画像６１を重畳することにより、第１の警告を行う。図６（ａ）は、図５（ａ）と同一である。そして、表示画像５２内に障害物５４が表示された場合には、表示制御部１２２は図６（ｂ）に示すように、第２の警告用画像６３を重畳することにより、第２の警告を行う。第２の警告用画像６３は、第１の警告用画像６１に対して、位置は変更しないで、色および／または形状を変更した画像である。   FIG. 6 is a diagram illustrating a second example of warning by display. In this example, when the obstacle 54 exists in the non-display image 53, the display control unit 122, as shown in FIG. 6A, the image edge in the direction in which the obstacle 54 exists in the display image 52, or The first warning is performed by superimposing the first warning image 61 on the area where the obstacle 54 exists nearby. FIG. 6A is the same as FIG. When the obstacle 54 is displayed in the display image 52, the display control unit 122 superimposes the second warning image 63 as shown in FIG. I do. The second warning image 63 is an image obtained by changing the color and / or shape without changing the position of the first warning image 61.

図６の例において、障害物５４が表示画像５２の中央より右側に移動した場合には、第２の警告用画像６３の重畳位置を表示画像５２の右端に変更してもよい。また、さらに障害物５４が表示画像５２内から非表示画像５３内へ右方向に移動した場合には、第２の警告用画像６３に代えて第１の警告用画像６１を表示画像５２の右端に重畳するようにしてもよい。   In the example of FIG. 6, when the obstacle 54 moves to the right side from the center of the display image 52, the overlapping position of the second warning image 63 may be changed to the right end of the display image 52. Further, when the obstacle 54 moves rightward from the display image 52 to the non-display image 53, the first warning image 61 is replaced with the first warning image 63 instead of the second warning image 63. You may make it superimpose on.

図７は、表示による警告の第３の例を示す図である。この例では、障害物５４が非表示画像５３内に存在する場合、表示制御部１２２は図７（ａ）に示すように、表示画像５２の左上隅または右上隅のうち障害物５４が存在する側（この例では左上隅）に第１の警告用画像６４を重畳することにより、第１の警告を行う。そして、表示画像５２内に障害物５４が表示された場合には、表示制御部１２２は図７（ｂ）に示すように、第２の警告用画像６５を重畳することにより、第２の警告を行う。第２の警告用画像６５は、第１の警告用画像６４に対して、位置は変更しないで、色および／または形状を変更した画像である。   FIG. 7 is a diagram illustrating a third example of warning by display. In this example, when the obstacle 54 exists in the non-display image 53, the display control unit 122 has the obstacle 54 in the upper left corner or the upper right corner of the display image 52 as shown in FIG. The first warning is performed by superimposing the first warning image 64 on the side (the upper left corner in this example). When the obstacle 54 is displayed in the display image 52, the display control unit 122 superimposes the second warning image 65 as shown in FIG. I do. The second warning image 65 is an image obtained by changing the color and / or shape without changing the position of the first warning image 64.

図７の例において、障害物５４が表示画像５２の中央より右側に移動した場合には、第２の警告用画像６５の重畳位置を表示画像５２の右上隅に変更してもよい。また、さらに障害物５４が表示画像５２内から非表示画像５３内へ右方向に移動した場合には、第２の警告用画像６５に代えて第１の警告用画像６４を表示画像５２の右上隅に重畳するようにしてもよい。また、図７の例では警告用画像６４，６５を表示画像５２の左上隅または右上隅に表示したが、表示画像５２の４隅のうち、障害物５４が最も近くに存在する箇所に警告用画像６４，６５を表示するようにしてもよい。   In the example of FIG. 7, when the obstacle 54 moves to the right from the center of the display image 52, the overlapping position of the second warning image 65 may be changed to the upper right corner of the display image 52. Further, when the obstacle 54 moves rightward from the display image 52 to the non-display image 53, the first warning image 64 is replaced with the first warning image 65 instead of the second warning image 65. You may make it superimpose on a corner. In the example of FIG. 7, the warning images 64 and 65 are displayed in the upper left corner or the upper right corner of the display image 52. Of the four corners of the display image 52, the warning image is displayed at a location where the obstacle 54 is closest. The images 64 and 65 may be displayed.

図８は、音声による警告例を示す図である。この例では、障害物５４が非表示画像５３内に存在する場合、音声制御部１２３は図８（ａ）に示すように、障害物５４が存在する方向の音声出力部から第１の警告用音声６６を出力させることにより、第１の警告を行う。すなわち、例えば障害物５４が非表示画像５３の左側に位置する場合には、左側音声出力部３１から第１の警告用音声６６を出力させる。そしてその後、表示画像５２内に障害物５４が移動した場合には、音声制御部１２３は図８（ｂ）に示すように、左側音声出力部３１から第２の警告用音声６７を出力させることにより、第２の警告を行う。第２の警告用音声６７は、例えば、第１の警告用音声６６に対して、より大きな音とするか、周波数をより高くするか、またはリズムをより早いテンポに変更した音声である。   FIG. 8 is a diagram illustrating an example of a warning by voice. In this example, when the obstacle 54 is present in the non-display image 53, the voice control unit 123 performs the first warning from the voice output unit in the direction in which the obstacle 54 exists, as shown in FIG. By outputting the sound 66, the first warning is given. That is, for example, when the obstacle 54 is located on the left side of the non-display image 53, the first warning sound 66 is output from the left sound output unit 31. After that, when the obstacle 54 moves in the display image 52, the sound control unit 123 causes the left sound output unit 31 to output the second warning sound 67 as shown in FIG. 8B. To give a second warning. The second warning sound 67 is, for example, a sound that is louder than the first warning sound 66, has a higher frequency, or changes the rhythm to a faster tempo.

その他の例として、障害物５４が非表示画像５３内に存在する場合、振動制御部１２４は障害物５４が存在する方向の左側振動発生部４１（図示せず）から第１の振動を発生させることにより、第１の警告を行う。そして、表示画像５２内に障害物５４が移動した場合には、振動制御部１２４は左側振動発生部４１（図示せず）から第２の振動を発生させることにより、第２の警告を行う。第２の警告用振動は、例えば、第１の警告用振動に対して、大きな振動とするか、周波数を高くするか、またはリズムを変更した振動である。   As another example, when the obstacle 54 exists in the non-display image 53, the vibration control unit 124 generates the first vibration from the left-side vibration generating unit 41 (not shown) in the direction in which the obstacle 54 exists. Thus, the first warning is given. When the obstacle 54 moves in the display image 52, the vibration control unit 124 issues a second warning by generating a second vibration from the left vibration generating unit 41 (not shown). The second warning vibration is, for example, a vibration obtained by setting a large vibration, increasing the frequency, or changing the rhythm with respect to the first warning vibration.

上述したように、本実施形態では、撮像画像５１から表示部２０に表示させる表示画像５２を決定するとともに、撮像画像５１内に存在する障害物５４を検出し、障害物５４が非表示画像５３内に存在する場合には第１の警告を行い、障害物５４が表示画像５２内に存在する場合には第２の警告を行う。   As described above, in the present embodiment, the display image 52 to be displayed on the display unit 20 is determined from the captured image 51, the obstacle 54 existing in the captured image 51 is detected, and the obstacle 54 is displayed as the non-display image 53. If the obstacle 54 exists in the display image 52, a second warning is given.

このため、本実施形態によれば、表示部２０に表示される範囲外に障害物５４が存在する場合にも警告を行うことができる。また、表示画像５２の画角を変更することなく警告を行うことができる。さらに、障害物５４が非表示画像５３内に存在する場合と表示画像５２内に存在する場合とで異なる警告を行うため、障害物５４が非表示画像５３内から表示画像５２内に移動して移動体に急接近してきた場合などの危険な場面で、異なる警告により運転者に強く注意を促すことが可能となる。   For this reason, according to the present embodiment, a warning can be issued even when the obstacle 54 exists outside the range displayed on the display unit 20. Further, a warning can be issued without changing the angle of view of the display image 52. Further, since the warning is different between when the obstacle 54 exists in the non-display image 53 and when it exists in the display image 52, the obstacle 54 moves from the non-display image 53 into the display image 52. In a dangerous scene such as when approaching a moving body, it is possible to strongly alert the driver with different warnings.

次に、本発明の第２の実施形態を説明する。第２の実施形態では制御部が実行する処理が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。   Next, a second embodiment of the present invention will be described. In the second embodiment, the processing executed by the control unit is different from that of the first embodiment. The second embodiment will be described below with a focus on differences from the first embodiment. In addition, the same code | symbol is attached | subjected to the site | part which has the same structure as 1st Embodiment.

第２の実施形態において、制御部１２は、第１の実施形態で実行する機能に加えて、障害物５４が移動体１００に近付いているか否かを判別し、判別結果に基づく警告を行なう機能を有する。例えば、撮像画像５１において障害物５４を検出すると、時間経過による移動体１００および障害物５４の相対距離の変化を判別する。   In the second embodiment, in addition to the function executed in the first embodiment, the control unit 12 determines whether or not the obstacle 54 is approaching the moving body 100 and performs a warning based on the determination result. Have For example, when the obstacle 54 is detected in the captured image 51, a change in the relative distance between the moving object 100 and the obstacle 54 over time is determined.

本実施形態においては、制御部１２は、カメラ１１による生成時期の異なる、例えば連続する複数のフレームの撮像画像５１に基づいて、相対距離の変化を判別する。更に詳細に説明すると、制御部１２は、生成時期の異なる撮像画像５１それぞれにおける障害物５４の位置の変化により、移動体１００および障害物５４の相対距離の変化を判別する。   In this embodiment, the control part 12 discriminate | determines the change of a relative distance based on the captured image 51 of a several continuous flame | frame from which the production | generation time by the camera 11 differs, for example. More specifically, the control unit 12 determines a change in the relative distance between the moving object 100 and the obstacle 54 based on a change in the position of the obstacle 54 in each of the captured images 51 having different generation times.

制御部１２は、相対距離の変化が、相対距離の増加である場合と、相対距離の減少である場合とで、さらに異なる警告を発生させる。以下では、障害物５４が非表示画像５３内に存在し且つ障害物５４が移動体１００に対して近付く場合に行う警告を「接近を示す第１の警告」と記す。また、障害物５４が非表示画像５３内に存在し且つ障害物５４が移動体１００に対して遠ざかる場合に行う警告を「離反を示す第１の警告」と記す。また、障害物５４が表示画像５２内に存在し且つ障害物５４が移動体１００に対して近付く場合に行う警告を「接近を示す第２の警告」と記す。また、障害物５４が表示画像５２内に存在し且つ障害物５４が移動体１００に対して遠ざかる場合に行う警告を「離反を示す第２の警告」と記す。   The control unit 12 generates different warnings depending on whether the change in the relative distance is an increase in the relative distance or a decrease in the relative distance. Hereinafter, a warning given when the obstacle 54 exists in the non-display image 53 and the obstacle 54 approaches the moving body 100 will be referred to as a “first warning indicating approach”. A warning given when the obstacle 54 exists in the non-display image 53 and the obstacle 54 moves away from the moving body 100 is referred to as a “first warning indicating separation”. Further, a warning given when the obstacle 54 exists in the display image 52 and the obstacle 54 approaches the moving body 100 is referred to as a “second warning indicating approach”. A warning given when the obstacle 54 exists in the display image 52 and the obstacle 54 moves away from the moving body 100 is referred to as a “second warning indicating separation”.

第２の実施形態において、表示制御部１２２は、第１の実施形態で実行する機能に加えて、上述の複数の種類の警告に応じた警告用画像を重畳した画像を表示部２０に表示させる機能を有する。また、第２の実施形態において、音声制御部１２３は、第１の実施形態で実行する機能に加えて、上述の複数の種類の警告に応じた警告用音声を音声出力部３０から出力させる機能を有する。また、第２の実施形態において、振動制御部１２４は、第１の実施形態で実行する機能に加えて、上述の複数の種類の警告に応じた警告用振動を振動発生部４０から発生させる機能を有する。   In the second embodiment, in addition to the function executed in the first embodiment, the display control unit 122 causes the display unit 20 to display an image in which warning images corresponding to the above-described plurality of types of warnings are superimposed. It has a function. In the second embodiment, the voice control unit 123 outputs a warning voice corresponding to the above-described plurality of types of warnings from the voice output unit 30 in addition to the function executed in the first embodiment. Have In the second embodiment, the vibration control unit 124 generates a warning vibration corresponding to the above-described plurality of types of warnings from the vibration generation unit 40 in addition to the function executed in the first embodiment. Have

図９は、本発明の第１の実施形態に係る警告方法を示すフローチャートである。まず、障害物検出部１２１により、撮像画像５１内に障害物５４が存在するか否かを判別する（ステップＳ２０１）。   FIG. 9 is a flowchart showing a warning method according to the first embodiment of the present invention. First, the obstacle detection unit 121 determines whether or not the obstacle 54 exists in the captured image 51 (step S201).

撮像画像５１内に障害物５４が存在する場合において（ステップＳ２０１−Ｙｅｓ）、障害物５４が非表示画像５３内に存在し且つ移動体１００と障害物５４の相対距離が減少しているときは（ステップＳ２０２−Ｙｅｓ、ステップＳ２０３−Ｙｅｓ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により接近を示す第１の警告を行う（ステップＳ２０４）。   When the obstacle 54 exists in the captured image 51 (step S201-Yes), when the obstacle 54 exists in the non-display image 53 and the relative distance between the moving object 100 and the obstacle 54 is decreased. (Step S202-Yes, Step S203-Yes), the 1st warning which shows an approach is performed by at least 1 or more among the display part 20, the audio | voice output part 30, or the vibration generation part 40 (step S204).

また、撮像画像５１内に障害物５４が存在する場合において（ステップＳ２０１−Ｙｅｓ）、障害物５４が非表示画像５３内に存在し且つ移動体１００と障害物５４の相対距離が増大しているときは（ステップＳ２０２−Ｙｅｓ、ステップＳ２０３−Ｎｏ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により離反を示す第１の警告を行う（ステップＳ２０５）。   When the obstacle 54 exists in the captured image 51 (step S201—Yes), the obstacle 54 exists in the non-display image 53 and the relative distance between the moving object 100 and the obstacle 54 is increased. When (Step S202-Yes, Step S203-No), a first warning indicating separation is given by at least one of the display unit 20, the audio output unit 30, or the vibration generating unit 40 (Step S205).

また、撮像画像５１内に障害物５４が存在する場合において（ステップＳ２０１−Ｙｅｓ）、障害物５４が表示画像５３内に存在し且つ移動体１００と障害物５４の相対距離が減少しているときは（ステップＳ２０２−Ｎｏ、ステップＳ２０６−Ｙｅｓ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により接近を示す第２の警告を行う（ステップＳ２０７）。   When the obstacle 54 is present in the captured image 51 (step S201—Yes), the obstacle 54 is present in the display image 53 and the relative distance between the moving object 100 and the obstacle 54 is decreased. (Step S202-No, Step S206-Yes), a second warning indicating approach is given by at least one of the display unit 20, the audio output unit 30, or the vibration generating unit 40 (Step S207).

また、撮像画像５１内に障害物５４が存在する場合において（ステップＳ２０１−Ｙｅｓ）、障害物５４が表示画像５３内に存在し且つ移動体１００と障害物５４の相対距離が増大しているときは（ステップＳ２０２−Ｎｏ、ステップＳ２０６−Ｎｏ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により離反を示す第２の警告を行う（ステップＳ２０８）。   When the obstacle 54 is present in the captured image 51 (step S201—Yes), the obstacle 54 is present in the display image 53 and the relative distance between the moving object 100 and the obstacle 54 is increased. (Step S202-No, Step S206-No), a second warning indicating separation is given by at least one of the display unit 20, the audio output unit 30, or the vibration generating unit 40 (Step S208).

そして、撮像画像５１内に障害物５４が存在する間は（ステップＳ２０９−Ｙｅｓ）、接近を示す第１の警告、離反を示す第１の警告、接近を示す第２の警告、および離反を示す第２の警告の何れかを継続し、撮像画像５１内に障害物５４が存在しなくなった場合に（ステップＳ２０９−Ｎｏ）、警告を終了する。   And while the obstacle 54 exists in the captured image 51 (step S209-Yes), the 1st warning which shows approach, the 1st warning which shows separation, the 2nd warning which shows approach, and separation are shown. If any one of the second warnings is continued and the obstacle 54 does not exist in the captured image 51 (step S209—No), the warning is ended.

接近を示す第１の警告および離反を示す第１の警告は、例えば、表示画像５２における、第１の警告用画像６１の大きさを変えることにより、示される。例えば、第１の警告用画像６１を、接近を示す場合には大きくし、離反を示す場合には小さくすることによって示される。また、接近を示す第１の警告および離反を示す第１の警告は、例えば、第１の警告用音声６６の大きさ、周波数、リズムを、接近を示す場合と離反を示す場合とで変えることによって示される。また、接近を示す第１の警告および離反を示す第１の警告は、例えば、第１の警告用振動の大きさ、周波数、リズムを、接近を示す場合と離反を示す場合とで変えることによって示される。   The first warning indicating approach and the first warning indicating separation are indicated by changing the size of the first warning image 61 in the display image 52, for example. For example, the first warning image 61 is shown to be large when indicating approach and small when indicating separation. In addition, the first warning indicating approach and the first warning indicating separation change, for example, the magnitude, frequency, and rhythm of the first warning sound 66 depending on whether it indicates approach or separation. Indicated by. In addition, the first warning indicating approach and the first warning indicating separation are obtained by changing the magnitude, frequency, and rhythm of the first warning vibration between the case of indicating the approach and the case of indicating the separation, for example. Indicated.

接近を示す第２の警告および離反を示す第２の警告の警告は、上述の第１の警告の例として例示したいずれかの方法、または更に異なる方法で示すことが可能である。   The second warning indicating approach and the second warning indicating separation may be indicated in any of the above-described examples of the first warning, or in a different manner.

以上のような第２の実施形態においては、第１の実施形態と同様に、表示画像５２の画角を変更することなく、表示部２０に表示される範囲内および範囲外に障害物５４が存在する場合に、いずれの場合かに判別させ得る警告を行うことができる。また、第２の実施形態においては、存在が確認された障害物５４が移動体１００に接近中であるか、離反中であるかを判別可能に警告可能である。   In the second embodiment as described above, as in the first embodiment, the obstacle 54 is located within and outside the range displayed on the display unit 20 without changing the angle of view of the display image 52. If it exists, a warning that can be discriminated in either case can be issued. Further, in the second embodiment, a warning can be given so that it can be determined whether the obstacle 54 whose existence has been confirmed is approaching or moving away from the moving body 100.

次に、本発明の第３の実施形態を説明する。第３の実施形態では移動体１００と障害物５４の相対距離の変化の判別方法が第２の実施形態と異なっている。以下に、第２の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態または第２の実施形態と同じ構成を有する部位には同じ符号を付す。   Next, a third embodiment of the present invention will be described. In the third embodiment, a method for determining a change in the relative distance between the moving object 100 and the obstacle 54 is different from that in the second embodiment. The third embodiment will be described below with a focus on differences from the second embodiment. In addition, the same code | symbol is attached | subjected to the site | part which has the same structure as 1st Embodiment or 2nd Embodiment.

第３の実施形態においては、図１０に示すように、カメラシステム１は、カメラ装置１０と、表示部２０と、音声出力部３０と、振動発生部４０と、更に車両情報取得部５０とを備える。表示部２０、音声出力部３０、および振動発生部４０の構成および機能は、第２の実施形態と同様である。車両情報取得部５０は、移動体１００から、例えばＣＡＮ通信などの通信方法により、例えば移動速度、前進／後退のいずれかを示す前進／後退情報、および躁舵角情報などの車両情報を取得する。   In the third embodiment, as shown in FIG. 10, the camera system 1 includes a camera device 10, a display unit 20, an audio output unit 30, a vibration generation unit 40, and a vehicle information acquisition unit 50. Prepare. The configurations and functions of the display unit 20, the audio output unit 30, and the vibration generation unit 40 are the same as those in the second embodiment. The vehicle information acquisition unit 50 acquires vehicle information such as travel speed, forward / reverse information indicating either forward / reverse, and rudder angle information, for example, from the moving body 100 by a communication method such as CAN communication. .

第３の実施形態において、制御部１２は、第２の実施形態と同様に、第１の実施形態で実行する機能に加えて、障害物５４が移動体１００に近付いているか、すなわち相対距離の変化を判別し、判別結果に基づく警告を行なう機能を有する。第３の実施形態では、第２の実施形態と異なり、少なくとも１つのフレームの撮像画像５１における障害物５４の位置、および取得した車両情報に基づいて、相対距離の変化を判別する。   In the third embodiment, as in the second embodiment, in addition to the function executed in the first embodiment, the control unit 12 determines whether the obstacle 54 is approaching the moving body 100, that is, the relative distance It has a function of discriminating changes and giving a warning based on the discrimination result. In the third embodiment, unlike the second embodiment, a change in relative distance is determined based on the position of the obstacle 54 in the captured image 51 of at least one frame and the acquired vehicle information.

例えば、図４に示すように、撮像画像５１における障害物５４の位置が、画像の左側の辺部近傍である場合において、移動体１００が左方に移動することを示す車両情報、例えば移動体１００が左方に進行することを示す躁舵角情報および前進／後退情報を取得するときに、相対距離が減少していると判別可能である。   For example, as shown in FIG. 4, when the position of the obstacle 54 in the captured image 51 is in the vicinity of the left side of the image, vehicle information indicating that the moving body 100 moves to the left, for example, the moving body When obtaining the rudder angle information and the forward / reverse information indicating that 100 travels to the left, it can be determined that the relative distance has decreased.

第３の実施形態では、第２の実施形態と同様に、障害物５４が非表示画像５３および表示画像５２内のいずれに位置するか、および相対距離の増加および減少の何れであるかに応じて、異なる警告を行う。   In the third embodiment, as in the second embodiment, depending on whether the obstacle 54 is located in the non-display image 53 or the display image 52 and whether the relative distance is increased or decreased. Different warnings.

以上のような第３の実施形態においても、第２の実施形態と同様の効果を奏することが可能である。   Also in the third embodiment as described above, it is possible to achieve the same effect as in the second embodiment.

上述の実施形態は、代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、図１、１０に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。また、第２の実施形態および第３の実施形態において、障害物５４の接近および離反の何れかの判別可能な警告は、表示画像５２内および非表示画像５３内の何れか一方に障害物５４が存在するときのみに実行されてもよい。   Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks shown in FIGS. 1 and 10 can be combined into one, or one constituent block can be divided. Further, in the second embodiment and the third embodiment, the warning that can determine whether the obstacle 54 is approaching or leaving is displayed on the obstacle 54 in either the display image 52 or the non-display image 53. It may be executed only when exists.

１ カメラシステム
１０ カメラ装置
１１ カメラ
１２ 制御部
１３ 記憶部
２０ 表示部
３０ 音声出力部
３１ 左側音声出力部
３２ 右側音声出力部
４０ 振動発生部
４１ 左側振動発生部
４２ 右側振動発生部
５０ 車両情報取得部
５１ 撮像画像
５２ 表示画像
５３ 非表示画像
５４ 障害物
６１，６４ 第１の警告用画像
６２，６３，６５ 第２の警告用画像
６６ 第１の警告用音声
６７ 第２の警告用音声
１００ 移動体
１１１ 撮像部
１１２ 画像処理部
１２１ 障害物検出部
１２２ 表示制御部
１２３ 音声制御部
１２４ 振動制御部 DESCRIPTION OF SYMBOLS 1 Camera system 10 Camera apparatus 11 Camera 12 Control part 13 Storage part 20 Display part 30 Audio | voice output part 31 Left audio | voice output part 32 Right audio | voice output part 40 Vibration generating part 41 Left vibration generating part 42 Right vibration generating part 50 Vehicle information acquisition part 51 Captured Image 52 Displayed Image 53 Non-Displayed Image 54 Obstacle 61, 64 First Warning Image 62, 63, 65 Second Warning Image 66 First Warning Sound 67 Second Warning Sound 100 Mobile Object 111 Imaging unit 112 Image processing unit 121 Obstacle detection unit 122 Display control unit 123 Audio control unit 124 Vibration control unit

Claims (11)

移動体の所定位置に取り付けられ、移動体外部の撮像画像を生成するカメラと、
前記撮像画像の一部の画像である表示画像を決定するとともに、前記撮像画像内に存在する障害物を検出し、該障害物が前記撮像画像から前記表示画像を除いた画像である非表示画像内に存在する場合と、該障害物が前記表示画像内に存在する場合とで、異なる警告を発生させる制御部と、
を備えることを特徴とするカメラ装置。 A camera attached to a predetermined position of the moving body and generating a captured image outside the moving body;
A non-display image that determines a display image that is a part of the captured image, detects an obstacle present in the captured image, and is obtained by removing the display image from the captured image A control unit that generates different warnings depending on whether the obstacle exists in the display image, and
A camera apparatus comprising: 前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用画像を前記表示画像に重畳させることを特徴とする、請求項１に記載のカメラ装置。   The control unit superimposes different warning images on the display image when the obstacle is present in the non-display image and when the obstacle is present in the display image. The camera device described in 1. 前記制御部は、時間経過による前記移動体および前記障害物の相対距離の変化を判別し、前記相対距離の変化が相対距離の増加である場合と相対距離の減少である場合とで異なる警告を発生させることを特徴とする、請求項１または２に記載のカメラ装置。   The control unit determines a change in the relative distance between the moving object and the obstacle over time, and gives a different warning depending on whether the change in the relative distance is an increase in the relative distance or a decrease in the relative distance. The camera device according to claim 1, wherein the camera device is generated. 前記制御部は、前記カメラによる生成時期の異なる複数の撮像画像に基づいて、前記相対距離の変化を判別することを特徴とする、請求項３に記載のカメラ装置。   The camera device according to claim 3, wherein the control unit determines a change in the relative distance based on a plurality of captured images having different generation times by the camera. 前記制御部は、前記移動体から取得する運転情報、および前記撮像画像における前記障害物の位置に基づいて、前記相対距離の変化を判別することを特徴とする、請求項３に記載のカメラ装置。   The camera device according to claim 3, wherein the control unit determines a change in the relative distance based on driving information acquired from the moving body and a position of the obstacle in the captured image. . 前記制御部は、
前記障害物が前記非表示画像内に存在する場合には、前記表示画像のうち該障害物が存在する方向の画像端に第１の警告用画像を重畳させ、
前記障害物が前記表示画像内に存在する場合には、該障害物の位置に応じて第２の警告用画像を重畳させることを特徴とする、請求項２に記載のカメラ装置。 The controller is
When the obstacle is present in the non-display image, the first warning image is superimposed on the image edge in the direction in which the obstacle exists in the display image,
3. The camera device according to claim 2, wherein when the obstacle is present in the display image, a second warning image is superimposed according to the position of the obstacle. 前記制御部は、
前記障害物が前記非表示画像内に存在する場合には、前記表示画像のうち該障害物が存在する方向の画像端または画像隅に第１の警告用画像を重畳させ、
前記障害物が前記表示画像内に存在する場合には、第１の警告用画像の色または形状を変化させた画像を第２の警告用画像として重畳させることを特徴とする、請求項２に記載のカメラ装置。 The controller is
When the obstacle is present in the non-display image, a first warning image is superimposed on an image edge or an image corner in the direction in which the obstacle exists in the display image,
3. The image according to claim 2, wherein when the obstacle is present in the display image, an image in which the color or shape of the first warning image is changed is superimposed as a second warning image. The camera device described. 前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用音声を出力させることを特徴とする、請求項１から７のいずれか一項に記載のカメラ装置。   8. The control unit according to claim 1, wherein the control unit outputs different warning sounds depending on whether the obstacle is present in the non-display image or in the display image. 9. A camera device according to claim 1. 前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用振動を発生させることを特徴とする、請求項１から８のいずれか一項に記載のカメラ装置。   9. The control unit according to claim 1, wherein the control unit generates different warning vibrations when the obstacle is present in the non-display image and when the obstacle is present in the display image. A camera device according to claim 1. 移動体の所定位置に取り付けられたカメラの撮像画像から、前記撮像画像内に存在する障害物を検出するカメラ装置であって、
前記障害物が前記撮像画像において表示部にて表示されない領域である非表示画像内に存在する場合と、該障害物が前記撮像画像において表示部にて表示される領域である表示画像内に存在する場合とで、異なる警告を行う制御部と、
を備えることを特徴とするカメラ装置。 A camera device that detects an obstacle present in the captured image from a captured image of a camera attached to a predetermined position of a moving body,
The obstacle exists in a non-display image that is a region that is not displayed on the display unit in the captured image, and the obstacle exists in a display image that is a region that is displayed on the display unit in the captured image. A control unit that gives different warnings depending on
A camera apparatus comprising: 移動体の所定位置に取り付けられたカメラにより、移動体外部の撮像画像を生成するステップと、
前記撮像画像の一部の画像である表示画像を決定するステップと、
前記撮像画像内に存在する障害物を検出するステップと、
前記障害物が前記撮像画像から前記表示画像を除いた画像である非表示画像内に存在する場合と、前記障害物が前記表示画像内に存在する場合とで、異なる警告を行うステップと、
を含むことを特徴とする警告方法。 Generating a captured image outside the moving body with a camera attached to a predetermined position of the moving body;
Determining a display image that is a partial image of the captured image;
Detecting an obstacle present in the captured image;
Different warnings when the obstacle is present in a non-display image that is an image obtained by removing the display image from the captured image and when the obstacle is present in the display image;
A warning method characterized by comprising:
JP2014063796A 2013-05-29 2014-03-26 Camera device and warning method Pending JP2015008453A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014063796A JP2015008453A (en) 2013-05-29 2014-03-26 Camera device and warning method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013112516 2013-05-29
JP2013112516 2013-05-29
JP2014063796A JP2015008453A (en) 2013-05-29 2014-03-26 Camera device and warning method

Publications (1)

Publication Number Publication Date
JP2015008453A true JP2015008453A (en) 2015-01-15

Family

ID=52338455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014063796A Pending JP2015008453A (en) 2013-05-29 2014-03-26 Camera device and warning method

Country Status (1)

Country Link
JP (1) JP2015008453A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160111757A (en) * 2015-03-17 2016-09-27 삼성전자주식회사 Image photographing apparatus and method for photographing thereof
WO2018092919A1 (en) * 2016-11-21 2018-05-24 京セラ株式会社 Image processing device, imaging device, and display system
JP2018085582A (en) * 2016-11-21 2018-05-31 京セラ株式会社 Image processing apparatus, imaging apparatus, and display system
JP2019046069A (en) * 2017-08-31 2019-03-22 株式会社デンソーテン Driving support device and driving support method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0971198A (en) * 1995-09-06 1997-03-18 Mazda Motor Corp Obstacle confirming device
JPH1142988A (en) * 1997-07-25 1999-02-16 Yazaki Corp Vehicle rear monitoring method and vehicle rear monitoring device
JP2001199296A (en) * 2000-01-17 2001-07-24 Matsushita Electric Ind Co Ltd Warning device, driver's seat having vibrating body, and mobile body equipped with warning device on vehicle
JP2005149200A (en) * 2003-11-17 2005-06-09 Nissan Motor Co Ltd Risk notification apparatus, and vehicle and driver's seat equipped with risk notification apparatus
JP2007142545A (en) * 2005-11-15 2007-06-07 Denso Corp Vehicle periphery image processing apparatus and program
JP2007295043A (en) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd Vehicle periphery monitoring apparatus
JP2011151479A (en) * 2010-01-19 2011-08-04 Aisin Seiki Co Ltd Vehicle surrounding monitoring device
JP2012113605A (en) * 2010-11-26 2012-06-14 Toshiba Alpine Automotive Technology Corp Driving support apparatus and driving support method
JP2012162211A (en) * 2011-02-09 2012-08-30 Honda Motor Co Ltd Vehicular periphery monitoring device
JP2012227699A (en) * 2011-04-19 2012-11-15 Toyota Motor Corp Image display device and image display method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0971198A (en) * 1995-09-06 1997-03-18 Mazda Motor Corp Obstacle confirming device
JPH1142988A (en) * 1997-07-25 1999-02-16 Yazaki Corp Vehicle rear monitoring method and vehicle rear monitoring device
JP2001199296A (en) * 2000-01-17 2001-07-24 Matsushita Electric Ind Co Ltd Warning device, driver's seat having vibrating body, and mobile body equipped with warning device on vehicle
JP2005149200A (en) * 2003-11-17 2005-06-09 Nissan Motor Co Ltd Risk notification apparatus, and vehicle and driver's seat equipped with risk notification apparatus
JP2007142545A (en) * 2005-11-15 2007-06-07 Denso Corp Vehicle periphery image processing apparatus and program
JP2007295043A (en) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd Vehicle periphery monitoring apparatus
JP2011151479A (en) * 2010-01-19 2011-08-04 Aisin Seiki Co Ltd Vehicle surrounding monitoring device
JP2012113605A (en) * 2010-11-26 2012-06-14 Toshiba Alpine Automotive Technology Corp Driving support apparatus and driving support method
JP2012162211A (en) * 2011-02-09 2012-08-30 Honda Motor Co Ltd Vehicular periphery monitoring device
JP2012227699A (en) * 2011-04-19 2012-11-15 Toyota Motor Corp Image display device and image display method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160111757A (en) * 2015-03-17 2016-09-27 삼성전자주식회사 Image photographing apparatus and method for photographing thereof
KR102335167B1 (en) * 2015-03-17 2021-12-03 삼성전자주식회사 Image photographing apparatus and method for photographing thereof
WO2018092919A1 (en) * 2016-11-21 2018-05-24 京セラ株式会社 Image processing device, imaging device, and display system
JP2018085582A (en) * 2016-11-21 2018-05-31 京セラ株式会社 Image processing apparatus, imaging apparatus, and display system
US11030468B2 (en) 2016-11-21 2021-06-08 Kyocera Corporation Image processing apparatus
JP2019046069A (en) * 2017-08-31 2019-03-22 株式会社デンソーテン Driving support device and driving support method

Similar Documents

Publication Publication Date Title
JP4325705B2 (en) Display system and program
JP4275507B2 (en) Driving assistance device
JP4807104B2 (en) Vehicle surrounding monitoring system and image display method
JP4687411B2 (en) Vehicle peripheral image processing apparatus and program
JP5158051B2 (en) Driving assistance device
JP5601930B2 (en) Vehicle display device
JP6224029B2 (en) Image processing apparatus and image processing method
TWI533694B (en) Obstacle detection and display system for vehicle
JP2013005233A (en) Vehicle periphery monitoring device
JP2015008453A (en) Camera device and warning method
JP2014129093A (en) Periphery monitoring device for vehicle
JP2007028363A (en) Top view image generating apparatus and top view image display method
JP2007133732A (en) Safe travel support device
JP2006246430A (en) Vehicle vicinity monitoring apparatus
JP2014146083A (en) Object detection device, object detection system and object detection method
JP2010184588A (en) Vehicle vicinity monitor device
JP2009188810A (en) Vehicle periphery video display
WO2019239725A1 (en) Vehicle control device
JP2012001126A (en) Vehicle surroundings monitoring device
WO2006046715A1 (en) Entertainment system
JP2011211432A (en) In-vehicle imaging apparatus
JP2010124300A (en) Image processing apparatus and rear view camera system employing the same
JP2013132976A (en) Obstacle alarm device
JP2019087909A (en) Image display apparatus and image display system
JP2012090087A (en) Driving assist apparatus using vehicle periphery image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170810

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180213