JP2014116756A - Periphery monitoring system - Google Patents
Periphery monitoring system Download PDFInfo
- Publication number
- JP2014116756A JP2014116756A JP2012268659A JP2012268659A JP2014116756A JP 2014116756 A JP2014116756 A JP 2014116756A JP 2012268659 A JP2012268659 A JP 2012268659A JP 2012268659 A JP2012268659 A JP 2012268659A JP 2014116756 A JP2014116756 A JP 2014116756A
- Authority
- JP
- Japan
- Prior art keywords
- boundary
- camera
- monitoring system
- image data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、車両の周辺を撮影して表示する周辺監視システムに関する。 The present invention relates to a periphery monitoring system that captures and displays the periphery of a vehicle.
車両の後方から後側方の状況を確認するため車外に取り付けられるミラーとしてドアミラーが主流になっている。このドアミラーを代替するミラーとして、カメラを左右のフェンダーに取り付け映像を車室内のディスプレイに表示する周辺監視システム(以下、カメラが撮影した画像をディスプレイに映像を表示することを電子ミラーという)が検討されている。電子ミラーはドアミラーよりも前方に取り付けられるので、ドアミラーよりも広い画角を撮影して表示することが可能である。このため、運転者が後方確認しやすくなるという利点がある。 In order to confirm the situation from the rear side of the vehicle to the rear side, door mirrors are mainly used as mirrors attached to the outside of the vehicle. As an alternative to this door mirror, a peripheral monitoring system that attaches the camera to the left and right fenders and displays the image on the display in the passenger compartment (hereinafter referred to as displaying an image captured by the camera on the display is called an electronic mirror) is being considered. Has been. Since the electronic mirror is attached in front of the door mirror, it is possible to capture and display a wider angle of view than the door mirror. For this reason, there exists an advantage that it becomes easy for a driver | operator to confirm back.
図1は車両における電子ミラー用のカメラの搭載位置の一例を示す図である。図1(a)は側面図を図1(b)は正面図をそれぞれ示している。側面視、左前輪のフェンダーの右上(約2時の方向)に、光軸を後方に向けて電子ミラー用のカメラが搭載されている。右側の前輪にも同じ位置に電子ミラー用のカメラが取り付けられる。 FIG. 1 is a diagram illustrating an example of a mounting position of a camera for an electronic mirror in a vehicle. 1A shows a side view and FIG. 1B shows a front view. When viewed from the side, a camera for an electronic mirror is mounted on the upper right (about 2 o'clock direction) of the left front wheel fender with the optical axis facing rearward. A camera for an electronic mirror is also attached to the right front wheel at the same position.
しかしながら、電子ミラーの場合、カメラの搭載位置によっては実景がボデーに映り込んでしまい、実景とボデーに映り込んだ反射像の判別が困難になるという問題がある。 However, in the case of the electronic mirror, there is a problem that the actual scene is reflected in the body depending on the mounting position of the camera, and it is difficult to distinguish between the actual scene and the reflected image reflected in the body.
図2は電子ミラー用のカメラが撮影した画像の一例であるが、実景とボデーに映り込んだ反射像がほぼ線対称になり両者の境界が分かりにくい。ドアミラーの場合も、実景がボデーに映り込むことはあるが、ドアミラーはボデーよりも高い位置に配置され、ボデーを斜め上から撮影する配置となるため線対称な反射像がボデーに映ることは少ない。これに対し、電子ミラーのカメラの光軸はボデー及び路面と平行に近いため、図2のように実景とボデーに映り込んだ反射像がほぼ線対称になってしまう。この現象は、電子ミラー用のカメラの撮影範囲を広くするため、電子ミラーのカメラの搭載位置を車両前方に移動し、サイドミラーの位置より下方に移動するほど目立つようになる。 FIG. 2 shows an example of an image taken by a camera for an electronic mirror, but the reflected image reflected on the actual scene and the body is almost line symmetric, making it difficult to understand the boundary between the two. Even in the case of a door mirror, the actual scene may be reflected in the body, but the door mirror is placed at a higher position than the body and the body is photographed from diagonally above, so a line-symmetric reflection image is rarely reflected in the body. . On the other hand, since the optical axis of the camera of the electronic mirror is almost parallel to the body and the road surface, the reflected image reflected on the actual scene and the body is almost line-symmetric as shown in FIG. This phenomenon becomes more conspicuous as the camera mounting position of the electronic mirror is moved to the front of the vehicle and moved downward from the position of the side mirror to widen the shooting range of the electronic mirror camera.
また、カメラのゲインコントロール機能などによって、画面内の輝度の均一化が図られると、実景と反射像の輝度差が小さくなり、さらに判別が難しくなる。 In addition, when the brightness in the screen is made uniform by the gain control function of the camera, the brightness difference between the actual scene and the reflected image becomes small, and the discrimination becomes more difficult.
電子ミラーのカメラの向きをボデーが入らないように設置すればこのような不都合は生じない。しかし、運転者としてはボデーの一部を写すことで自車両に対し他車両などがどのくらい離れているかを判断するため、ボデーが入らないように設置することは困難である。 If the electronic mirror camera is installed so that the body does not enter, such inconvenience does not occur. However, it is difficult for the driver to install the vehicle so that it does not enter the vehicle because a part of the body is copied to determine how far the other vehicle is from the vehicle.
運転者が容易に実景とボデーに映り込んだ反射像を判別できるようにするには、画像を補整すればよい。画像における車体部の像を補正する技術は従来から散見される(例えば、特許文献1参照。)。特許文献1には、歪みのあるレンズで撮影された画像をX軸からの距離に依存して非線形に増加する拡大率で拡大処理することで、車体の縁部とこの車体の縁部とを平行な直線とする周辺監視装置が開示されている。 In order for the driver to easily discriminate between the actual scene and the reflected image reflected in the body, the image may be corrected. A technique for correcting an image of a vehicle body portion in an image has been widely used (see, for example, Patent Document 1). In Patent Document 1, an image captured with a distorted lens is enlarged at a magnification that increases nonlinearly depending on the distance from the X-axis, so that the edge of the vehicle body and the edge of the vehicle body are A peripheral monitoring device having parallel straight lines is disclosed.
しかしながら、特許文献1に開示された技術では車体に映り込んだ反射像について考慮されておらず、実景とボデーに映り込んだ反射像を容易に判別することができないという問題は解決されない。 However, the technique disclosed in Patent Document 1 does not consider the reflected image reflected on the vehicle body, and the problem that the reflected image reflected on the actual scene and the body cannot be easily distinguished cannot be solved.
本発明は、上記課題に鑑み、カメラが撮影した画像において、実景とボデーとを判別可能な周辺監視システムを提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a periphery monitoring system capable of discriminating a real scene and a body in an image taken by a camera.
本発明は、自車両の車体と車両周辺とを撮影範囲に含む撮影手段と、前記撮影手段が撮影した画像データにおける、前記車体と前記車両周辺との境界を示す境界情報が記憶された境界情報記憶手段と、前記境界情報に基づき、前記画像データに前記境界を明瞭化する処理を施す画像処理手段と、前記画像処理手段が前記境界を明瞭化する処理を施した前記画像データを表示する表示手段と、を有することを特徴とする周辺監視システムを提供する。 The present invention relates to boundary information in which boundary information indicating a boundary between the vehicle body and the periphery of the vehicle in image data captured by the imaging means includes image capturing means including the vehicle body and the vehicle periphery of the host vehicle. Storage means, image processing means for performing processing for clarifying the boundary on the image data based on the boundary information, and display for displaying the image data for which the image processing means has performed processing for clarifying the boundary And a peripheral monitoring system.
カメラが撮影した画像において、実景とボデーとを判別可能な周辺監視システムを提供することができる。 It is possible to provide a periphery monitoring system capable of discriminating a real scene and a body from an image taken by a camera.
以下、本発明を実施するための形態について図面を参照しながら説明する。しかしながら、本発明の技術的範囲が、本実施の形態に限定されるものではない。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. However, the technical scope of the present invention is not limited to this embodiment.
図3は、本実施形態における周辺監視システムの概略的な特徴を説明する図の一例である。
(1)図3(a)は電子ミラー用カメラが撮影した補正前の画像を示す図である。このような画像に対し周辺監視システムは、ボデーと実景の境界が明瞭となる環境で、ボデーと実景の境界(または境界線)を検出する。この境界は環境光の明るさや色温度を調整することで明確になることが分かっている。境界情報は車両の不揮発メモリに記憶される。
(2)周辺監視システムは、境界線からボデー側の画像に境界を明瞭にする画像処理を施す。この画像処理は、運転者や乗員(以下、単に運転者という)が少なくともボデーの外縁を容易に把握できるようにする処理である。例えば、ボデー側の画素の輝度値を下げる(暗くする)、又は、ボデー側の画素の画素値を予め知られているボデーと同じ色で塗りつぶす、などの画像処理が好適である。図3(b)はボデー側の画素の輝度値を下げる処理が行われた画像の一例を示している。図3(b)に示すように、ボデーへの実景の映り込みが低減され運転者はボデーの外縁を容易に把握できるようになる。
FIG. 3 is an example of a diagram illustrating the schematic features of the periphery monitoring system in the present embodiment.
(1) FIG. 3A is a diagram showing an uncorrected image taken by the electronic mirror camera. For such an image, the periphery monitoring system detects the boundary (or boundary line) between the body and the actual scene in an environment where the boundary between the body and the actual scene becomes clear. It has been found that this boundary becomes clear by adjusting the brightness of ambient light and the color temperature. The boundary information is stored in the nonvolatile memory of the vehicle.
(2) The periphery monitoring system performs image processing for clarifying the boundary from the boundary line to the image on the body side. This image processing is processing for enabling a driver or a passenger (hereinafter simply referred to as a driver) to easily grasp at least the outer edge of the body. For example, image processing such as lowering (darkening) the luminance value of the pixel on the body side, or painting the pixel value of the pixel on the body side with the same color as the body known in advance is suitable. FIG. 3B shows an example of an image that has been subjected to processing for reducing the luminance value of the pixel on the body side. As shown in FIG. 3B, the reflection of the actual scene on the body is reduced, and the driver can easily grasp the outer edge of the body.
したがって、本実施形態の周辺監視システムによれば、電子ミラーにより広い画角の画像を表示すると共に、運転者が実景とボデーとを容易に判別することができる。 Therefore, according to the periphery monitoring system of the present embodiment, an image with a wide angle of view is displayed by the electronic mirror, and the driver can easily discriminate between the actual scene and the body.
〔取り付け位置の例〕
図4(a)は、車両の側面図の一例を示す。電子ミラー用カメラは車両前方のフェンダー部11に取り付けられることが好ましい。車両によってはフェンダーパネルが独立した部品であるが、多くの車両ではボデーと一体化された車輪周囲のパネルを言う。本実施形態では特に区別することなくフェンダー部11と称する。
[Example of mounting position]
Fig.4 (a) shows an example of the side view of a vehicle. The electronic mirror camera is preferably attached to the
電子ミラー用カメラはフェンダー部11の上部11a、後方11b、または、前方11cに固定される。同一画角のカメラでは車両の前方に装着されるほど、車両の周囲の撮影範囲が広くなるため好ましい。また、電子ミラー用カメラが取り付けられる高さは、撮影範囲、車両の意匠やデザイン、防塵性・防水性、レンズの汚れやすさなどを考慮して決定することができる。原理的には、フェンダー部11の最下部から最上部の範囲で取り付けることが可能である。ボデーと一体のフェンダー部11に取り付けられる際、電子ミラー用カメラはブラケットを介して車体に固定される。
The electronic mirror camera is fixed to the
また、図4(b)に示すように、オーバーフェンダー12が装着された車両では、オーバーフェンダー12に電子ミラー用カメラを埋め込むことができる。また、上記のブラケットをオーバーフェンダー12の形状に作成すれば、車両との一体感が得られ意匠上好ましい場合がある。 In addition, as shown in FIG. 4B, in a vehicle equipped with the over fender 12, an electronic mirror camera can be embedded in the over fender 12. Further, if the above bracket is formed in the shape of the over fender 12, a sense of unity with the vehicle is obtained, which may be preferable in design.
図4(c)は電子ミラー用カメラの撮影範囲を示す図の一例である。前輪の左右にほぼ対称に電子ミラー用カメラ23が取り付けられる。必ずしも左右に取り付ける必要はなく、運転席から遠い側にだけ取り付けることも可能である。ドアミラーよりも前方に取り付けられるので、車両の周囲の撮影範囲が広くなり運転者が後方確認しやすくなる。
FIG. 4C is an example of a diagram showing a photographing range of the electronic mirror camera. The
本実施形態では、図4(a)のようにフェンダー部11に電子ミラー用カメラ23が装着された場合を例に説明するが、後述する画像処理はサイドミラー13やフェンダーミラー14に装着されたカメラ(以下、サイドカメラ、フェンダーカメラという)が撮影する画像にも有効である。
In this embodiment, the case where the
図5(a)はサイドカメラの撮影範囲を示す図の一例を、図5(b)はフェンダーカメラの撮影範囲を示す図の一例をそれぞれ示す。サイドカメラ及びフェンダーカメラが撮影する画像にはボデーと実景が含まれる。サイドカメラ及びフェンダーカメラは、光軸が路面と平行とはなりにくいので上述した課題は生じにくいが、画像に境界を明瞭化する画像処理を施すことで、運転者はボデーの外縁をさらに容易に判別できるようになる。 FIG. 5A shows an example of a drawing showing the shooting range of the side camera, and FIG. 5B shows an example of a drawing showing the shooting range of the fender camera. The images taken by the side camera and the fender camera include a body and a real scene. The side camera and fender camera are less likely to cause the above-mentioned problems because the optical axis is less likely to be parallel to the road surface, but the driver can make the outer edge of the body easier by applying image processing to clarify the boundary of the image. It becomes possible to distinguish.
〔ディスプレイの配置〕
図6は、電子ミラー用カメラ23が撮影した画像が表示されるディスプレイについて説明する図の一例である。ディスプレイ21は、例えばフラットパネルディスプレイ(液晶、有機EL、プラズマなど)である。ディスプレイ21は運転者の視界を遮らない場所に配置される。また、運転席に着座した運転者の視線移動が少ない場所に配置されることが好ましい。このような例としてはナビゲーション装置が道路地図を表示するセンタークラスターやダッシュボードに配置されたディスプレイがある。センタークラスターのディスプレイ21は車両に固定されていることが一般的であるが、ダッシュボードのディスプレイは固定されている場合と可搬型の場合がある。本実施形態ではどちらのディスプレイに対しても電子ミラー用カメラ23が撮影した画像を表示可能である。また、可搬型のディスプレイの場合は、可搬型ナビゲーション装置と一体になったディスプレイだけでなく、スマートフォンやPDAのような情報処理装置のディスプレイが含まれる。車両と情報処理装置は無線で通信し画像データを送信すればよい。
[Display arrangement]
FIG. 6 is an example of a diagram illustrating a display on which an image captured by the
ナビゲーション用のディスプレイ21は1台しか搭載されていないことが多いので、車両の左右に電子ミラー用カメラが配置されている場合は画面を分割してそれぞれの画像を表示する。左側にのみ電子ミラー用カメラが配置されている場合は、ディスプレイ21の全面又は一部に画像を表示すればよい。このディスプレイ21は道路地図、テレビ画面、再生映像、メニュー表示画面などと共用されるので、運転者の操作により任意の画面を表示できるようになっている。
In many cases, only one
また、電子ミラー用カメラ23がサイドミラー13の代わりに(又はサイドミラー13と共に)車両後側方の映像を提供することを考慮すると、サイドミラー13の近くにディスプレイ21を配置することが好ましい。運転者はサイドミラー13に視線を移動する場合と同じ方向に視線移動することで電子ミラー用カメラ23が撮影した画像を目視できる。図では前方ピラー(Aピラー)にディスプレイ21が取り付けられている。また、前方ピラーでなく前方ピラー寄りのダッシュボード上にディスプレイを配置することで視線移動を少なくすることができる。このディスプレイは、運転者の嗜好に応じて収納又は脱着可能としてもよく、運転者はサイドミラー13と電子ミラー用カメラ23のうち所望の画像で後側方の状況を確認できる。
Considering that the
また、サイドミラー13にディスプレイ21を埋設してもよい。すなわち、サイドミラー13がディスプレイ21そのものとなる。運転者はサイドミラー13に視線を移動する場合と同じ視線移動で電子ミラー用カメラ23が撮影した画像を見ることができる。また、この画像はサイドミラー13に映る画像よりも広い範囲が撮影されたものなので、運転者はサイドミラー13を見る場合と同じ視線移動でより広い範囲の画像を見ることができる。
Further, the
また、表示装置としてフラットパネルディスプレイでなく(又はフラットパネルディスプレイと共に)投影型のディスプレイ(例えば、HUD(Head Up Display)、プロジェクタ)を用い、電子ミラー用カメラ23が撮影した画像を表示してもよい。HUDを表示装置とする場合、ウィンドシールドガラスの前方ピラー付近や、フロントドアガラスの前方ピラー付近に画像を表示する。これにより、ディスプレイ21により車内空間を占有することなく、運転者はサイドミラー13に視線を移動する場合と同じ方向に少ない視線移動で、電子ミラー用カメラ23が撮影した画像を見ることができる。
In addition, even if a projection display (for example, HUD (Head Up Display), projector) is used as a display device instead of a flat panel display (or with a flat panel display), an image captured by the
〔機能構成例〕
図7(a)は周辺監視システム100の概略構成図の一例を、図7(b)はカメラコンピュータ22の機能ブロック図の一例をそれぞれ示す。周辺監視システム100は電子ミラー用カメラ23、カメラコンピュータ22、及び、ディスプレイ21を有しており、カメラコンピュータ22により制御される。カメラコンピュータ22は、CPU、RAM、ROM、不揮発メモリ、及び、各種のI/Oを有する情報処理装置である。カメラコンピュータ22は電子ミラー用カメラ23と一体に構成されていてもよく、カメラコンピュータ22とディスプレイ21とが一体に構成されていてもよく、カメラコンピュータ22と電子ミラー用カメラ23とディスプレイ21が一体に構成されていてもよい。
[Function configuration example]
7A shows an example of a schematic configuration diagram of the
電子ミラー用カメラ23はCCDやCMOSなどの所定の画素数の撮像素子、光学系のレンズ、絞り、画像処理部等を備えている。輝度情報のみを撮影可能な白黒カメラ、又は、カラーフィルターを備えたカラーカメラのいずれでもよい。
The
電子ミラー用カメラ23とカメラコンピュータ22は、制御線24と例えばNTSC(National Television System Committee)などの映像送信線25で接続されている。制御線24は例えば車両用のオーディオビジュアル機器を制御するためのLAN、CAN(Controller Area Network)、イーサネット(登録商標)又は専用線等である。また映像信号のNTSCは一例であり、PAL(Phase Alternating Line)やSECAM(順次式カラーメモリ)など他のアナログ信号、GVIF(Gigabit Video Interface)、HDMIやDVIなどのデジタル信号で送信してもよい。また、デジタル信号で送信する場合はMPEG2やH.264などの圧縮アルゴリズムで圧縮してもよい。カメラコンピュータ22とディスプレイ21も制御線24と映像送信線25で接続されている。接続方法は、ディスプレイ21の仕様に適したものであればよく、カメラコンピュータ22と電子ミラー用カメラ23の接続方法と同様でも異なっていてもよい。
The
また、図では電子ミラー用カメラ23、カメラコンピュータ22、及び、ディスプレイ21間が有線で接続されているが、無線で接続することも可能である。例えば、IEEE802.11a/bg/n/acやBluetooth(登録商標)などで接続する。
In the figure, the
ディスプレイ21は操作部26を有しており、運転者やメーカ開発者、サービスマン等の操作を受け付ける。操作部26は、ディスプレイ21の周囲に配置されたハードキー、ディスプレイ21と一体のタッチパネル、タッチパネルに表示されるソフトキー等である。また、ステアリングスイッチを押下された際の発話内容を解析し音声により操作を受け付けてもよい。また、カメラで運転者の手の動きなどを撮影すると共に解析し手の動きに応じた操作を受け付けてもよい。
The
本実施形態では、操作部26は周辺監視システム100の起動・停止、境界の検出の指示操作、どのように境界を明瞭化するかなどを受け付ける。ディスプレイ21にこれら操作可能なメニューが表示される場合、運転者やサービスマン等はガイド用のメッセージに従って、ソフトキーを操作すればよい。ハードキーであれば、起動・停止のボタン操作で起動し、同じハードキーの長押しなどを境界の検出の指示操作とする。
In the present embodiment, the operation unit 26 receives start / stop of the
図7(b)に示すようにカメラコンピュータ22は映像変換部31、VRAM33、映像処理部36、通信処理部32、映像解析部34、制御部35、及び、不揮発メモリ37を有している。これらの機能はハードウェア、及び、CPUがROMに記憶されたプログラムを実行してハードウェアと協働することで実現されている。
As shown in FIG. 7B, the
映像変換部31は電子ミラー用カメラ23から送信された映像信号を変換する。必要であれば変換の前にアナログ信号からデジタル信号へ変換しておく。このデジタル信号を映像処理に適したフォーマットに変換する。例えば解像度を変換したり、階調を変更することでフォーマットを変換する。なお、電子ミラー用カメラ23が送信する映像信号によってはアナログ/デジタル変換やフォーマット変換が不要な場合がある。
The
この他、インタレースで送信される映像信号では、偶数フィールドと奇数フィールドを合成するか又は奇数フィールド内・偶数フィールド内でそれぞれ画素値を補うなどしてプログレッシブな画像データを作成する。また、アスペクト比(例えば4:3)をディスプレイ21に適したアスペクト比(例えば16:9)に変換する。また、電子ミラー用カメラ23のサイズ(縦横の画素数)をディスプレイ21のサイズに適したもの変換する。
In addition, in a video signal transmitted in an interlaced manner, progressive image data is created by combining even fields and odd fields, or supplementing pixel values in odd fields and even fields, respectively. Also, the aspect ratio (for example, 4: 3) is converted into an aspect ratio (for example, 16: 9) suitable for the
VRAM33(Video RAM)は電子ミラー用カメラ23が送信した映像の1フレームごとの画像データ又は映像変換部31が映像から変換した1フレームごとの画像データを記憶する高速なメモリである。VRAM33は専用のメモリとしてカメラコンピュータ22内に設けてもよいし、プログラムが作業メモリとするRAMを使用してもよい。
A VRAM 33 (Video RAM) is a high-speed memory that stores image data for each frame of video transmitted from the
映像解析部34は、画像データからボデーと実景の境界を検出し、境界情報を不揮発メモリ37に書き込む。不揮発メモリ37はEEPROMやフラッシュメモリなどである。境界の検出は出荷時、又は、電子ミラー用カメラ23そのもの若しくは電子ミラー用カメラ23の取り付け位置等が変わった時に一度、行えばよい。電子ミラー用カメラ23は車両に固定されており、走行中には大きな変動はしないためである。一方、映像解析部34は車載されているため、運転者などの明示的な操作により境界を検出することができる。境界の検出は、境界が明瞭になる環境であれば行うことができる。明瞭になる環境は主に明るさにより定まるため、明るさが管理可能な空間(メーカーの工場、ディーラーのサービス工場など)で行う。どのような明るさが好ましいかは、ボデー色及び床面(車両が置かれている場所の地面)や路面の色などによって変わりうるため、メーカ開発者やサービスマン等は照明の明るさを可変に制御して境界の検出を開始する。
The
不揮発メモリ37にはこの境界情報だけでなく、電子ミラー用カメラ23の仕様(焦点距離、画角、F値など)、及び、電子ミラー用カメラ23の取り付け位置(高さや光軸の方向)などが記憶される。
In the
映像処理部36は不揮発メモリ37に記憶された境界情報を使用して、VRAM33の画像データに境界を明瞭にする画像処理を施す。例えば、境界よりもボデー側の全ての画素の輝度を一定量下げたり、境界よりもボデー側の全ての画素に固定値を書き込む。こうすることでボデー側に映り込んだ実景が目立たなくなる。
The
制御部35は全体の機能の処理タイミングを指示するなどしてカメラコンピュータ22の全体を制御する。例えば、操作部26が境界を検出するという操作を受け付けた場合、境界明瞭化モードから境界検出モードとなり、VRAM33に画像データが記憶されたタイミングで映像解析部34に境界の検出を指示する。また、周辺監視システム100の起動直後など境界明瞭化モードでは、VRAM33に画像データが記憶されたタイミングで映像処理部36に境界を明瞭にする画像処理を指示する。また、電子ミラー用カメラ23を制御する場合、制御部35は通信処理部32に制御信号を送信させる。
The
通信処理部32は制御線24の通信プロトコルに従って制御信号を電子ミラー用カメラ23に送信する。本実施形態では主にゲインコントロールのON/OFFを制御信号として送信する。この他、一般的なカメラで制御可能なシャッター速度や絞りを制御することも可能である。なお、ゲインコントロールとは、撮像素子が出力する画像信号を増幅する処理であり、デジタルカメラの場合、撮影感度(ISO)により増幅率を指定できる。
The
〔境界の検出手順〕
図8は、境界の検出手順を示すフローチャート図の一例を、図9は境界の検出を模式的に説明する図の一例をそれぞれ示す。図8の処理は、周辺監視システム100が起動している状態で、操作部26が境界の検出の指示を受け付けるとスタートする。なお、車両は停止しているものとする。
[Boundary detection procedure]
FIG. 8 shows an example of a flowchart showing a boundary detection procedure, and FIG. 9 shows an example of a diagram schematically explaining boundary detection. The process of FIG. 8 starts when the operation unit 26 receives an instruction to detect a boundary while the
制御部35は、境界明瞭化モードから境界検出モードに移行する(S10)。この間、制御部35は例えば「境界検出中」などのメッセージをディスプレイ21に表示する。
The
制御部35は、電子ミラー用カメラ23にゲインコントロールをOFFするための制御信号を送信する(S20)。電子ミラー用カメラ23はゲインコントロールをOFFにして撮影した映像をカメラコンピュータ22に送信する。ゲインコントロールをOFFにするのは、実景が映り込んだボデーと実景の明るさを揃えるためゲインを制御すると境界が不明瞭になるためである。このように、ゲインコントロールをOFFにすることで境界が不明瞭となる前の画像データが得られる。
The
本実施形態ではゲインコントロールをOFFしたが、この他、境界が不明確となる画像処理をOFFすること、又は、境界が明確となる画像処理をONしてもよい。例えば絞りやシャッター速度を調整する機能をOFF又はONしてもよく、ダイナミックレンジを変更する機能をOFF又はONしてもよい。 In this embodiment, the gain control is turned off, but in addition to this, image processing in which the boundary becomes unclear may be turned off, or image processing in which the boundary becomes clear may be turned on. For example, the function of adjusting the aperture and shutter speed may be turned off or on, and the function of changing the dynamic range may be turned off or on.
次に、映像解析部34は境界の検出を開始する(S30)。図9(a)に示すように水平方向(x軸方向)に並んだ画素列をラインと称し、ラインに沿って処理する。本実施形態では水平方向に隣接した輝度値に閾値以上の差(エッジ)がある場合に、そこを境界の位置に決定する。つまり、境界には実景とボデーの色や明るさの違いがエッジとなって現れるので、そのエッジを検出する。
Next, the
ここで、水平方向のラインの全体から閾値以上の輝度値の差の有無を走査してもよいが、電子ミラー用カメラ23の取り付け位置(光軸の向き)及びボデーのサイズと形状は設計上、決まっている。このため計算上の境界を求めることができる。そして、計算上の境界を中心に水平方向に数十から数百画素程度を境界推定範囲とすればよい。エッジの検出範囲を限定することで、境界以外のエッジを検出することを抑制できる。
Here, the entire horizontal line may be scanned for the presence or absence of a luminance value difference equal to or greater than a threshold value, but the mounting position (the direction of the optical axis) of the
図9(b)は設計値から求められた境界推定範囲の一例を示す図である。境界推定範囲は予め不揮発メモリ37に記憶しておくことができるが、図8の処理の中でカメラコンピュータ22が求めてもよい。
FIG. 9B is a diagram illustrating an example of the boundary estimation range obtained from the design value. The boundary estimation range can be stored in advance in the
また、設計値から計算するのでなく「画像データの中央から水平方向左側に数百画素」のように境界推定範囲を固定してもよい。この場合は垂直方向に帯状の境界推定範囲が得られる。「中央から水平方向左側」とは、中央よりも左側に境界が存在するように電子ミラー用カメラ23が取り付けられていることが前提なので、「中央」は電子ミラー用カメラ23の取り付け位置に応じて変えることが好適である。いずれの場合も、カメラコンピュータ22による境界推定範囲の計算負荷を低減することができる。
Further, instead of calculating from the design value, the boundary estimation range may be fixed such as “several hundred pixels horizontally from the center of the image data”. In this case, a band-like boundary estimation range is obtained in the vertical direction. “Left in the horizontal direction from the center” is based on the premise that the
また、運転者やサービスマン等が境界推定範囲を指定してもよい。すなわち、運転者やサービスマン等はディスプレイ21に画像データを表示させ、操作部26を操作して境界推定範囲を指定する。例えば、タッチパネルで境界推定範囲の外縁を指でなぞる、マウスで境界推定範囲の左上頂点と右下頂点を選択する、ことで帯状の境界推定範囲を指定できる。目視により境界推定範囲を指定するので取り付け誤差が大きい場合にも安定して境界を検出することができる。
Moreover, a driver, a service person, etc. may designate the boundary estimation range. That is, a driver, a serviceman, etc. display image data on the
図8に戻り、映像解析部34は境界推定範囲の隣り合う画素の輝度の差を順番に求めていき、閾値a以上か否かを判定する(S40)。閾値aは予め実験的に定めておく。
Returning to FIG. 8, the
隣り合う画素の輝度の差が閾値a以上でない場合(S40のNo)、境界ではないと判定して次に隣り合う画素(ドット)の輝度の差を求める(S50)。そして、ステップS40に戻り、隣り合う画素の輝度の差が閾値a以上か否かの判定を繰り返す。 If the difference in luminance between adjacent pixels is not greater than or equal to the threshold value a (No in S40), it is determined that the pixel is not a boundary, and the difference in luminance between adjacent pixels (dots) is obtained (S50). Then, the process returns to step S40, and the determination as to whether or not the difference in luminance between adjacent pixels is greater than or equal to the threshold value a is repeated.
隣り合う画素の輝度の差が閾値a以上の場合(S40のYes)、映像解析部34は隣り合う画素の左右どちらかの画素の座標(着目しているラインの水平座標)をRAMなどに記憶しておく。
If the difference in luminance between adjacent pixels is greater than or equal to the threshold value a (Yes in S40), the
そして、垂直方向(y軸方向)に隣接したラインについてステップS40、S50の処理を行う(S60)。なお、ステップS40、S50で輝度の差が閾値a以上の隣り合う画素が見つからない場合、映像解析部34は水平方向の中央の画素を暫定的に境界に決定する。
And the process of step S40, S50 is performed about the line adjacent to the perpendicular direction (y-axis direction) (S60). Note that if no adjacent pixel having a luminance difference equal to or greater than the threshold value a is found in steps S40 and S50, the
映像解析部34はステップS40、S50の処理を最後のラインまで行う(S70)。したがって、ラインの数だけ境界となる画素の座標(x、y)が得られたことになる。
The
次に、映像解析部34は、境界となる画素の座標(x、y)のエラー訂正を行う(S80)。図9(c)はエラー訂正について説明する図の一例である。輝度の差が閾値a以上でもボデーに局所的に反射した部位、ボデーの部品によるエッジ、レンズの汚れ、ノイズなどにより、正しい境界が得られていない場合がある。このため、映像解析部34は、垂直方向に隣接した境界となる画素の座標(x、y)のx座標を比較して、閾値b以上ずれている場合、x座標を訂正する。図示するように着目するラインのx座標が、隣接した上側のラインと下側のラインのx座標の両方に対し閾値b以上離れている場合、着目するラインのx座標を訂正する。
Next, the
訂正後のx座標は、例えば着目しているラインの前後のラインの境界のx座標の平均値である。図9(c)では、着目しているラインの前後のラインの境界のx座標が同じなので、訂正後のx座標は前後のラインの境界のx座標と同じである。こうすることで、境界の検出結果にエラーが含まれていても確からしい位置に訂正することができる。 The corrected x-coordinate is, for example, the average value of the x-coordinates of the boundary between the lines before and after the line of interest. In FIG. 9C, since the x coordinate of the boundary of the line before and after the line of interest is the same, the corrected x coordinate is the same as the x coordinate of the boundary of the preceding and following lines. In this way, even if an error is included in the boundary detection result, it can be corrected to a probable position.
また、平均を算出する際は着目するラインの前後だけでなく、前側の複数個(例えば3〜10個程度)及び後側の複数個の平均を、訂正後のx座標としてもよい。また、平均ではなく、着目しているラインの直前のラインの境界のx座標、又は、直後のラインの境界のx座標としてもよい。 Further, when calculating the average, not only before and after the line of interest, but also a plurality of front side (for example, about 3 to 10) and a plurality of rear side averages may be used as corrected x coordinates. Further, instead of the average, the x coordinate of the boundary of the line immediately before the line of interest or the x coordinate of the boundary of the line immediately after the target line may be used.
エラー訂正は、境界となる画素の座標(x、y)の全てに行う。x座標を訂正したことで、訂正されなかったラインの境界のx座標が、前後のラインの境界のx座標に対し閾値b以上ずれる可能性がある。このため、映像解析部34は、境界となる画素の座標(x、y)のx座標が前後のラインに対し閾値b以上ずれなくなるまで、エラー訂正を繰り返し行う。
Error correction is performed on all of the coordinates (x, y) of the pixels serving as the boundary. By correcting the x-coordinate, there is a possibility that the x-coordinate of the uncorrected line boundary deviates from the x-coordinate of the preceding and following line boundaries by a threshold value b or more. For this reason, the
エラー訂正が完了することで、1つの境界情報が得られる(S90)。 When the error correction is completed, one piece of boundary information is obtained (S90).
制御部35は、電子ミラー用カメラ23にゲインコントロールをONするための制御信号を送信する(S100)。
The
そして、映像解析部34は不揮発メモリ37に境界情報を書き込む(S110)。図10は境界情報の一例を示す図である。境界情報は、ライン番号(y座標と同じ)に対応づけられたx座標、または、境界となる画素の座標(x、y)がy座標の昇順又は降順にソートされたものである。
Then, the
以上のようにして、カメラコンピュータ22は境界情報を作成する。なお、車両が停止した状態では画像データは大きく変化しないので、1フレームのみから境界情報を作成してもよい。また、複数フレーム(例えば、数フレーム〜数十又は数百フレーム)で同じように境界情報を求め、1ライン毎にx座標の平均を算出して、最終的な境界情報を求めてもよい。
As described above, the
〔境界を明瞭化するための画像処理〕
図11は、境界の明瞭化を模式的に説明する図の一例である。映像処理部36は、例えば以下のようにして境界を明瞭化するための画像処理を行う。
(i) 図11(a)に示すように、境界よりも(境界を含んでもよい)ボデー側の画素全ての輝度を低下させる。ボデー側の輝度が低下することで実景との境界が明瞭になる。輝度は、常に一定量低下させてもよいし、環境光を照度センサで測定し該照度に応じて低下量を増減してもよい。ディスプレイ21が白黒の画像データ(0〜255段階の輝度値を取り0が黒画素、255が白画素の場合)を表示する場合、輝度値を小さくする。ディスプレイ21がRGBのカラー画像を表示する場合、R値、G値、B値は以下のようにして輝度値に変換される。
Y=0.299R+0.587G+0.114B
0.299、0.587、0.114が輝度に対するRGBの比率(足すとほぼ1になる)、この比率でR値とG値とB値をそれぞれ小さくすることで、色を変えずに輝度を下げることができる。また、輝度に寄与する比率が大きいG値のみを小さくしてもよいし、R値とG値を小さくしてもよい。
(ii) 図11(b)に示すように、境界よりも(境界を含んでもよい)ボデー側の画素全に、元の画素値に関係なく固定値を書き込む。固定値は例えば黒又は黒と見なせる暗い色とすることで実景との境界が明瞭になる。ディスプレイ21が白黒の画像を表示する場合、固定値として例えば"0"を書き込む。ディスプレイ21がRGBのカラー画像を表示する場合、(R、G、B)=(0,0,0)を書き込む。また、ボデー色と同じ又は近い輝度値や色を書き込んでもよい。すなわちボデー色が黒であれば、上記のとおりでよいし、白の場合は輝度値として"255"、(R、G、B)=(255,255,255)を書き込む。グレーの場合、ボデー色の濃度のグレーに対応する輝度値又はRGB値を書き込む。
[Image processing to clarify boundaries]
FIG. 11 is an example of a diagram for schematically explaining the clarification of the boundary. The
(i) As shown in FIG. 11A, the brightness of all pixels on the body side of the boundary (or including the boundary) is lowered. The boundary with the actual scene becomes clear as the brightness on the body side decreases. The luminance may be always reduced by a certain amount, or the ambient light may be measured by an illuminance sensor, and the decrease amount may be increased or decreased according to the illuminance. When the
Y = 0.299R + 0.587G + 0.114B
0.299, 0.587, and 0.114 are the ratios of RGB with respect to the luminance (added to approximately 1), and by reducing the R value, G value, and B value, respectively, the luminance can be lowered without changing the color. Further, only the G value having a large ratio contributing to the luminance may be reduced, or the R value and the G value may be reduced.
(ii) As shown in FIG. 11B, a fixed value is written to all pixels on the body side (or including the boundary) rather than the boundary regardless of the original pixel value. The fixed value is, for example, black or a dark color that can be regarded as black, so that the boundary with the actual scene becomes clear. When the
また、例えば、ボデー色が黄色などの彩度を有し、ディスプレイ21がRGBのカラー画像を表示する場合、例えば黄色のRGB値である(R、G、B)=(255,255,0)を書き込む。ボデー色が黄色などの彩度を有するが、ディスプレイ21が白黒の画像を表示する場合、ボデー色を輝度に変換した輝度値を書き込む。これによりディスプレイ21に表示されるボデーは撮影されたボデーと同程度の明るさで表示されるため、運転者の違和感が少なくなる。
Further, for example, when the body color has a saturation such as yellow and the
(iii) また、ボデーの全体の輝度を低減したり、ボデーの全体に固定値を書き込まなくてもよい。図11(c)では、ボデーと実景の境界からボデー側に所定の画素数の画素に対してのみ、(i)又は(ii)の処理を施している。(i)又は(ii)の処理が施される領域を以下、エッジ領域40という。エッジ領域40の幅は、運転者が視認可能な幅以上であればよい。
(iii) Also, it is not necessary to reduce the overall brightness of the body or write a fixed value to the entire body. In FIG. 11C, the processing of (i) or (ii) is performed only for pixels having a predetermined number of pixels on the body side from the boundary between the body and the actual scene. The area where the process (i) or (ii) is performed is hereinafter referred to as an
エッジ領域40には(i)又は(ii)の処理の他、高輝度となる白の輝度値又はRGB値を書き込んでもよい。また、エッジ領域40の幅を最小限に細くして点滅させてもよい(白画素と黒画素を交互に切り替える)。点滅させることでエッジ領域40が狭くても運転者はボデーと実景の境界を容易に把握できる。また、境界からボデー側に徐々に輝度や色が変化するようにエッジ領域40の画素値を処理してもよい(グラデーション処理)。これにより、エッジ領域40が明瞭になりかつエッジ領域40が存在することの違和感を低減できる。また、グラデーション処理はエッジ領域40に限られずボデーの全体に施してもよい。
In addition to the processing (i) or (ii), a white luminance value or RGB value that becomes high luminance may be written in the
境界を(i)〜(iii)のどの手法で強調するかは運転者が操作部26から選択可能になっている。または、携帯端末やPC(Personal Computer)からサーバを介して車両に設定可能になっている。 The driver can select from the operation unit 26 which method (i) to (iii) is used to emphasize the boundary. Alternatively, it can be set in the vehicle via a server from a portable terminal or PC (Personal Computer).
エッジ領域40よりもボデー側には、何も処理を施さなくてもよいし、以下のような処理を施してもよい。
a.例えば、ウィンカスイッチのONを検出した場合に後方から他車両が接近していること、ソナーなどで検出した障害物に対し異常接近するおそれがあること等、運転者が電子ミラーに視線移動する状況で有用な警告情報を表示する。
b.文字が小さいため判読が困難であれば、赤色や黄色などの注意喚起性の高い色を点滅されるなどしてもよい。
c.また、自車両が後方を撮影する後方カメラを搭載している場合、後方カメラが撮影した画像データを、電子ミラー用カメラ23が撮影した画像データに合成してもよい。
No processing may be performed on the body side from the
a. For example, the situation where the driver moves his eyes to the electronic mirror, such as when another vehicle is approaching from behind when the blinker switch is turned on, or there is a risk of abnormally approaching an obstacle detected by sonar Displays useful warning information.
b. If the character is small and difficult to read, a highly alert color such as red or yellow may be flashed.
c. Further, when the host vehicle is equipped with a rear camera that captures the rear, the image data captured by the rear camera may be combined with the image data captured by the
図12(a)は電子ミラー用カメラ23と後方カメラ16の撮影範囲を模式的に示す図の一例である。電子ミラー用カメラ23の画角に対し、ボデーが撮影される範囲が電子ミラー用カメラ23の死角である。電子ミラー用カメラ23には車両Bは撮影されているが、車両Aが映らない。これに対し、後方カメラ16は死角を含む後方の所定範囲を撮影するため、車両Aを撮影している。よって、後方カメラ16の画像データで電子ミラー用カメラ23の画像データのボデー側を補うことができる。
FIG. 12A is an example of a diagram schematically showing the photographing range of the
図12(b)は画像データの合成を説明する図の一例である。画像1は後方カメラ16の画像データを、画像2は電子ミラー用カメラ23の画像データをそれぞれ示す。映像処理部36は画像1に対しエッジ領域40を強調する処理を施す。そして、電子ミラー用カメラ23の死角(ボデー部)に対応する死角部分17を画像1から取り出す。死角部分17は、電子ミラー用カメラ23の仕様及び取り付け位置、後方カメラ16の仕様及び取り付け位置から特定されている。または、適当な合成位置を運転者等が任意に選択してもよい。死角部分17は、電子ミラー用カメラ23と後方カメラ16の位置や仕様の違いにより、電子ミラー用カメラ23の画像データよりも縮小または拡大されているので、映像処理部36はサイズ補正を行う。また、ゲインやシャッター速度の違いにより、明るさや色調などの画質が異なっているので、映像処理部36は画質補正を行う。このような画像処理を施した死角部分17を画像2に合成する(すなわち、画像2のボデー部に、画像処理が施された死角部分17の画素値を書き込む)。
FIG. 12B is an example of a diagram illustrating the synthesis of image data. Image 1 shows image data of the
このように後方カメラ16を使用することで、運転者はエッジ領域40によりボデー部と実景の境界を把握すると共に、電子ミラー用カメラ23の死角の他車両などの存在を把握することができる。
By using the
なお、ボデー部にa〜cのどの画像処理を施すかは運転者が操作部26から選択可能になっている。または、携帯端末やPCからサーバを介して車両に設定可能になっている。 Note that the driver can select from the operation unit 26 which image processing of ac is performed on the body part. Alternatively, it can be set in the vehicle via a server from a mobile terminal or a PC.
〔動作手順〕
図13は周辺監視システム100の動作手順の一例を示すフローチャート図である。図13の処理は周辺監視システム100が起動されるとスタートする。起動直後は境界明瞭化モードである。
[Operation procedure]
FIG. 13 is a flowchart showing an example of the operation procedure of the
まず、映像処理部36は不揮発メモリ37から設定値を読み出す(S210)。この設定値には、境界の明瞭化を行うか否か、行う場合にはどのように境界を明瞭化するか、ボデーが撮影されている範囲の画像処理方法などが設定されている。
First, the
電子ミラー用カメラ23は所定のフレームレートで画像データを撮影し、順次、カメラコンピュータ22に送信している(S220)。
The
制御部35は境界検出モードへの移行操作が検出されたか否かを判定する(S230)。境界検出モードへの移行操作が検出された場合(S230のYes)、映像解析部34は図8で説明した境界検出モードの処理を実行する(S250)。
The
境界検出モードへの移行操作が検出されない場合(S230のNo)、映像処理部36は不揮発メモリ37から読み出した境界情報に基づき画像データに境界を明瞭化する処理を施す(S240)。
When the transition operation to the boundary detection mode is not detected (No in S230), the
以上、説明したように本実施形態の周辺監視システム100は、車両に電子ミラーを搭載した場合でも、実景とボデーに映り込んだ反射像との境界を明瞭に識別させることができる。
As described above, the
21 ディスプレイ
22 カメラコンピュータ
23 電子ミラー用カメラ
31 映像変換部
32 通信処理部
33 VRAM
34 映像解析部
35 制御部
36 映像処理部
37 不揮発メモリ
100 周辺監視システム
21
34
Claims (8)
前記撮影手段が撮影した画像データにおける、前記車体と前記車両周辺との境界の位置を示す境界情報が記憶された境界情報記憶手段と、
前記境界情報に基づき、前記画像データに前記境界を明瞭化する処理を施す画像処理手段と、
前記画像処理手段が前記境界を明瞭化する処理を施した前記画像データを表示する表示手段と、
を有することを特徴とする周辺監視システム。 Photographing means including the body of the host vehicle and the vehicle periphery in the photographing range;
Boundary information storage means in which boundary information indicating the position of the boundary between the vehicle body and the periphery of the vehicle in the image data photographed by the photographing means is stored;
Image processing means for performing processing for clarifying the boundary on the image data based on the boundary information;
Display means for displaying the image data subjected to processing for clarifying the boundary by the image processing means;
A peripheral monitoring system characterized by comprising:
前記境界検出手段は、着目するラインの水平位置が前及び後のラインの水平位置に対し第2閾値以上ずれている場合、前後のラインの水平位置に基づき着目するラインの水平位置を訂正する、ことを特徴とする請求項1〜5いずれか1項記載の周辺監視システム。 A boundary detection means for specifying a horizontal position in association with a line number when there is an edge strength equal to or greater than a first threshold in the horizontal direction, with the horizontal pixel row of the image data as one line,
The boundary detection unit corrects the horizontal position of the line of interest based on the horizontal position of the preceding and following lines when the horizontal position of the line of interest is shifted by a second threshold or more with respect to the horizontal position of the previous and subsequent lines. The perimeter monitoring system according to any one of claims 1 to 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012268659A JP2014116756A (en) | 2012-12-07 | 2012-12-07 | Periphery monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012268659A JP2014116756A (en) | 2012-12-07 | 2012-12-07 | Periphery monitoring system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014116756A true JP2014116756A (en) | 2014-06-26 |
Family
ID=51172351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012268659A Pending JP2014116756A (en) | 2012-12-07 | 2012-12-07 | Periphery monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014116756A (en) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015201680A (en) * | 2014-04-04 | 2015-11-12 | 富士通株式会社 | Image display apparatus, image display method, and image display program |
WO2016021127A1 (en) * | 2014-08-07 | 2016-02-11 | 株式会社デンソー | Display device |
WO2016035581A1 (en) * | 2014-09-05 | 2016-03-10 | アイシン精機株式会社 | Image display control device and image display system |
JP2016119558A (en) * | 2014-12-19 | 2016-06-30 | 株式会社デンソー | Video processing device and on-vehicle video processing system |
CN106274702A (en) * | 2015-06-12 | 2017-01-04 | 郭骏贤 | Multimode suitching type chip for rear-view mirror of car |
JP2017013784A (en) * | 2015-06-23 | 2017-01-19 | メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG | On-board display system for vehicles such as commercial vehicles |
JP2017100718A (en) * | 2015-12-03 | 2017-06-08 | フィコ ミラーズ,エスエー | Rear image system for automobile |
WO2017115808A1 (en) * | 2015-12-28 | 2017-07-06 | 住友建機株式会社 | Shovel |
JP2017163337A (en) * | 2016-03-09 | 2017-09-14 | 株式会社Jvcケンウッド | Vehicle display controller, vehicle display system, vehicle display control method, and program |
JP2017163345A (en) * | 2016-03-09 | 2017-09-14 | 株式会社Jvcケンウッド | Vehicle display controller, vehicle display system, vehicle display control method, and program |
JP2017163399A (en) * | 2016-03-10 | 2017-09-14 | 株式会社Jvcケンウッド | Vehicle display controller, vehicle display system, vehicle display control method, and program |
WO2017154316A1 (en) * | 2016-03-09 | 2017-09-14 | 株式会社Jvcケンウッド | Vehicle display control device, vehicle display system, vehicle display control method, and program |
JP2017165218A (en) * | 2016-03-15 | 2017-09-21 | 株式会社Jvcケンウッド | Display control device for vehicle, display system for vehicle, display control method for vehicle, and program |
JP2017183974A (en) * | 2016-03-30 | 2017-10-05 | マツダ株式会社 | Electronic mirror control device |
JP2017183971A (en) * | 2016-03-30 | 2017-10-05 | マツダ株式会社 | Electronic mirror control device |
JP2017204828A (en) * | 2016-05-13 | 2017-11-16 | いすゞ自動車株式会社 | Image display device |
WO2018042976A1 (en) * | 2016-09-01 | 2018-03-08 | パナソニックIpマネジメント株式会社 | Image generation device, image generation method, recording medium, and image display system |
JP2018056755A (en) * | 2016-09-28 | 2018-04-05 | パナソニックIpマネジメント株式会社 | On-vehicle video image display device, on-vehicle video image display method, and program |
JP2018117320A (en) * | 2017-01-20 | 2018-07-26 | 株式会社東芝 | Video synthesizer and video synthesis method for electron mirror |
WO2018198890A1 (en) * | 2017-04-27 | 2018-11-01 | パナソニックIpマネジメント株式会社 | On-board display device |
JP2019043342A (en) * | 2017-08-31 | 2019-03-22 | 日本精機株式会社 | Electronic mirror display device, and display system for vehicle |
DE112017003775T5 (en) | 2016-07-28 | 2019-05-09 | Calsonic Kansei Corporation | Vehicle environment monitor and vehicle environment monitor process |
WO2019177036A1 (en) * | 2018-03-15 | 2019-09-19 | 株式会社小糸製作所 | Vehicle imaging system |
JP2019202584A (en) * | 2018-05-21 | 2019-11-28 | アルパイン株式会社 | Image processing apparatus and image processing method |
CN111169382A (en) * | 2018-11-13 | 2020-05-19 | 丰田自动车株式会社 | Driving support device, driving support system, driving support method, and program |
JP2020107613A (en) * | 2015-03-23 | 2020-07-09 | 株式会社小糸製作所 | Imaging device for vehicle, lighting fixture for vehicle and electronic control unit |
JP2020114018A (en) * | 2020-04-06 | 2020-07-27 | 株式会社東芝 | Electronic mirror image synthesizing apparatus and image synthesizing method |
JP2021154885A (en) * | 2020-03-27 | 2021-10-07 | 本田技研工業株式会社 | Mirror device |
WO2023104740A1 (en) * | 2021-12-06 | 2023-06-15 | Audi Ag | Method for reproducing the surroundings of a vehicle |
EP4339027A1 (en) | 2022-09-09 | 2024-03-20 | Alps Alpine Co., Ltd. | Vehicle rear side image display device |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0887700A (en) * | 1994-09-20 | 1996-04-02 | Fujitsu Ltd | Road environment recognition device |
JP2001217418A (en) * | 2000-01-25 | 2001-08-10 | Hynix Semiconductor Inc | Mos transistor and its manufacturing method |
JP2004062519A (en) * | 2002-07-29 | 2004-02-26 | Nissan Motor Co Ltd | Lane mark detector |
JP2006151086A (en) * | 2004-11-26 | 2006-06-15 | Auto Network Gijutsu Kenkyusho:Kk | Vehicle body image pick-up indicating system, and device, method, and system related to the same |
JP2006238131A (en) * | 2005-02-25 | 2006-09-07 | Aisin Seiki Co Ltd | Vehicle periphery monitoring apparatus |
JP2010044561A (en) * | 2008-08-12 | 2010-02-25 | Panasonic Corp | Monitoring device to be mounted on vehicle |
WO2011108217A1 (en) * | 2010-03-01 | 2011-09-09 | 本田技研工業株式会社 | Vehicle perimeter monitoring device |
JP2012001041A (en) * | 2010-06-15 | 2012-01-05 | Aisin Seiki Co Ltd | Parking assist device |
JP2012185701A (en) * | 2011-03-07 | 2012-09-27 | Panasonic Corp | Display device |
-
2012
- 2012-12-07 JP JP2012268659A patent/JP2014116756A/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0887700A (en) * | 1994-09-20 | 1996-04-02 | Fujitsu Ltd | Road environment recognition device |
JP2001217418A (en) * | 2000-01-25 | 2001-08-10 | Hynix Semiconductor Inc | Mos transistor and its manufacturing method |
JP2004062519A (en) * | 2002-07-29 | 2004-02-26 | Nissan Motor Co Ltd | Lane mark detector |
JP2006151086A (en) * | 2004-11-26 | 2006-06-15 | Auto Network Gijutsu Kenkyusho:Kk | Vehicle body image pick-up indicating system, and device, method, and system related to the same |
JP2006238131A (en) * | 2005-02-25 | 2006-09-07 | Aisin Seiki Co Ltd | Vehicle periphery monitoring apparatus |
JP2010044561A (en) * | 2008-08-12 | 2010-02-25 | Panasonic Corp | Monitoring device to be mounted on vehicle |
WO2011108217A1 (en) * | 2010-03-01 | 2011-09-09 | 本田技研工業株式会社 | Vehicle perimeter monitoring device |
JP2012001041A (en) * | 2010-06-15 | 2012-01-05 | Aisin Seiki Co Ltd | Parking assist device |
JP2012185701A (en) * | 2011-03-07 | 2012-09-27 | Panasonic Corp | Display device |
Cited By (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015201680A (en) * | 2014-04-04 | 2015-11-12 | 富士通株式会社 | Image display apparatus, image display method, and image display program |
WO2016021127A1 (en) * | 2014-08-07 | 2016-02-11 | 株式会社デンソー | Display device |
JP2016039508A (en) * | 2014-08-07 | 2016-03-22 | 株式会社デンソー | Display |
WO2016035581A1 (en) * | 2014-09-05 | 2016-03-10 | アイシン精機株式会社 | Image display control device and image display system |
JP2016119558A (en) * | 2014-12-19 | 2016-06-30 | 株式会社デンソー | Video processing device and on-vehicle video processing system |
JP2020107613A (en) * | 2015-03-23 | 2020-07-09 | 株式会社小糸製作所 | Imaging device for vehicle, lighting fixture for vehicle and electronic control unit |
US11872604B2 (en) | 2015-03-23 | 2024-01-16 | Koito Manufacturing Co., Ltd. | Image pickup device for vehicle, vehicle lamp and electronic control unit |
CN106274702A (en) * | 2015-06-12 | 2017-01-04 | 郭骏贤 | Multimode suitching type chip for rear-view mirror of car |
JP2017013784A (en) * | 2015-06-23 | 2017-01-19 | メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG | On-board display system for vehicles such as commercial vehicles |
JP2017100718A (en) * | 2015-12-03 | 2017-06-08 | フィコ ミラーズ,エスエー | Rear image system for automobile |
JP7023714B2 (en) | 2015-12-28 | 2022-02-22 | 住友建機株式会社 | Excavator |
KR20180097613A (en) * | 2015-12-28 | 2018-08-31 | 스미토모 겐키 가부시키가이샤 | Shovel |
WO2017115808A1 (en) * | 2015-12-28 | 2017-07-06 | 住友建機株式会社 | Shovel |
EP3399744A4 (en) * | 2015-12-28 | 2018-12-26 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Shovel |
KR102570492B1 (en) * | 2015-12-28 | 2023-08-23 | 스미토모 겐키 가부시키가이샤 | shovel |
US11186964B2 (en) | 2015-12-28 | 2021-11-30 | Sumitomo(S.H.I.) Construction Machinery Co., Ltd. | Shovel |
JPWO2017115808A1 (en) * | 2015-12-28 | 2018-10-18 | 住友建機株式会社 | Excavator |
WO2017154316A1 (en) * | 2016-03-09 | 2017-09-14 | 株式会社Jvcケンウッド | Vehicle display control device, vehicle display system, vehicle display control method, and program |
JP2017163337A (en) * | 2016-03-09 | 2017-09-14 | 株式会社Jvcケンウッド | Vehicle display controller, vehicle display system, vehicle display control method, and program |
JP2017163345A (en) * | 2016-03-09 | 2017-09-14 | 株式会社Jvcケンウッド | Vehicle display controller, vehicle display system, vehicle display control method, and program |
JP2017163399A (en) * | 2016-03-10 | 2017-09-14 | 株式会社Jvcケンウッド | Vehicle display controller, vehicle display system, vehicle display control method, and program |
JP2017165218A (en) * | 2016-03-15 | 2017-09-21 | 株式会社Jvcケンウッド | Display control device for vehicle, display system for vehicle, display control method for vehicle, and program |
JP2017183971A (en) * | 2016-03-30 | 2017-10-05 | マツダ株式会社 | Electronic mirror control device |
US10596969B2 (en) | 2016-03-30 | 2020-03-24 | Mazda Motor Corporation | Electronic mirror control device |
WO2017169705A1 (en) * | 2016-03-30 | 2017-10-05 | マツダ株式会社 | Electronic mirror control device |
US10336258B2 (en) | 2016-03-30 | 2019-07-02 | Mazda Motor Corporation | Electronic mirror control device |
WO2017169706A1 (en) * | 2016-03-30 | 2017-10-05 | マツダ株式会社 | Electronic mirror control device |
JP2017183974A (en) * | 2016-03-30 | 2017-10-05 | マツダ株式会社 | Electronic mirror control device |
JP2017204828A (en) * | 2016-05-13 | 2017-11-16 | いすゞ自動車株式会社 | Image display device |
DE112017003775T5 (en) | 2016-07-28 | 2019-05-09 | Calsonic Kansei Corporation | Vehicle environment monitor and vehicle environment monitor process |
WO2018042976A1 (en) * | 2016-09-01 | 2018-03-08 | パナソニックIpマネジメント株式会社 | Image generation device, image generation method, recording medium, and image display system |
JP2018056755A (en) * | 2016-09-28 | 2018-04-05 | パナソニックIpマネジメント株式会社 | On-vehicle video image display device, on-vehicle video image display method, and program |
US10506178B2 (en) | 2017-01-20 | 2019-12-10 | Kabushiki Kaisha Toshiba | Image synthesis device for electronic mirror and method thereof |
US12041375B2 (en) | 2017-01-20 | 2024-07-16 | Kabushiki Kaisha Toshiba | Image synthesis device for electronic mirror and method thereof |
US11800045B2 (en) | 2017-01-20 | 2023-10-24 | Kabushiki Kaisha Toshiba | Image synthesis device for electronic mirror and method thereof |
US11356618B2 (en) | 2017-01-20 | 2022-06-07 | Kabushiki Kaisha Toshiba | Image synthesis device for electronic mirror and method thereof |
US11044421B2 (en) | 2017-01-20 | 2021-06-22 | Kabushiki Kaisha Toshiba | Image synthesis device for electronic mirror and method thereof |
JP2018117320A (en) * | 2017-01-20 | 2018-07-26 | 株式会社東芝 | Video synthesizer and video synthesis method for electron mirror |
JPWO2018198890A1 (en) * | 2017-04-27 | 2020-03-12 | パナソニックIpマネジメント株式会社 | In-vehicle display device |
WO2018198890A1 (en) * | 2017-04-27 | 2018-11-01 | パナソニックIpマネジメント株式会社 | On-board display device |
JP7122517B2 (en) | 2017-04-27 | 2022-08-22 | パナソニックIpマネジメント株式会社 | In-vehicle display device |
US10942310B2 (en) | 2017-04-27 | 2021-03-09 | Panasonic Intellectual Property Management Co., Ltd. | On-board display device |
JP2019043342A (en) * | 2017-08-31 | 2019-03-22 | 日本精機株式会社 | Electronic mirror display device, and display system for vehicle |
WO2019177036A1 (en) * | 2018-03-15 | 2019-09-19 | 株式会社小糸製作所 | Vehicle imaging system |
JPWO2019177036A1 (en) * | 2018-03-15 | 2021-03-11 | 株式会社小糸製作所 | Vehicle video system |
CN111886858B (en) * | 2018-03-15 | 2022-06-21 | 株式会社小糸制作所 | Image system for vehicle |
CN111886858A (en) * | 2018-03-15 | 2020-11-03 | 株式会社小糸制作所 | Image system for vehicle |
JP7258847B2 (en) | 2018-03-15 | 2023-04-17 | 株式会社小糸製作所 | Video system for vehicle |
JP2019202584A (en) * | 2018-05-21 | 2019-11-28 | アルパイン株式会社 | Image processing apparatus and image processing method |
JP7029350B2 (en) | 2018-05-21 | 2022-03-03 | アルパイン株式会社 | Image processing device and image processing method |
JP2020080485A (en) * | 2018-11-13 | 2020-05-28 | トヨタ自動車株式会社 | Driving support device, driving support system, driving support method, and program |
CN111169382A (en) * | 2018-11-13 | 2020-05-19 | 丰田自动车株式会社 | Driving support device, driving support system, driving support method, and program |
US11351918B2 (en) | 2018-11-13 | 2022-06-07 | Toyota Jidosha Kabushiki Kaisha | Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium |
CN111169382B (en) * | 2018-11-13 | 2024-01-09 | 丰田自动车株式会社 | Driving support device, driving support system, driving support method, and program |
JP7163732B2 (en) | 2018-11-13 | 2022-11-01 | トヨタ自動車株式会社 | Driving support device, driving support system, driving support method and program |
JP7132965B2 (en) | 2020-03-27 | 2022-09-07 | 本田技研工業株式会社 | mirror device |
JP2021154885A (en) * | 2020-03-27 | 2021-10-07 | 本田技研工業株式会社 | Mirror device |
JP2020114018A (en) * | 2020-04-06 | 2020-07-27 | 株式会社東芝 | Electronic mirror image synthesizing apparatus and image synthesizing method |
JP7348323B2 (en) | 2020-04-06 | 2023-09-20 | 株式会社東芝 | Electronic mirror image synthesis device and image synthesis method |
JP2022048281A (en) * | 2020-04-06 | 2022-03-25 | 株式会社東芝 | Electronic mirror image synthesizing apparatus and image synthesizing method |
JP7027476B2 (en) | 2020-04-06 | 2022-03-01 | 株式会社東芝 | Electronic mirror video compositing device and video compositing method |
WO2023104740A1 (en) * | 2021-12-06 | 2023-06-15 | Audi Ag | Method for reproducing the surroundings of a vehicle |
EP4339027A1 (en) | 2022-09-09 | 2024-03-20 | Alps Alpine Co., Ltd. | Vehicle rear side image display device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014116756A (en) | Periphery monitoring system | |
US9123179B2 (en) | Surrounding image display system and surrounding image display method for vehicle | |
US8345095B2 (en) | Blind spot image display apparatus and method thereof for vehicle | |
EP2471691B1 (en) | Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method | |
US20180015879A1 (en) | Side-view mirror camera system for vehicle | |
US20120249789A1 (en) | Vehicle peripheral image display system | |
US20160110618A1 (en) | Information processing device, approaching object notification method, and program | |
JP2019125920A (en) | Monitor display system and display method | |
JP6857695B2 (en) | Rear display device, rear display method, and program | |
EP2476588B1 (en) | Vehicle surrounding monitor apparatus | |
US20140085473A1 (en) | In-vehicle camera apparatus | |
JP5948170B2 (en) | Information display device, information display method, and program | |
JP6810589B2 (en) | In-vehicle projection device | |
US10455159B2 (en) | Imaging setting changing apparatus, imaging system, and imaging setting changing method | |
CN111347977B (en) | Vehicle blind spot image display method, device and system | |
US20070177815A1 (en) | Method, video display system and automobile video display system | |
US20170364765A1 (en) | Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method | |
JP4696825B2 (en) | Blind spot image display device for vehicles | |
US10102436B2 (en) | Image processing device, warning device and method for processing image | |
JP2011065280A (en) | Image processing apparatus, surroundings monitoring system and operation support system | |
KR20180067046A (en) | Image view system and operating method thereof | |
EP4408006A1 (en) | Image processing system, movable apparatus, image processing method, and storage medium | |
JP2014021543A (en) | Visual field support device and program for vehicle | |
EP4306363A1 (en) | System and method for providing a composite image of a vehicle and its surroundings | |
US20230391259A1 (en) | Display apparatus, control method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160405 |