JP2008141622A - Vehicle surrounding information display apparatus - Google Patents
Vehicle surrounding information display apparatus Download PDFInfo
- Publication number
- JP2008141622A JP2008141622A JP2006327580A JP2006327580A JP2008141622A JP 2008141622 A JP2008141622 A JP 2008141622A JP 2006327580 A JP2006327580 A JP 2006327580A JP 2006327580 A JP2006327580 A JP 2006327580A JP 2008141622 A JP2008141622 A JP 2008141622A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- video data
- obstacle
- screen
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 101150063504 CAN2 gene Proteins 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
この発明は、車両の周辺状況に関する情報を画面表示して提供する車両周辺情報表示装置に関するものである。 The present invention relates to a vehicle periphery information display device that displays and displays information related to a vehicle surrounding situation on a screen.
従来、車両走行の障害となる物体との衝突を回避すること等を目的として、車載のカメラで撮像された画像を表示する技術が提案されている。たとえば、車両始動直後における車両前側前方の画像と車両直前直下の画像との表示機会を適切に確保することを目的として、まず、車両前側方の画像と車両直前直下の画像とを双方同時に表示ディスプレイに表示し、その後、障害物が検出されるときには車両直前直下の画像を車両前側方の画像に比べて強調して表示ディスプレイに表示し、一方、障害物が検出されないときには車両前側方の画像を車両直前直下の画像に比べて強調して表示ディスプレイに表示する技術が提案されている(たとえば、特許文献1参照)。 2. Description of the Related Art Conventionally, a technique for displaying an image captured by an in-vehicle camera has been proposed for the purpose of avoiding a collision with an object that obstructs vehicle travel. For example, for the purpose of appropriately ensuring an opportunity to display an image immediately in front of the vehicle immediately after starting the vehicle and an image immediately under the vehicle, first, both the image in front of the vehicle and the image immediately under the vehicle are simultaneously displayed. After that, when an obstacle is detected, the image immediately below the vehicle is emphasized and displayed on the display compared to the image on the front side of the vehicle. On the other hand, when the obstacle is not detected, the image on the front side of the vehicle is displayed. A technique has been proposed in which an image is emphasized and displayed on a display compared to an image immediately below the vehicle (see, for example, Patent Document 1).
しかしながら、上記のような従来の技術においては、ユーザが注目する画面において簡単な操作で画面の制御をすることはできなかった。また、複数の障害物が検出された場合には、この複数の障害物の情報を一括して提供することができなかった。 However, in the conventional techniques as described above, it has been impossible to control the screen with a simple operation on the screen on which the user pays attention. Further, when a plurality of obstacles are detected, the information on the plurality of obstacles cannot be provided collectively.
この発明は、上述した従来技術による問題点を解消するためになされたものであり、車両周辺状況の映像のうち所望の映像を容易に且つ確実に画面に表示することが可能な車両周辺情報表示装置を提供することを目的とする。また、車両周辺の障害物の情報を効果的に且つ確実に提供することが可能な車両周辺情報表示装置を提供することを目的とする。 The present invention has been made to solve the above-described problems caused by the prior art, and is capable of easily and reliably displaying a desired image on the screen of a vehicle surrounding situation image. An object is to provide an apparatus. It is another object of the present invention to provide a vehicle periphery information display device capable of effectively and reliably providing information on obstacles around the vehicle.
上述した課題を解決し、目的を達成するため、請求項1の発明にかかる車両周辺情報表示装置は、車両に接続される複数の撮像部で撮像した複数の車両周辺状況の映像の映像データを取得する映像データ取得部と、少なくとも映像データを表示可能な映像データ表示画面と、少なくとも複数の撮像部から取得した映像データと対応付けされるとともに映像データ表示画面に表示させる映像データを指示するための複数の入力スイッチを表示する入力スイッチ画面と、からなる分割画面を表示する表示部と、複数の入力スイッチのうち選択された入力スイッチに対応付けされた映像データの映像データ表示画面への表示を制御する表示制御部と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, a vehicle surrounding information display device according to the invention of claim 1 is configured to display video data of a plurality of vehicle surroundings images captured by a plurality of imaging units connected to the vehicle. In order to indicate video data to be displayed on the video data display screen while being associated with video data acquisition screen to be acquired, video data display screen capable of displaying at least video data, video data acquired from at least a plurality of imaging units An input switch screen for displaying a plurality of input switches, a display unit for displaying a divided screen, and display of video data associated with the selected input switch among the plurality of input switches on the video data display screen A display control unit for controlling the display.
この請求項1の発明によれば、少なくとも複数の映像の映像データと対応付けされるとともに映像データ表示画面において表示する映像データを指示するための複数の入力スイッチを表示する入力スイッチ画面と、を有することにより、画面上の操作により所望の映像が映像データ表示画面に表示される。 According to the first aspect of the present invention, an input switch screen that is associated with at least a plurality of video data and displays a plurality of input switches for instructing video data to be displayed on the video data display screen. Thus, a desired video is displayed on the video data display screen by an operation on the screen.
また、請求項2の発明にかかる車両周辺情報表示装置は、請求項1の発明において、映像データを分析して障害物の有無を検知する障害物検知部をさらに備え、表示制御部は、障害物検知部において障害物の検知された映像データの映像を映像データ表示画面に優先的に表示させること、を特徴とする。 According to a second aspect of the present invention, the vehicle periphery information display device according to the first aspect of the present invention further includes an obstacle detection unit that analyzes the video data to detect the presence or absence of an obstacle, and the display control unit The object detection unit preferentially displays an image of the image data in which the obstacle is detected on the image data display screen.
この請求項2の発明によれば、障害物検知部において映像データを分析して障害物の有無を検知し、障害物の検知された映像データの映像を優先的に映像データ表示画面に表示することにより、障害物の検知された映像が優先的にユーザに提供される。 According to the second aspect of the present invention, the obstacle detection unit analyzes the video data to detect the presence or absence of the obstacle, and preferentially displays the video of the video data in which the obstacle is detected on the video data display screen. As a result, the video in which the obstacle is detected is preferentially provided to the user.
また、請求項3の発明にかかる車両周辺情報表示装置は、請求項2の発明において、障害物の検知された映像データに対応付けられた入力スイッチには、障害物の存在を示す障害物マークを合わせて表示すること、を特徴とする。 According to a third aspect of the present invention, in the vehicle periphery information display device according to the second aspect of the present invention, an obstacle mark indicating the presence of an obstacle is provided on the input switch associated with the video data in which the obstacle is detected. And displaying them together.
この請求項3の発明によれば、障害物の検知された映像データに対応付けられた入力スイッチに障害物の存在を示す障害物マークを合わせて表示することにより、映像データ表示画面に表示されている映像に関係なく、どの映像に障害物が存在するかという情報が障害物マークにより提供される。 According to the third aspect of the present invention, the obstacle mark indicating the presence of the obstacle is displayed together with the input switch associated with the video data in which the obstacle is detected, thereby being displayed on the video data display screen. Regardless of the image that is present, information indicating which image has an obstacle is provided by the obstacle mark.
また、請求項4の発明にかかる車両周辺情報表示装置は、請求項3の発明において、障害物マークが表示されている入力スイッチのみが有効とされること、を特徴とする。 According to a fourth aspect of the present invention, in the vehicle periphery information display device according to the third aspect of the present invention, only the input switch on which the obstacle mark is displayed is valid.
この請求項4の発明によれば、障害物の検知された映像のみ、すなわち障害物との衝突の危険がある方向の映像だけが確実に映像データ表示画面に表示される。 According to the fourth aspect of the present invention, only the image in which the obstacle is detected, that is, only the image in the direction in which there is a risk of collision with the obstacle is reliably displayed on the image data display screen.
請求項1の発明によれば、少なくとも複数の映像の映像データと対応付けされるとともに映像データ表示画面において表示する映像データを指示するための複数の入力スイッチを表示する入力スイッチ画面を有することにより、容易に且つ確実に所望の映像を画面に表示することができ、また表示させる映像を切り替えることができる。これにより、車両周辺状況を容易に且つ確実に確認して車両周辺の障害物との衝突を未然に防止することができる、という効果を奏する。 According to the invention of claim 1, by having an input switch screen that displays a plurality of input switches that are associated with at least a plurality of video data and that indicate video data to be displayed on the video data display screen. The desired video can be displayed on the screen easily and reliably, and the video to be displayed can be switched. Accordingly, there is an effect that it is possible to easily and surely check the situation around the vehicle and prevent a collision with an obstacle around the vehicle.
また、請求項2の発明によれば、障害物の検知された映像が優先的にユーザに提供されるため、ユーザの操作ミスや勘違いなどの人為的要因による障害物の不認識を効果的に防止して、ユーザに対して障害物の存在を確実に認識させることができ、車両周辺の障害物との衝突を未然に防止することができる、という効果を奏する。 According to the second aspect of the present invention, since the image in which the obstacle is detected is preferentially provided to the user, it is possible to effectively prevent the obstacle from being recognized due to an artificial factor such as a user's operation mistake or misunderstanding. It is possible to prevent the user from recognizing the presence of the obstacle and to prevent the collision with the obstacle around the vehicle.
また、請求項3の発明によれば、分割画面において車両周辺におけるどの映像を表示している場合においても、どの映像に障害物が存在するかの情報が障害物マークにより提供されるため、ユーザは障害物の情報を画面表示により即座に得ることができる、という効果を奏する。 In addition, according to the invention of claim 3, the information indicating which obstacle is present in which image is provided by the obstacle mark even when which image around the vehicle is displayed on the divided screen. Has the effect that information on obstacles can be obtained immediately by screen display.
また、請求項4の発明によれば、障害物の検知された映像のみ、すなわち障害物との衝突の危険がある方向の映像だけが確実に映像データ表示画面に表示されるため、ユーザの操作ミスや勘違いなどの人為的要因による障害物の不認識を効果的に防止することが可能である、という効果を奏する。 According to the invention of claim 4, since only the image in which the obstacle is detected, that is, only the image in the direction in which there is a risk of collision with the obstacle is surely displayed on the image data display screen, the user operation There is an effect that it is possible to effectively prevent unrecognition of obstacles due to human factors such as mistakes and misunderstandings.
以下に添付図面を参照して、この発明にかかる車両周辺情報表示装置の好適な実施例を詳細に説明する。 Exemplary embodiments of a vehicle periphery information display device according to the present invention will be explained below in detail with reference to the accompanying drawings.
まず、図1を用いて本発明の実施例にかかる車両周辺情報表示装置10の構成について説明する。図1は、本実施例にかかる車両周辺情報表示装置10の構成を示すブロック図であり、車両内の関連する構成との関係とともに示す図である。図1に示すように、本実施例にかかる車両周辺情報表示装置10は、車両1のCAN(コントロールエリアネットワーク:Control Area Network)2に接続する。ここで、CAN2とは、車両1に敷設されたネットワークのことである。
First, the configuration of the vehicle surrounding
CAN2は、図1に示すように、車両周辺情報表示装置10の他に、艤装系制御部20や車両系制御部40、図示しないその他の制御部等にも接続され、制御部間や装置間の情報の伝達を行う。なお、図1では、一つのバスから構成されたCAN2を例示するが、本発明はこれに限られるものではなく、用途別の複数のバスから構成されたCAN2にも、本発明を同様に適用することができる。
As shown in FIG. 1, the CAN 2 is connected to the equipment
以下では、まず、本発明にかかる車両周辺情報表示装置10以外の艤装系制御部20、車両系制御部40から説明する。艤装系制御部20は、CAN2に接続し、車両1に備えられた電子機器等の制御を行う制御部群である。この艤装系制御部20には、車両の所定位置に装備された車載のカメラ30が接続されている。
Below, it demonstrates from the equipment
カメラ30は、車両走行の障害となる物体との衝突を回避すること等を目的として、車両周辺の映像を撮像するために設けられている撮像手段であり、たとえば単眼カメラやステレオカメラなどが用いられる。カメラ30は、たとえば図2に示すように、車両側部において、車両前側、車両後側、車両右側、車両左側の4箇所に、それぞれカメラ30a、カメラ30b、カメラ30c、カメラ30dが設けられる。図2は、車両側部におけるカメラ30の装着位置の一例を示す図である。
The camera 30 is an imaging means provided to capture an image around the vehicle for the purpose of avoiding a collision with an object that obstructs vehicle travel, and is used by, for example, a monocular camera or a stereo camera. It is done. For example, as shown in FIG. 2, the camera 30 is provided with a
カメラ30aは車両前側における車両周辺状況を撮像し、カメラ30bは車両後側における車両周辺状況を撮像し、カメラ30cは車両右側における車両周辺状況を撮像し、カメラ30dは車両左側における車両周辺状況を撮像する。これらのカメラ30により撮像した車両周辺状況の映像の映像データは、艤装系制御部20およびCAN2を介して車両周辺情報表示装置10に送信される。
The
車両系制御部40は、CAN2に接続し、車両1の動作制御を行う制御部群である。具体的には、車両系制御部40は、エンジンの動作を制御するエンジン制御部、ブレーキの動作を制御するブレーキ制御部等を備え、車両1の走行距離に関する情報を取得し、取得した情報を艤装系制御部20に送信するなどする。
The vehicle
次に、本発明にかかる車両周辺情報表示装置10について説明する。本実施例にかかる車両周辺情報表示装置10は、図1に示すように、表示部11と、切り替え指示入力部12と、制御部13とから主に構成される。
Next, the vehicle periphery
表示部11は、車両1に備えられたディスプレイ等である。具体的には、表示部11は、車両1の運転席と助手席との間などに設置され、制御部13から送信された、カメラ30において撮像した映像を表示する。なお、本実施例においては表示部11はカメラ30において撮像した映像を表示することを目的とするものであるが、これらの映像の他にも制御部13から送信された情報等の各種情報を表示することも可能である。
The
表示部11は、たとえば図3−1〜図3−4に示すように画面が左右2つの小画面に分割されている。図3−1〜図3−4は、表示部11における表示画面の一例を示す図である。そして、表示部11は、図3−1〜図3−4に示すように、左側の画面11Lには少なくともカメラ30において撮像した映像を表示し、右側の画面11Rには少なくとも切り替え指示入力部12の入力ボタンが表示されている。なお、左側の画面11Lには、映像データの他に現状を示す文字データや障害物を示す図形データ等を表示することも可能である。また、右側の画面11Rには、入力ボタンの他に一部映像データや図形データなどを表示することも可能である。切り替え指示入力部12の入力ボタンについては後述する。また、表示部11における表示方法については、後に詳説する。
The
切り替え指示入力部12は、カメラ30において撮像され表示部11に表示されている映像を指定する映像指示情報であって表示部11に表示されている映像を切り替えるための切り替え指示情報、および各種の設定条件等の情報を入力する入力手段である。切り替え指示入力部12は、表示部11の右側の画面11Rの画面上に設けられたタッチパネルにより構成され、たとえば図3−1〜図3−4に示すように車両のイメージ図の周囲にタッチパネルスイッチ12a、12b、12c、12dが表示される。
The switching instruction input unit 12 is video instruction information for specifying a video imaged by the camera 30 and displayed on the
タッチパネルスイッチ12a、12b、12c、12dは、表示部11の左側の画面11Lに表示する映像を切り替えるための映像切り替えスイッチである。ここで、タッチパネルスイッチ12aは、画面11Lの画面表示を、カメラ30aにより撮像された車両前側における車両周辺状況の映像を表示する画面に切り替えるための映像切り替えスイッチである。
The
また、タッチパネルスイッチ12bは、カメラ30bにより撮像された車両後側における車両周辺状況の映像を表示する画面に切り替えるための映像切り替えスイッチである。また、タッチパネルスイッチ12cは、カメラ30cにより撮像された車両右側における車両周辺状況の映像を表示する画面に切り替えるための映像切り替えスイッチである。また、タッチパネルスイッチ12dは、カメラ30dにより撮像された車両左側における車両周辺状況の映像を表示する画面に切り替えるための映像切り替えスイッチである。
The
本実施例にかかる車両周辺情報表示装置10おいては、上述したようにカメラ30の台数分だけ映像切り替えスイッチ(タッチパネルスイッチ12a、12b、12c、12d)が用意されている。このように、車両周辺状況の映像を撮像するカメラ30と映像切り替えスイッチ(タッチパネルスイッチ12a、12b、12c、12d)とを一義的に対応させることで、複雑な操作をすることなく、画面上で容易に且つ確実に画面11Lに表示する映像を切り替えることができる。なお、カメラ30と映像切り替えスイッチとは必ずしも一義的に対応させる必要はなく、カメラ30と映像切り替えスイッチとの対応付け方は本発明の要旨を逸脱しない範囲で適宜変更可能である。
In the vehicle periphery
制御部13は、映像データ取得部13aと、障害物検知部13bと、表示切り替え部13cと、条件設定部13dと、記憶部13eと、統括制御部13fと、を主たる構成部として有する。
The control unit 13 includes a video
映像データ取得部13aは、カメラ30により撮像した車両周辺状況の映像データを取得し、保持する。また、映像データ取得部13aは、取得した車両周辺状況の映像データを障害物検知部13bに送信する。障害物検知部13bは、映像データ取得部13aから送信される車両周辺状況の映像データを分析して、車両周辺に存在する障害物を検知する。
The video
ここで、障害物検知部13bは、車両周辺状況の映像データにおいて障害物を検知した場合には、車両周辺状況の映像データにおいて障害物を検知した旨の障害物検知情報を生成して表示切り替え部13cに送信する。この障害物検知情報には、障害物を検知した映像データを特定するために、たとえば障害物を検知した映像を撮像したカメラの番号(たとえば、30d)などの映像特定情報が含まれる。
When the
また、障害物検知部13bは、車両周辺状況の映像データにおいて障害物を検知しない場合には、車両周辺状況の映像データにおいて障害物を検知しない旨の障害物非検知情報を生成して表示切り替え部13cに送信する。
Further, when the
表示切り替え部13cは、切り替え指示入力部12により入力される切り替え指示情報、または障害物検知部13bから送信される障害物検知情報に基づいて、表示部11に表示させる映像の切り替えを行う。ここで、表示切り替え部13cは、切り替え指示情報に基づいて表示部11に表示させる映像の切り替えを行う場合には、切り替え指示情報が入力されたタッチパネルスイッチ12a、12b、12c、12dに対応する車両周辺状況の映像に、画面11Lの画面表示を切り替える。
The
すなわち、表示切り替え部13cは、タッチパネルスイッチ12aにより切り替え指示情報が入力された場合には、カメラ30aにより車両前側における車両周辺状況の映像に、画面11Lの画面表示を切り替える。また、表示切り替え部13cは、タッチパネルスイッチ12bにより切り替え指示情報が入力された場合には、カメラ30bにより車両後側における車両周辺状況の映像に、画面11Lの画面表示を切り替える。
That is, when the switching instruction information is input from the
また、表示切り替え部13cは、障害物検知情報に基づいて表示部11に表示させる映像の切り替えを行う場合には、障害物検知情報に含まれる映像特定情報で指定された映像、たとえばカメラ30で撮像された車両周辺状況の映像に、画面11Lの表示を切り替える。
In addition, when switching the video to be displayed on the
また、表示切り替え部13cは、障害物検知情報を受信した場合には、該障害物検知情報に対応するタッチパネルスイッチ情報を生成し、このタッチパネルスイッチ情報に障害物マーク情報を付加して障害物マーク付きのタッチパネルスイッチ情報を生成する。また、この障害物検知情報に対応する車両周辺状況の映像データを映像データ取得部13aから取得する。そして、これらを表示部11に送信する。
Further, when receiving the obstacle detection information, the
また、表示切り替え部13cは、障害物非検知情報を受信した場合には、該障害物検知情報に対応する通常のタッチパネルスイッチ情報、すなわち障害物マーク無しのタッチパネルスイッチ情報を生成し、表示部11に送信する。
Further, when receiving the obstacle non-detection information, the
条件設定部13dは、車両周辺情報表示装置10の制御に必要な各種条件を設定する。この条件には、たとえば障害物が複数検知された場合に画面11Lに表示する映像の優先順位などの条件が含まれる。記憶部13eは、車両周辺情報表示装置10の制御に必要な各種プログラムや制御に必要な各種データ等を記憶する。統括制御部13fは、車両周辺情報表示装置10の起動・停止部含む車両周辺情報表示装置10全般の制御を行う。
The
つぎに、表示部11における表示方法について説明する。図3−1は、カメラ30aにより撮像した車両前側における車両周辺状況の映像を表示した状態を示しており、車両右前方における車両周辺状況の映像を表示した画面11Laと、車両左前方における車両周辺状況の映像を表示した画面11Lbと、車両下方前方における車両周辺状況の映像を表示した画面11Lcと、を表示している状態を示している。
Next, a display method on the
また、図3−2は、カメラ30bにより撮像した車両後側における車両周辺状況の映像を表示した画面11Ldが画面11Lに表示された状態を示しており、図3−3は、カメラ30cにより撮像した車両右側における車両周辺状況の映像を表示した画面11Leが画面11Lに表示された状態を示しており、図3−4は、カメラ30dにより撮像した車両左側における車両周辺状況の映像を表示した画面11Lfが画面11Lに表示された状態を示している。
3-2 shows a state where a screen 11Ld displaying an image of the vehicle surroundings on the rear side of the vehicle imaged by the
ここで、図3−1〜図3−4に示す状況においては、車両左側に障害物が存在する場合を示している。すなわち、図3−1の画面11La、11Lb、11Lc、図3−2の画面11Ldおよび図3−3の画面11Leには障害物が存在せず、図3−4の画面11Lfに障害物の映像が表示されている状態である。 Here, in the situation shown in FIGS. 3-1 to 3-4, a case where an obstacle exists on the left side of the vehicle is shown. That is, there are no obstacles on the screens 11La, 11Lb, 11Lc in FIG. 3-1, the screen 11Ld in FIG. 3-2, and the screen 11Le in FIG. 3-3, and the obstacle image is displayed on the screen 11Lf in FIG. Is displayed.
本実施例にかかる車両周辺情報表示装置10においては、障害物が検知された映像データに対応するタッチパネルスイッチ12aに障害物マークを表示する。すなわち、図3−1〜図3−4に示す状況においては車両左側に障害物が存在するため、図3−4に示すように車両左側における車両周辺状況の映像に対応するタッチパネルスイッチ12dに障害物マークを表示する。
In the vehicle surrounding
なお、図3−4においては、障害物マークとしてポールのマークをタッチパネルスイッチ12dに表示している。また、障害物マークとしては、実際の障害物の映像をそのままタッチパネルスイッチ12に表示しても良い。
In FIG. 3-4, a pole mark is displayed on the
また、車両周辺における複数の方向の映像において障害物が検知された場合、たとえば車両右側と車両左側における車両周辺状況の映像において障害物が検知された場合には、図3−5に示すように車両右側における車両周辺状況の映像に対応するタッチパネルスイッチ12cと、車両左側における車両周辺状況の映像に対応するタッチパネルスイッチ12dと、に障害物マークを表示する。図3−5は、車両周辺における複数の方向の映像において障害物が検知された場合のタッチパネルスイッチの表示を説明する図である。
Further, when an obstacle is detected in a plurality of directions around the vehicle, for example, when an obstacle is detected in the images of the vehicle surroundings on the right side and the left side of the vehicle, as shown in FIG. An obstacle mark is displayed on the
このように、車両周辺状況の映像に対応するタッチパネルスイッチに障害物マークを表示することにより、画面11Lにおいて車両周辺におけるどの方向の映像(どのカメラ30で撮像した映像)を表示している場合においても、ユーザは車両周辺におけるどの方向(どのカメラ30で撮像した映像)に障害物が存在するかの情報を画面11Rの表示により即座に得ることができ、画面11Lの画面表示を車両周辺におけるどの方向の映像(どのカメラ30で撮像した映像)に切り替えればよいか即座に知ることができる。
In this way, when an obstacle mark is displayed on the touch panel switch corresponding to the image of the vehicle surrounding situation, an image in which direction around the vehicle (image captured by which camera 30) is displayed on the
また、本実施例にかかる車両周辺情報表示装置10おいては、車両周辺状況を撮像するカメラ30の台数分だけ映像切り替えスイッチ(タッチパネルスイッチ)が用意されているため、車両周辺において障害物が存在する方向の映像が複数存在する場合でも、ユーザは車両周辺におけるどの方向(どのカメラ30で撮像した映像)に障害物が存在するかの情報を画面11Rの表示により即座に得ることができる。
Further, in the vehicle periphery
そして、ユーザが障害物マークが表示されているタッチパネルスイッチを選択することにより、車両周辺において障害物が存在する方向の映像を即座に画面11Lの画面に表示させることができる。これにより、ユーザは迷うことなく、また複雑な操作を行うことなく、画面上の操作により車両周辺において障害物が存在する方向の映像を即座に画面11Lの画面に表示させて、障害物が存在する車両周辺状況を確認することができる。したがって、ユーザは容易に且つ迅速に障害物が存在する車両周辺状況を確認することができ、車両周辺の障害物との衝突を未然に防止することができる。
Then, when the user selects the touch panel switch on which the obstacle mark is displayed, an image in the direction in which the obstacle exists around the vehicle can be immediately displayed on the screen of the
また、障害物マークが表示されたタッチパネルスイッチのみを有効(選択可能)とし、車両周辺の映像において障害物が検知されていない方向のタッチパネルスイッチは選択無効としても良い。これにより、車両周辺の映像において障害物が検知されていない方向、すなわち障害物との衝突の危険のない方向の映像は画面11Lに表示されず、車両周辺の映像において障害物が検知されている方向、すなわち障害物との衝突の危険がある方向の映像だけが確実に画面11Lに表示される。これにより、ユーザの操作ミスや勘違いなどの人為的要因による障害物の不認識を効果的に防止して、ユーザに対して障害物の存在を確実に認識させることができ、車両周辺の障害物との衝突を未然に防止することができる。
Further, only the touch panel switch on which the obstacle mark is displayed may be enabled (selectable), and the touch panel switch in the direction in which no obstacle is detected in the image around the vehicle may be disabled. As a result, the image in the direction in which no obstacle is detected in the image around the vehicle, that is, the direction in which there is no danger of collision with the obstacle is not displayed on the
また、車両周辺情報表示装置10の起動時の画面11Lの初期画面は、たとえば起動時にカメラ30a〜30dにおいて車両周辺状況の映像を撮像した際に、障害物が検知された映像を表示する画面に設定されている。たとえば、車両周辺情報表示装置10の起動時において、図3−1〜図3−4に示す場合のようにカメラ30dにより撮像した車両左側における車両周辺状況の映像に障害物が検知された場合には、画面11Lの初期画面にはカメラ30dにより撮像した車両左側における車両周辺状況の映像を表示した画面11Lfが映し出される。このように、車両周辺において障害物が検知された方向の映像を初期画面として表示することにより、ユーザに対して障害物の存在を確実に認識させることができ、車両周辺の障害物との衝突を未然に防止することができる。
In addition, the initial screen of the
また、起動時において、複数のカメラ30の映像において障害物が検知された場合には、初期画面として表示する画面の優先順位を予め条件設定部13dに設定しておくことにより、障害物が検知された映像のうち所望の方向の映像を初期画面として表示することができる。このように優先順位を予め設定しておくことにより、障害物が検知された映像のうちユーザが一番気になる方向の車両周辺の映像を優先的に見ることができる。
Further, when an obstacle is detected in the images of the plurality of cameras 30 at the time of startup, the obstacle is detected by setting the priority order of the screen displayed as the initial screen in the
つぎに、車両周辺情報表示装置10の初期処理について図4を参照しながら説明する。図4は、車両周辺情報表示装置10の初期処理を説明するためのフローチャートである。ここでは、車両のエンジンが始動した状態から説明する。車両のエンジンを始動させ、車両周辺情報表示装置10を起動すると、車両周辺情報表示装置10の統括制御部13fではCAN2を介して車両系制御部40からシフトレバーの位置を示すシフトレバー位置情報とブレーキの状態を示すブレーキ状態情報とを取得する。
Next, an initial process of the vehicle surrounding
そして、車両周辺情報表示装置10の統括制御部13fでは、上記のシフトレバー位置情報としてシフトレバーがパーキングレンジ(P)にセットされている旨のシフトレバーパーキングレンジ情報を取得し、且つブレーキ状態情報としてブレーキがオンされている旨のブレーキオン情報が取得したことを条件として、車両周辺状況の表示待機状態になる。
Then, the
なお、車両のエンジンが始動すると、シフトレバーの位置を示すシフトレバー位置情報とブレーキの状態を示すブレーキ状態情報とが車両系制御部40からCAN2を介して車両周辺情報表示装置10の統括制御部13fに入力され、これらの情報の入力を条件として車両周辺情報表示装置10が起動するような形態とすることも可能である。
When the vehicle engine is started, shift lever position information indicating the position of the shift lever and brake state information indicating the brake state are transmitted from the vehicle
また、車両のエンジンの始動とともに複数のカメラ30(カメラ30a、カメラ30b、カメラ30c、カメラ30d)が起動し、車両の周辺状況の撮像を開始する。映像データ取得部13aは、複数のカメラ30により撮像した車両周辺状況の映像の映像データをそれぞれ艤装系制御部20、CAN2を介して取得する(ステップS110)。つぎに、映像データ取得部13aは、取得した車両周辺状況の映像データを障害物検知部13bに送信する(ステップS120)。
In addition, a plurality of cameras 30 (
障害物検知部13bは、映像データ取得部13aから送信される車両周辺状況の映像データを分析して、車両周辺に存在する障害物の有無を検知する。そして、障害物検知部13bは、車両周辺状況の映像データにおいて障害物を検知した場合には該車両周辺状況の映像データにおいて障害物を検知した旨の障害物検知情報を生成して表示切り替え部13cに送信し、車両周辺状況の映像データにおいて障害物を検知しない場合には該車両周辺状況の映像データにおいて障害物を検知しない旨の障害物非検知情報を生成して表示切り替え部13cに送信する(ステップS130)。障害物検知部13bは、映像データ取得部13aから送信されるすべての車両周辺状況の映像データに対して上記の処理を行う。
The
つぎに、表示切り替え部13cは、障害物検知情報を受信したか否か判断する(ステップS140)。ここで、障害物検知情報を受信したと判断した場合は(ステップS140肯定)、表示切り替え部13cはこの障害物検知情報に対応するタッチパネルスイッチ情報を生成し、このタッチパネルスイッチ情報に障害物マーク情報を付加して障害物マーク付きのタッチパネルスイッチ情報を生成し、また、この障害物検知情報に対応する車両周辺状況の映像データを映像データ取得部13aから取得し、これらを表示部11に送信する(ステップS150)。
Next, the
また、障害物検知情報を受信しない判断した場合、すなわち障害物非検知情報を受信したと判断した場合は(ステップS140否定)、表示切り替え部13cは障害物マーク無しのタッチパネルスイッチ情報を生成し、表示部11に送信する(ステップS160)。
When it is determined that the obstacle detection information is not received, that is, when it is determined that the obstacle non-detection information is received (No at Step S140), the
つぎに、表示切り替え部13cは、受信した全ての障害物検知情報または障害物非検知情報に対して上述したステップS150またはステップS160の処理が完了したか否かを判断する(ステップS170)。ここで、全ての障害物検知情報または障害物非検知情報についてステップS150またはステップS160の処理が完了していないと判断した場合には(ステップS170否定)、ステップS140に戻る。
Next, the
また、全ての障害物検知情報または障害物非検知情報についてステップS150またはステップS160の処理が完了したと判断した場合には(ステップS170肯定)、次ステップS180に進む。 If it is determined that the processing in step S150 or step S160 has been completed for all obstacle detection information or obstacle non-detection information (Yes in step S170), the process proceeds to the next step S180.
次ステップでは、表示部11が、障害物検知情報を受信するとこの障害物マーク付きのタッチパネルスイッチ情報に基づいて、障害物マーク付きのタッチパネルスイッチを画面11Rに表示させ、障害物非検知情報を受信するとこの障害物マーク無しのタッチパネルスイッチ情報に基づいて、障害物マーク無しのタッチパネルスイッチを画面11Rに表示させる(ステップS180)。
In the next step, when the
つぎに、表示切り替え部13cは、ステップS150において表示切り替え部13cから送信された、障害物検知情報に対応する車両周辺状況の映像データに基づいて車両周辺状況の映像を画面11Lに表示させる(ステップS190)。これにより、障害物が検知された車両周辺状況の映像が画面11Lに表示される。
Next, the
なお、障害物検知情報が複数ある場合、すなわち、障害物が検知された車両周辺状況の映像が複数ある場合には、予め設定された優先順位に基づいて車両周辺状況の映像が画面11Lに表示される。また、障害物検知情報が無い場合、すなわち、障害物が検知された車両周辺状況の映像が無い場合には、予め設定された優先順位に基づいて車両周辺状況の映像が画面11Lに表示される。
In addition, when there are a plurality of obstacle detection information, that is, when there are a plurality of images of the vehicle surrounding situation in which the obstacle is detected, a video of the vehicle surrounding situation is displayed on the
つぎに、車両周辺情報表示装置10において、画面11Lの画面表示を切り替える動作処理について図5を参照しながら説明する。図5は、車両周辺情報表示装置10において画面11Lの画面表示を切り替える動作処理を説明するためのフローチャートである。
Next, an operation process for switching the screen display of the
ユーザが、タッチパネルスイッチ12a、12b、12c、12dのうち、所望のタッチパネルスイッチ(たとえばタッチパネルスイッチ12d)を選択すると、選択されたタッチパネルスイッチ(たとえばタッチパネルスイッチ12d)に対応する映像に画面11Lの画面表示を切り替える旨の切り替え指示情報が表示切り替え部13cに送信される(ステップS310)。表示切り替え部13cは、この切り替え指示情報を受信すると、該切り替え指示情報に対応する(たとえば選択されたタッチパネルスイッチ12dに対応する)映像データ(たとえばカメラ30dで撮像された車両周辺状況の映像の映像データ)を映像データ取得部13aから取得する(ステップS320)。
When the user selects a desired touch panel switch (for example, the
つぎに、表示切り替え部13cは、取得した映像データ(たとえばカメラ30dで撮像された車両周辺状況の映像の映像データ)を切り替え指示情報とともに表示部11に送信する(ステップS330)。表示部11は表示切り替え部13cから送信された映像データと切り替え指示情報とを受信すると、切り替え指示情報に従って、画面11Lの画面表示を、受信した映像データ(たとえばカメラ30dで撮像された車両周辺状況の映像の映像データ)の映像に切り替える(ステップS340)。以上の処理により、画面上に表示されたタッチパネルスイッチを用いて画面11Lの画面表示を容易に、且つ迅速に切り替えることが可能である。
Next, the
以上のような車両周辺情報表示装置10においては、車両周辺状況の映像の切り替えは、法律で規定された法規カメラの画像に対しても上記と同様にタッチパネルスイッチを割り当てることが可能である。そして、上述した車両周辺状況の映像と同様に法規カメラの画像を画面11Lに表示することが可能であり、また、上述した車両周辺状況の映像と法規カメラの画像との切り替えも、タッチパネルスイッチを用いて行うことが可能であり、上記と同様に切り替え処理を行うことにより複雑な操作をすることなく、容易に且つ確実に画面11Lに表示する映像を切り替えることができる。
In the vehicle surrounding
なお、上記においては表示部11の画面を左右2つに分割する場合について説明したが、画面の分割形態はこれに限定されるものではなく、表示部11の形状や大きさによってはたとえば画面を上下2つに分割して表示しても良い。また、画面の分割数も2分割に限定されるものではない。また、画面の分割数を増やした場合には、指定した車両周辺状況の映像を2画面以上の画面に表示することも可能である。
In the above, the case where the screen of the
また、上記においては、カメラ30で撮像した映像データは、艤装系制御部20を介してカメラ映像データ取得部に送られる。なお、ここではカメラ30で撮像した映像データを艤装系制御部20を介してカメラ映像データ取得部に送る場合について説明しているが、本発明においてはカメラ30で撮像した映像データの送信経路は特に限定されるものではなく、カメラ30から直接カメラ映像データ取得部に送信する形態としても良い。
In the above, the video data captured by the camera 30 is sent to the camera video data acquisition unit via the outfitting
また、上述した映像の表示方法を、これらの方法の処理手順が格納されたプログラムとして構成し、このプログラムをCPUや記憶装置等を有する計算機で実行することによって実現することができる。 Further, the video display method described above can be implemented as a program storing the processing procedures of these methods and executed by a computer having a CPU, a storage device, and the like.
上述してきたように、本実施例では、撮像部であるカメラ30の台数分だけ映像切り替えスイッチ(タッチパネルスイッチ12a、12b、12c、12d)を用意し、車両周辺状況の映像と映像切り替えスイッチ(タッチパネルスイッチ12a、12b、12c、12d)とを一義的に対応させることで、複雑な操作をすることなく、画面上の操作で容易に且つ確実に画面11Lに表示する映像を切り替えることができる。したがって、ユーザは容易に且つ迅速に障害物が存在する車両周辺状況を確認することができ、車両周辺の障害物との衝突を未然に防止することができる。
As described above, in this embodiment, video changeover switches (
また、映像切り替えスイッチが車両周辺状況の映像と一義的に対応しているので、障害物が検知された映像が複数存在する場合においても、所望の障害物を選択して確認することができる。 In addition, since the image changeover switch uniquely corresponds to the image of the vehicle surrounding situation, even when there are a plurality of images in which an obstacle is detected, a desired obstacle can be selected and confirmed.
以上のように、本発明にかかる車両周辺情報表示装置は、機械操作や車両の運転技術等に不慣れなユーザが車両を運転する場合に有用である。 As described above, the vehicle periphery information display device according to the present invention is useful when a user who is unfamiliar with machine operation, vehicle driving technology, or the like drives the vehicle.
1 車両
10 車両周辺情報表示装置
11 表示部
11L 左側の画面
11R 右側の画面
12 指示入力部
12a タッチパネルスイッチ
12b タッチパネルスイッチ
12c タッチパネルスイッチ
12d タッチパネルスイッチ
13 制御部
13a 映像データ取得部
13b 障害物検知部
13c 表示切り替え部
13d 条件設定部
13e 記憶部
13f 統括制御部
20 艤装系制御部
30 カメラ
30a カメラ
30b カメラ
30c カメラ
30d カメラ
40 車両系制御部
DESCRIPTION OF SYMBOLS 1
Claims (4)
少なくとも前記映像データを表示可能な映像データ表示画面と、少なくとも前記複数の撮像部から取得した映像データと対応付けされるとともに前記映像データ表示画面に表示させる映像データを指示するための複数の入力スイッチを表示する入力スイッチ画面と、からなる分割画面を表示する表示部と、
前記複数の入力スイッチのうち選択された前記入力スイッチに対応付けされた映像データの前記映像データ表示画面への表示を制御する表示制御部と、
を備えることを特徴とする車両周辺情報表示装置。 A video data acquisition unit that acquires video data of a plurality of vehicle surroundings images captured by a plurality of imaging units connected to the vehicle;
A plurality of input switches for instructing video data to be displayed on the video data display screen and associated with at least the video data display screen capable of displaying the video data and at least video data acquired from the plurality of imaging units An input switch screen for displaying a screen, a display unit for displaying a split screen, and
A display control unit that controls display of video data associated with the selected input switch among the plurality of input switches on the video data display screen;
A vehicle periphery information display device comprising:
前記表示制御部は、前記障害物検知部において障害物の検知された前記映像データの映像を前記映像データ表示画面に優先的に表示させること
を特徴とする請求項1に記載の車両周辺情報表示装置。 An obstacle detection unit that analyzes the video data and detects the presence or absence of an obstacle;
2. The vehicle surrounding information display according to claim 1, wherein the display control unit preferentially displays an image of the video data in which an obstacle is detected by the obstacle detection unit on the video data display screen. apparatus.
を特徴とする請求項2に記載の車両周辺情報表示装置。 An obstacle mark indicating the presence of an obstacle is displayed on the input switch associated with the video data in which the obstacle is detected;
The vehicle periphery information display device according to claim 2.
を特徴とする請求項3に記載の車両周辺情報表示装置。 Only the input switch on which the obstacle mark is displayed is enabled,
The vehicle periphery information display device according to claim 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006327580A JP4905888B2 (en) | 2006-12-04 | 2006-12-04 | Vehicle periphery information display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006327580A JP4905888B2 (en) | 2006-12-04 | 2006-12-04 | Vehicle periphery information display device |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011271772A Division JP5385366B2 (en) | 2011-12-12 | 2011-12-12 | Vehicle display device |
JP2011271771A Division JP5284452B2 (en) | 2011-12-12 | 2011-12-12 | Vehicle display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008141622A true JP2008141622A (en) | 2008-06-19 |
JP4905888B2 JP4905888B2 (en) | 2012-03-28 |
Family
ID=39602603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006327580A Active JP4905888B2 (en) | 2006-12-04 | 2006-12-04 | Vehicle periphery information display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4905888B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010069943A (en) * | 2008-09-16 | 2010-04-02 | Honda Motor Co Ltd | Vehicle surroundings monitoring apparatus |
GB2472397A (en) * | 2009-08-04 | 2011-02-09 | Shih-Hsiung Li | In-vehicle multi-window information and video display |
US8665331B2 (en) | 2010-06-28 | 2014-03-04 | Honda Motor Co., Ltd. | In-vehicle image display apparatus |
JP2014180046A (en) * | 2011-06-07 | 2014-09-25 | Komatsu Ltd | Periphery monitoring device of work vehicle |
CN104333712A (en) * | 2014-10-16 | 2015-02-04 | 重庆金宏汽车电子有限公司 | Video switching circuit for navigation system |
JP2020177242A (en) * | 2020-07-01 | 2020-10-29 | 京セラ株式会社 | Camera monitor system for vehicle and method for controlling the same |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001180374A (en) * | 1999-12-24 | 2001-07-03 | Aisin Aw Co Ltd | Driving support device and riving support method |
JP2004173048A (en) * | 2002-11-21 | 2004-06-17 | Auto Network Gijutsu Kenkyusho:Kk | Onboard camera system |
JP2004212658A (en) * | 2002-12-27 | 2004-07-29 | Sumitomo Electric Ind Ltd | System and method for image display and image processor |
JP2004312063A (en) * | 2003-04-01 | 2004-11-04 | Sumitomo Electric Ind Ltd | Imaging apparatus, image display system, and image displaying method |
-
2006
- 2006-12-04 JP JP2006327580A patent/JP4905888B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001180374A (en) * | 1999-12-24 | 2001-07-03 | Aisin Aw Co Ltd | Driving support device and riving support method |
JP2004173048A (en) * | 2002-11-21 | 2004-06-17 | Auto Network Gijutsu Kenkyusho:Kk | Onboard camera system |
JP2004212658A (en) * | 2002-12-27 | 2004-07-29 | Sumitomo Electric Ind Ltd | System and method for image display and image processor |
JP2004312063A (en) * | 2003-04-01 | 2004-11-04 | Sumitomo Electric Ind Ltd | Imaging apparatus, image display system, and image displaying method |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010069943A (en) * | 2008-09-16 | 2010-04-02 | Honda Motor Co Ltd | Vehicle surroundings monitoring apparatus |
US8319617B2 (en) | 2008-09-16 | 2012-11-27 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
GB2472397A (en) * | 2009-08-04 | 2011-02-09 | Shih-Hsiung Li | In-vehicle multi-window information and video display |
GB2472397B (en) * | 2009-08-04 | 2011-06-22 | Shih-Hsiung Li | In-vehicle display device for vehicles |
US8665331B2 (en) | 2010-06-28 | 2014-03-04 | Honda Motor Co., Ltd. | In-vehicle image display apparatus |
JP2014180046A (en) * | 2011-06-07 | 2014-09-25 | Komatsu Ltd | Periphery monitoring device of work vehicle |
CN104333712A (en) * | 2014-10-16 | 2015-02-04 | 重庆金宏汽车电子有限公司 | Video switching circuit for navigation system |
JP2020177242A (en) * | 2020-07-01 | 2020-10-29 | 京セラ株式会社 | Camera monitor system for vehicle and method for controlling the same |
Also Published As
Publication number | Publication date |
---|---|
JP4905888B2 (en) | 2012-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5832674B2 (en) | Display control system | |
JP5341789B2 (en) | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program | |
US8854466B2 (en) | Rearward view assistance apparatus displaying cropped vehicle rearward image | |
EP1725035B1 (en) | Image display apparatus and method for a vehicle | |
US9725039B2 (en) | Vehicular visibility support apparatus | |
US8138899B2 (en) | Rear camera backup assistance with touchscreen display using two points of interest | |
JP5187179B2 (en) | Vehicle periphery monitoring device | |
US8970398B2 (en) | Parking assistance device using multiple parking guidance indicators | |
JP4905888B2 (en) | Vehicle periphery information display device | |
JP6555348B2 (en) | Image display control device | |
CN107428252B (en) | Method for operating a communication device of a motor vehicle during an autonomous driving mode, communication device and motor vehicle | |
JP2007221200A (en) | Vehicle periphery monitoring system | |
JP2008024138A (en) | Image display device and program | |
JP2008207627A (en) | In-vehicle imaging system, imaging device, and display control device | |
JP2010208359A (en) | Display device for vehicle | |
WO2015122124A1 (en) | Vehicle periphery image display apparatus and vehicle periphery image display method | |
JP2018144554A (en) | Head-up display device for vehicle | |
JP6036548B2 (en) | Video control device for vehicle | |
CN110895443A (en) | Display control device | |
JP5385366B2 (en) | Vehicle display device | |
JP2014206888A (en) | Driving support system of vehicle | |
JP5284452B2 (en) | Vehicle display device | |
JPH10181447A (en) | System for confirming surrounding of vehicle | |
JP6720902B2 (en) | In-vehicle equipment control device and application software for in-vehicle equipment control | |
JP2008301227A (en) | Vehicle-mounted display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100930 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120104 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4905888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |