JP2012061954A - Image display system, image processing device and image display method - Google Patents
Image display system, image processing device and image display method Download PDFInfo
- Publication number
- JP2012061954A JP2012061954A JP2010207651A JP2010207651A JP2012061954A JP 2012061954 A JP2012061954 A JP 2012061954A JP 2010207651 A JP2010207651 A JP 2010207651A JP 2010207651 A JP2010207651 A JP 2010207651A JP 2012061954 A JP2012061954 A JP 2012061954A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- steering wheel
- user
- reference mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、車両における画像表示技術に関する。 The present invention relates to an image display technique in a vehicle.
従来、車両をユーザの選択した駐車領域に駐車する場合、車両後方のカメラから撮影した画像を表示装置で表示し、車両の進行方向を変化させる操作の必要がある位置にガイド線を表示していた。ユーザは表示装置に表示されたガイド線に車両の後端部が接近した場合、ステアリングホイールを操作して車両の進行方向を変化させていた。なお、本発明と関連する技術を説明する資料としては特許文献1がある。
Conventionally, when a vehicle is parked in a parking area selected by a user, an image taken from a camera behind the vehicle is displayed on a display device, and a guide line is displayed at a position that requires an operation to change the traveling direction of the vehicle. It was. When the rear end of the vehicle approaches the guide line displayed on the display device, the user operates the steering wheel to change the traveling direction of the vehicle. Note that there is
しかしながら、車両後方のカメラにより撮影された画像では、車両本体が表示されていないため、車両の後端部とガイド線とが接近した状態にあるか否かがわかり難く、駐車動作中のどのタイミングでステアリングホイールの操作を行う必要があるのかの判断が困難であった。 However, in the image taken by the camera behind the vehicle, the vehicle body is not displayed, so it is difficult to determine whether the rear end of the vehicle and the guide line are in close proximity. Therefore, it was difficult to determine whether it was necessary to operate the steering wheel.
本発明は、車両の駐車の際にステアリングホイールの操作が必要なタイミングをユーザへ報知することを目的とする。 An object of this invention is to alert | report to a user the timing which operation of a steering wheel is required in the case of parking of a vehicle.
上記課題を解決するために、請求項1の発明は、車両に搭載される画像表示システムであって、前記車両に配置された複数のカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を表示する表示手段と、ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する表示制御手段と、前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、を備える。
In order to solve the above-mentioned problem, the invention of
また、請求項2の発明は、請求項1に記載の画像表示システムにおいて、前記報知手段は、前記ユーザのステアリングホイールの操作量が閾値より大きくなった場合に、前記ステアリングホイールの操作が必要であることの報知を取りやめる。
Further, the invention according to claim 2 is the image display system according to
また、請求項3の発明は、請求項1または2に記載の画像表示システムにおいて、前記報知手段は、前記車両の縦列駐車を行う場合に、前記ステアリングホイールの操作を最初に行うべき前記操作ポイントである第1操作ポイントと、前記車両の側面の一方に設定された前記基準マークである第1基準マークとの接触により、前記ステアリングホイールを操作する必要があることを報知した後に、前記第1操作ポイントの次に前記ステアリングホイールの操作を行うべき前記操作ポイントである第2操作ポイントと、前記車両の側面の他方に設定された前記基準マークである第2基準マークとが接触したときに、前記ステアリングホイールを操作する必要があることを報知する。 The invention according to claim 3 is the image display system according to claim 1 or 2, wherein when the vehicle performs parallel parking of the vehicle, the operation point at which the operation of the steering wheel is to be performed first is performed. After informing that it is necessary to operate the steering wheel by contacting the first operation point which is the first reference mark which is the reference mark set on one of the side surfaces of the vehicle, When the second operation point that is the operation point to operate the steering wheel next to the operation point comes into contact with the second reference mark that is the reference mark set on the other side of the vehicle, Informs that it is necessary to operate the steering wheel.
また、請求項4の発明は、請求項3に記載の画像表示システムにおいて、前記表示手段は、前記車両の後端部から前記車両が後退する方向に延びるガイド線を表示し、前記ユーザの前記第2操作ポイントにおける前記ステアリングホイールの操作が完了したことに応答して、前記ガイド線の長さを前記第2操作ポイントにおける前記ステアリングホイールの操作前よりも短く表示する。 According to a fourth aspect of the present invention, in the image display system according to the third aspect, the display means displays a guide line extending in a direction in which the vehicle moves backward from a rear end portion of the vehicle, and the user's In response to the completion of the operation of the steering wheel at the second operation point, the length of the guide line is displayed shorter than before the operation of the steering wheel at the second operation point.
また、請求項5の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両に配置された複数のカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示させる表示制御手段と、前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、を備える。
Further, the invention of
さらに、請求項6の発明は、車両に搭載される画像表示方法であって、前記車両に配置された複数のカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、前記俯瞰画像を表示する工程と、ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する工程と、前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する工程と、前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する工程と、を備える。 Further, the invention of claim 6 is an image display method mounted on a vehicle, and is an overhead image in which the vehicle and the surrounding area of the vehicle are overlooked from captured images obtained by a plurality of cameras arranged in the vehicle. A step of displaying the bird's-eye view image, a step of setting a parking position where the vehicle should be parked in the bird's-eye view image based on a user's operation, and a relative setting to the parking position. An operation point indicating a position where the user should operate the steering wheel and a reference mark set relatively to the vehicle are displayed in the overhead image, and the operation point and the And a step of notifying the user that the operation of the steering wheel is necessary when the reference mark comes into contact.
請求項1ないし6の発明によれば、車両の移動により、操作ポイントと基準マークとが接触した場合に、車両のステアリングホイールの操作が必要であることをユーザへ報知することで、ユーザは車両を駐車する際にステアリングホイールの操作が必要なタイミングを的確に把握できる。 According to the first to sixth aspects of the present invention, when the operation point and the reference mark come into contact with each other due to the movement of the vehicle, the user notifies the user that the operation of the steering wheel of the vehicle is necessary. It is possible to accurately grasp the timing when the steering wheel must be operated when parking the vehicle.
また、特に請求項2の発明によれば、報知手段は、ユーザのステアリングホイールの操作量が閾値より大きくなった場合に、ステアリングホイールの操作が必要であることの報知を取りやめることで、ユーザは操作ポイントにおける必要なステアリングホイールの操作が完了したことを把握できる。 In particular, according to the invention of claim 2, the notification means cancels the notification that the operation of the steering wheel is necessary when the operation amount of the steering wheel of the user is greater than the threshold, so that the user can It can be understood that the necessary steering wheel operation at the operation point has been completed.
また、特に請求項3の発明によれば、報知手段は、車両の縦列駐車を行う場合に車両のステアリング操作を最初に行う操作ポイントである第1操作ポイントと、車両の車体の左右側面のいずれか一方に表示された第1基準マークとの接触により、ステアリングホイールを操作する必要があることを報知した後に、第1操作ポイントの次に車両のステアリング操作を行う第2操作ポイントと、車両の車体の左右側面のいずれか一方で前記第1基準マークとは異なるに側面に設けられた第2基準マークとの接触により、ステアリングホイールを操作する必要があることを報知することで、駐車位置までに複数回ステアリングホイールの操作が必要な縦列駐車において、ユーザは車両の駐車時にステアリングホイールの操作が必要なタイミングを的確に把握できる。 In particular, according to the invention of claim 3, the notifying means includes either a first operation point which is an operation point for first performing a steering operation of the vehicle when performing parallel parking of the vehicle, and a left and right side surface of the vehicle body of the vehicle. After notifying that it is necessary to operate the steering wheel by contact with the first reference mark displayed on either side, a second operation point for steering the vehicle after the first operation point, By informing that the steering wheel needs to be operated by contact with the second reference mark provided on the side surface of either one of the left and right side surfaces of the vehicle body, which is different from the first reference mark, up to the parking position In parallel parking, where the steering wheel needs to be operated multiple times, the user will need to operate the steering wheel when the vehicle is parked. It can be grasped.
さらに、特に請求項4の発明によれば、設定手段は、ユーザの第2操作ポイントにおけるステアリングホイールの操作が完了したことに応答して、車両が後退する方向に延びるガイド線の長さをユーザが第2の操作ポイントでステアリングホイールを操作する前よりも短く表示することで、ユーザは車両を駐車位置に駐車させる場合の後退距離が明確となり、駐車位置へ確実に駐車できる。 Further, according to the invention of claim 4, the setting means determines the length of the guide line extending in the direction in which the vehicle moves backward in response to the completion of the operation of the steering wheel at the second operation point of the user. Is displayed shorter than before operating the steering wheel at the second operation point, the user can clearly determine the reverse distance when the vehicle is parked at the parking position, and can park at the parking position reliably.
以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<第1の実施の形態>
<1−1.システム構成>
図1は、画像表示システム120のブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置20などの表示装置に出力する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
<First Embodiment>
<1-1. System configuration>
FIG. 1 is a block diagram of the
図1に示すように、画像表示システム120は、車両の周辺を示す周辺画像を生成してナビゲーション装置20などの表示装置に画像情報を出力する画像処理装置100と、車両の周囲を撮影するカメラを備えている撮影部5とを主に備えている。
As shown in FIG. 1, an
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行う操作部22と、装置全体を制御する制御部23とを備えている。ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
The
ナビゲーション装置20は、画像処理装置100と通信可能に接続され、画像処理装置100との間で各種の制御信号の送受信や、画像処理装置100で生成された周辺画像の受信が可能となっている。ディスプレイ21には、制御部23の制御により、通常はナビゲーション装置20単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置100により生成された車両の周辺の様子を示す周辺画像や、車両9及び車両9の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ21に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置20は、画像処理装置100で生成された周辺画像を受信して表示する表示装置としても機能する。
The
画像処理装置100は、その本体部10が周辺画像を生成する機能を有するECU(Electronic Control Unit)であり、車両の所定の位置に配置される。画像処理装置100は、車両の周辺を撮影する撮影部5を備えており、この撮影部5で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部5が備える複数の車載カメラ51,52,53は、本体部10とは別の車両の適位置に配置されるが詳細は後述する。また、車両に搭載されるカメラの搭載位置は、車載カメラ51,52,53の位置に限らず、車両の周辺画像を生成可能な位置であれば、他の位置に複数設けられても良い。
The
画像処理装置100の本体部10は、装置全体を制御する制御部1と、撮影部5で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部3と、ナビゲーション装置20との間で通信を行うナビ通信部42とを主に備えている。
The
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。これにより、画像処理装置100は、ナビゲーション装置20に対するユーザの操作に応答した動作が可能となっている。
Various instructions from the user received by the
また、画像処理装置100は、駐車支援ボタン201を備えている。この駐車支援ボタン201がユーザに操作されると、ユーザの指示を示す信号が制御部1に入力されて、後述するフロントモードM2(図4に示す。)の画像が表示される。なお、この駐車支援ボタン45はハードボタンとして画像処理装置100やナビゲーション装置20に設けられてもよい。また、駐車支援ボタン45は、ナビゲーション装置20のディスプレイ21にユーザが指などを接触させて操作するタッチパネルのボタンとして表示されるようにしてもよい。
Further, the
画像生成部3は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部31、画像範囲選択部32、及び、画像情報出力部33を主な機能として備えている。
The image generation unit 3 is configured as a hardware circuit capable of various image processing, and includes a composite
合成画像生成部31は、撮影部5の複数の車載カメラ51,52,53で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部31が仮想視点からみた合成画像を生成する手法については後述する。
The composite
また、画像情報出力部33は合成画像生成部31において生成された合成画像情報をナビゲーション装置20へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置20のディスプレイ21に表示されることになる。
Further, the image
制御部1は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部11は、このようにして実現される制御部1の機能のうちの一部を示している。
The
画像制御部11は、画像生成部3によって実行される画像処理を制御するものである。例えば、画像制御部11は、合成画像生成部31が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部32がサイドカメラ53により撮影した画像の所定範囲を選択するための指示を車種ごとのパラメータの情報に基づいて行う。
The
また、画像制御部11は、後述する縦列駐車ボタン202(図4に示す。)のユーザの操作に応答して、生成された合成画像中に後述する特定領域RF11(図5に示す。)をナビゲーション装置20に出力してディスプレイ21に表示させるための制御を行う。
Further, the
さらに、画像制御部11は、第1操作ポイントP11(図6に示す。)をディスプレイ21の俯瞰画像中に表示させる。詳細には、縦列駐車モードM4において俯瞰画像中に表示される特定領域RF11がユーザの操作に基づいて車両9を駐車すべき駐車位置に設定される。この設定により画像制御部11は、ユーザがステアリングホイール91を操作すべき位置を示す第1操作ポイントP11をディスプレイ21の俯瞰画像中に表示させる。この第1操作ポイントP11は、車両9を駐車すべき駐車位置に相対的に設定される。また、画像制御部11は、第1操作ポイントP11の表示と併せて車両9に相対的に設定された第1基準マークM21(図6に示す。)をディスプレイ21の俯瞰画像中に表示させる。
Furthermore, the
そして、車両9の移動により第1操作ポイントP11と第1基準マークM21とが接触した場合に、ステアリングホイール91の操作が必要であることをユーザへ報知する処理を行う。これにより、ユーザは車両9を駐車する際にステアリングホイール91の操作が必要なタイミングを的確に把握できる。
And when the 1st operation point P11 and the 1st reference mark M21 contact by movement of
なお、ステアリングホイール91の操作が必要であることをユーザへ報知する例としては、第1操作ポイントP11の色や大きさなどの表示状態を変化させたり、第1基準マークM21の色や大きさなどの表示状態を変化させたりする。また、後述するガイド線L31(図6に示す。)の色や大きさなどの表示状態を変化させるようにしてもよい。
Note that examples of notifying the user that the operation of the
また、画像処理装置100の本体部10は、不揮発性メモリ40、カード読取部44、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
The
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ40には、車種別データ4aが記憶されている。車種別データ4aは、合成画像生成部31が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。また、縦列駐車モードで表示させる特定領域RF11、操作ポイント、及び、基準マークのデータなども記憶されている。
The
さらに、不揮発性メモリ40はユーザの操作に基づいて設定された車両9を駐車すべき駐車位置と、駐車位置に相対的に設定された第1操作ポイントP11の位置との位置関係に基づいて、車両9を駐車位置に到達させるためにステアリングホイール91の必要な操作量を記憶している。ステアリングホイール91の必要な操作量は、後述するユーザのステアリングホイール91の操作量の閾値となる。
Furthermore, the
カード読取部44は、可搬性の記録媒体であるメモリカードMCの読み取りを行う。カード読取部44は、メモリカードMCの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードMCに記録されたデータを読み取る。カード読取部44で読み取られたデータは、制御部1に入力される。
The
メモリカードMCは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置100はメモリカードMCに記憶された種々のデータを利用できる。例えば、メモリカードMCにプログラムを記憶させ、これを読み出すことで、制御部1の機能を実現するプログラム(ファームウェア)を更新することが可能である。また、メモリカードMCに不揮発性メモリ40に記憶された車種別データ4aとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ40に記憶させることで、画像表示システム120を異なる種別の車両に対応させることも可能である。
The memory card MC is configured by a flash memory or the like capable of storing various data, and the
また、信号入力部41は、車両に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム120の外部からの信号が制御部1に入力される。具体的には、シフトセンサ81、車速センサ82、方向指示器83、及び、操舵角センサ84などから、各種情報を示す信号が制御部1に入力される。
Moreover, the
シフトセンサ81からは、車両9の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションが入力される。車速センサ82からは、その時点の車両9の走行速度(km/h)が入力される。
From the
方向指示器83からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向(左方向あるいは右方向)を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
From the
操舵角センサ84は、ユーザが操作したステアリングホイール91の操作方向を制御部1に入力する。詳細には、操舵角センサ84は、ユーザが操作したステアリングホイール91の回転方向、回転角度、及び、回転速度を信号入力部41を介して制御部1に入力する。なお、操舵角センサ84の信号は車両本体を制御する制御部へも入力される。そして、操舵角センサ84の入力信号と車速度センサ82から車両本体を制御する制御部へ入力された信号に基づいて、車両9を操舵する前輪の操舵角と操舵速度が算出され、この算出された値に基づいて車両9の制御が行われる。
The
また、後述するように、画像処理装置100は第1操作ポイントP11と第1基準マークP21とが接触した場合に、ステアリングホイール91の操作が必要であることをユーザへ報知する。そして、報知した後にユーザのステアリングホイール91の操作量が不揮発性メモリ40に記録された操作閾値データ4bの値よりも大きくなった場合に、ステアリングホイール91の操作が必要であることの報知を取りやめる。つまり、ユーザのステアリングホイール91の操作量が閾値より大きくなった場合に、第1操作ポイントP11と第1基準マークM21とが接触したことにより、ステアリングホイール91の操作が必要であることをユーザへ報知していたことを取り止める。
As will be described later, the
詳細には、画像処理装置100は第1操作ポイント11と第1基準マークM21とが接触したことにより表示状態が変化した第1操作ポイントP11と第1基準マークM21の表示を取り消す処理を行う。また、ガイド線L31の色及び大きさの少なくともいずれか一つの表示状態を変化する処理を行って、ディスプレイ21に表示させている場合は、その表示状態を取り止めて変化する前の状態をディスプレイ21に表示させる。これにより、ユーザは第1操作ポイントP11における必要なステアリングホイール91の操作が完了したことを把握できる。
Specifically, the
<1−2.撮影部>
次に、画像処理装置100の撮影部5について詳細に説明する。撮影部5は、制御部1に電気的に接続され、制御部1からの信号に基づいて動作する。
<1-2. Shooting Department>
Next, the photographing
撮影部5は、車載カメラであるフロントカメラ51、バックカメラ52及びサイドカメラ53を備えている。これらの車載カメラ51,52,53はそれぞれ、CCDやCMOSなどの撮像素子を備えており電子的に画像を取得する。
The photographing
図2は、車載カメラ51,52,53が車両9に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す3次元のXYZ直交座標を用いる。このXYZ軸は車両9に対して相対的に固定される。ここで、X軸方向は車両9の左右方向に沿い、Y軸方向は車両9の直進方向(前後方向)に沿い、Z軸方向は鉛直方向に沿っている。また、便宜上、+X側を車両9の右側、+Y側を車両9の後側、+Z側を上側とする。
FIG. 2 is a diagram illustrating positions where the in-
フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向(平面視でY軸方向の−Y側)に向けられている。バックカメラ52は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸52aは車両9の直進方向の逆方向(平面視でY軸方向の+Y側)に向けられている。また、サイドカメラ53は、左右のドアミラー93にそれぞれ設けられており、その光軸53aは車両9の左右方向(平面視でX軸方向)に沿って外部に向けられている。なお、フロントカメラ51やバックカメラ52の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
The
これらの車載カメラ51,52,53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51,52,53は180度以上の画角αを有している。このため、4つの車載カメラ51,52,53を利用することで、車両9の全周囲の撮影が可能となっている。
As the lenses of these in-
<1−3.画像変換処理>
次に、画像生成部3の合成画像生成部31が、撮影部5で得られた複数の撮影画像に基づいて車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ40に予め記憶された車種別データ4aが利用される。図3は、合成画像を生成する手法を説明するための図である。
<1-3. Image conversion processing>
Next, a method in which the composite
撮影部5のフロントカメラ51、バックカメラ52及びサイドカメラ53で同時に撮影が行われると、車両9の前方、後方、左側方、及び、右側方をそれぞれ示す4つの撮影画像P1〜P4が取得される。すなわち、撮影部5で取得される4つの撮影画像P1〜P4には、撮影時点の車両9の全周囲を示す情報が含まれていることになる。
When the
次に、4つの撮影画像P1〜P4の各画素が、仮想的な三次元空間における立体曲面SPに投影される。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、この立体曲面SPの各画素の位置とは予め対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と撮影画像P1〜P4に含まれる各画素の値とに基づいて決定できる。
Next, each pixel of the four captured images P1 to P4 is projected onto a three-dimensional curved surface SP in a virtual three-dimensional space. The three-dimensional curved surface SP has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the
撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、車両9における4つの車載カメラ51,52,53の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ40に記憶された車種別データ4aに含まれている。
The correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP is determined by the arrangement of the four on-
また、車種別データ4aに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両9の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面SPが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
Further, polygon data indicating the shape and size of the vehicle body included in the
さらに、立体曲面SPが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
Further, the virtual viewpoint VP is set by the
そして、設定された仮想視点VPに応じて、立体曲面SPにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面SPにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両9及びその車両9の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
Then, according to the set virtual viewpoint VP, a necessary area on the three-dimensional curved surface SP is cut out as an image. The relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface SP is determined in advance, and is stored in advance in the
例えば、視点位置が車両9の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点VP1を設定した場合は、車両9の略直上から車両9を見下ろすように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP1が生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方とした仮想視点VP2を設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP2が生成される。
For example, when the virtual viewpoint VP1 in which the viewpoint position is a position just above the center of the position of the
なお、実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。 In the case of actually generating a composite image, it is not necessary to determine the values of all the pixels of the three-dimensional curved surface SP, and only the values of the pixels in the area necessary corresponding to the set virtual viewpoint VP are photographed. By determining based on the images P1 to P4, the processing speed can be improved.
<1−4.動作モード>
次に、画像表示システム120の動作モードについて説明する。図4は、画像表示システム120の動作モードの遷移を示す図である。画像表示システム120は、ナビモードM1、フロントモードM2、バックモードM3、及び、縦列駐車モードM4の4つの動作モードを有している。これらの動作モードは、ユーザの操作や車両9の走行状態に応じて制御部1の制御により切り替えられるようになっている。
<1-4. Operation mode>
Next, the operation mode of the
ナビモードM1は、ナビゲーション装置20の機能により、ナビゲーション案内用の地図画像NPを主にディスプレイ21に表示する動作モードである。ナビモードM1では、画像処理装置100の機能が利用されず、ナビゲーション装置20単体の機能で各種の表示がなされる。
The navigation mode M <b> 1 is an operation mode in which a map image NP for navigation guidance is mainly displayed on the
フロントモードM2、バックモードM3、及び、縦列駐車モードM4は、画像処理装置100の機能を利用して、撮影画像PP、合成画像CP、及び、合成画像CQ0などをディスプレイ21に表示して、車両9の周辺の状況をほぼリアルタイムでユーザに示す動作モードである。
In the front mode M2, the back mode M3, and the parallel parking mode M4, the captured image PP, the composite image CP, the composite image CQ0, and the like are displayed on the
また、フロントモードM2は、前進時に必要となる車両9の前方や側方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両9の直上の仮想視点からみた車両9及び車両9の周辺の様子を示す合成画像(俯瞰画像)CPと、フロントカメラ51での撮影により得られる撮影画像PPとが同時にディスプレイ21に表示される。この合成画像CPの仮想視点の位置は、車両9の直上に限らず、ユーザの操作に応じて車両9の後方側などへ切り替えられるようになっていてもよい。さらに、フロントモードM2は、自車の中心に周囲2〜3mの範囲を俯瞰画像として表示したモードである。
Further, the front mode M2 is an operation mode for displaying an image mainly showing the front and side of the
また、バックモードM3は、後退時に必要となる車両9の後方を主に示す画像を表示する動作モードである。例えば、図中に示すように、車両9の直上の仮想視点からみた車両9及び車両9の周辺の様子を示す合成画像(俯瞰画像)CPと、バックカメラ52での撮影により得られる撮影画像PPとが同時にディスプレイ21に表示される。この合成画像CPの仮想視点の位置は、車両9の直上に限らず、ユーザの操作に応じて車両9の前方側などへ切り替えられるようになっていてもよい。
Further, the back mode M3 is an operation mode for displaying an image mainly showing the rear of the
さらに、縦列駐車モードM4は、ユーザが車両9を縦列駐車する際にユーザの運転操作をサポートするモードである。例えば、図中に示すように、車両9の直上の仮想視点からみた車両9の周辺領域をほぼリアルタイムに示し、車両9の大きさに対応した特定領域RF11と車両9の前方に駐車している他車両19を表示する画像が合成画像俯瞰画像)CQ0として画像処理装置100が、ナビゲーション装置20出力してディスプレイ21に表示させる。
Furthermore, the parallel parking mode M4 is a mode that supports the user's driving operation when the user parks the
縦列駐車モードM4は、フロントモードM2の縦列駐車ボタン202をユーザが操作することにより開始される。そして、縦列駐車モードM4では、フロントモードM2で表示されていた車両9と車両9の周辺の様子を示す合成画像俯瞰画像)CPに、車両9と車両9の大きさに対応した特定領域RF11の画像の表示が加わり、合成画像CQ0(以下「画像CQ0」ともいう。)として、画像処理装置100がディスプレイ21に出力して表示させる。なお、縦列駐車モードM4は、フロントモードM2から仮想視点の位置を上方の位置に移動させて自車と駐車領域RF11とがディスプレイ21の1画面内で表示されるようにしている。
The parallel parking mode M4 is started when the user operates the
各モードの遷移は、ナビモードM1において、ナビゲーション装置20のディスプレイ21に表示される駐車支援ボタン201をユーザが操作した場合、または、ユーザが操作部22を操作した場合など、所定操作によりフロントモードM2に切り替えられる。また、フロントモードM2において、ユーザの操作部22による操作などの所定操作により、ナビモードM1に切り替えられる。なお、ナビモードM1とフロントモードM2とは、車速度センサ82から入力される走行速度に応じて切り替えてもよい。
The transition of each mode is performed in the front mode by a predetermined operation such as when the user operates the
また、ナビモードM1あるいはフロントモードM2の場合に、シフトセンサ81から入力されるシフトポジションが”R(後退)”となったときは、バックモードM3に切り替えられる。すなわち、シフトポジションが”R(後退)”の場合は、車両9は後退する状態であるため、車両9の後方を主に示すバックモードM3に切り替えられる。また、バックモードM3の場合に、シフトポジションが”R(後退)”以外となったときは、バックモードM3に切り替えられる直前の動作モードに戻ることになる。なお、バックモードM3において、ディスプレイ21に表示される駐車支援ボタン201をユーザが操作した場合は、フロントモードM2となる。
In the navigation mode M1 or the front mode M2, when the shift position input from the
そして、フロントモードM2において、ディスプレイ21に表示された縦列駐車ボタン202をユーザが操作すると、縦列駐車モードM4の画像が画像処理装置100から出力され、ディスプレイ21に表示される。また、縦列駐車モードM4においてディスプレイ21の戻るボタン203をユーザが操作した場合は、フロントモードM2に遷移する。
When the user operates the
<1−5縦列駐車モード>
以下では、縦列駐車モードM4で画像処理装置100からナビゲーション装置20に出力され、ディスプレイ21に表示される合成画像の詳細について図5〜図9を用いて説明する。図5は、特定領域RF11の移動による車両9の駐車すべき位置の設定を示す図である。フロントモードM2で縦列駐車ボタン202がユーザにより操作されると、縦列駐車モードM4の画像CQ0が画像処理装置100からナビゲーション装置20に出力され、ディスプレイ21に表示される。
<1-5 parallel parking mode>
Below, the detail of the synthesized image output to the
図5に示す画像CQ0は、略中心に車両9の画像が表示されている俯瞰画像であり、車両の周辺領域を略リアルタイムに示している。そして、車両9の右側に特定領域RF11が表示されている。この特定領域RF11は、車両9が縦列駐車を行うのに必要なスペースであり、車両9の進行方向の長さが車両9の全長の約1.5倍で、車幅方向の長さが車両9の車幅の約1.2倍の広さを備えている略長方形の領域である。
An image CQ0 shown in FIG. 5 is a bird's-eye view image in which an image of the
特定領域RF11は縦列駐車モードM4の開始に伴い、画像CQ0の所定の位置に表示される。そして、図5の合成画像CQ1以下「画像CQ1」ともいう。)に示すようにユーザの操作により、ユーザが車両9を駐車すべき駐車位置に設定される。つまり、車両9の右側に位置する特定領域RF11がユーザの操作により略平行移動して車両9の左側で他車両19の後方の位置に移動する。
The specific area RF11 is displayed at a predetermined position in the image CQ0 with the start of the parallel parking mode M4. Further, it is also referred to as “image CQ1” below the composite image CQ1 in FIG. ), The user's operation sets the parking position where the user should park the
そして、ユーザはユーザの操作により移動した特定領域RF11の位置を駐車領域SA41として設定する。これにより、ユーザは車両9の駐車位置を設定でき、この設定により以後駐車領域SA41は路面に対して固定表示される。なお、ここでいうユーザの操作はディスプレイ21をユーザが指などを接触させてタッチパネルとして操作する場合や、操作部22を用いて操作する場合などをいう。以下、説明する合成画像中で行われるユーザの操作は同様な操作が行われる。
Then, the user sets the position of the specific area RF11 moved by the user's operation as the parking area SA41. Thereby, the user can set the parking position of the
図6は、駐車開始位置ST2に車両9が到達した場合の第1操作ポイントP11と第1基準マークM21との表示を示す図である。図5で示した駐車領域SA41の設定により、車両9の駐車開始位置であるST2が合成画像CQ2(以下、「画像CQ2」ともいう。)に表示される。さらに、駐車領域SA41の設定に伴い車両9の後方に指標が表示される。この指標は車両9の進行方向を示すものであり、本実施の形態では一例として車両9の予想進路を示すガイド線L31の画像を表示している。
FIG. 6 is a diagram showing a display of the first operation point P11 and the first reference mark M21 when the
このガイド線L31は後述するようにステアリングホイール91の操作方向に応答して方向を変化させる。また、ステアリングホイール91の操作量に応答して表示状態を変化させる。例えば、ステアリングホイール91が中立位置にあり、車両9が直進する状態の場合、ガイド線L31は車両9が後退する方向に略平行な状態の直線で表示される。そして、ステアリングホイール91が左側に操作されると、ガイド線L31は操作方向に応答して、車両9が前進する方向からみて左側の方向へ向きを変化させて曲線で表示される。なお、ステアリングホイール91の操作量が多い程、曲線は直線の状態から半円に近い状態となって表示される。
The guide line L31 changes its direction in response to the operation direction of the
合成画像CQ3(以下、「画像CQ3」ともいう。)は、車両9が駐車開始位置ST2に向かって前進し、駐車開始位置ST2の範囲内に到達した状態を示している。画像CQ3では車両9が駐車開始位置ST2に到達したことを表示している。この到達により車両9の駐車すべき位置の駐車領域SA41に相対的に設定されユーザがステアリングホイール91を操作すべき位置を示す第1操作ポイント11が画像処理装置11から出力されディスプレイ21に表示される。また、車両9に相対的に設定された第1基準マークM21が第1操作ポイント11が設けられた位置に対応した車両9の側面である車両9の左側側面に表示される。
The composite image CQ3 (hereinafter also referred to as “image CQ3”) indicates a state in which the
図7は、第1操作ポイントP11と第1基準マークM21とが接触した状態を示す図である。合成画像CQ4(以下、「画像CQ4」ともいう。)は、車両9が駐車開始位置ST2の位置から後退する状態を表示している。そして、車両9の後退により第1操作ポイントP11と第1基準マークM21とが接近している。なお、第1操作ポイントP11及び第1基準マークM21が表示された後に、車両9が後退動作に入ると駐車開始位置ST2の画像表示は取り消される。
FIG. 7 is a diagram illustrating a state in which the first operation point P11 and the first reference mark M21 are in contact with each other. The composite image CQ4 (hereinafter also referred to as “image CQ4”) displays a state in which the
合成画像CQ5(以下、「画像CQ5」ともいう。)は、車両9の後退により第1操作ポイントP11と第1基準マークM21とが接触した状態を示している。このように車両9の後退により第1操作ポイントP11と第1基準マークM21とが接触した場合に、ユーザへステアリングホイール91の操作が必要であることを報知するために、画像処理装置100は第1操作ポイントP11の色や大きさなどの表示状態を変化させてディスプレイ21に表示させる。
The composite image CQ5 (hereinafter also referred to as “image CQ5”) shows a state in which the first operation point P11 and the first reference mark M21 are in contact with each other when the
また、第1基準マークM21の色や大きさなどの表示状態を変化させてディスプレイ21に表示させる。さらに、画像処理装置100は車両9の後方に設けられた指標であるガイド線L31の色や大きさなどの表示状態を変化させてディスプレイ21に表示させる。これにより、ユーザは車両9を駐車する際にステアリングホイール91の操作が必要なタイミングを的確に把握できる。
In addition, the display state such as the color and size of the first reference mark M21 is changed and displayed on the
図8は、ステアリングホイール91の操作後に表示される第2操作ポイントP12と第2基準マークM22との表示を示す図である。合成画像CQ6以下「画像CQ6」ともいう。)は、画像CQ5で説明したように第1操作ポイントP11と第1基準マークM21とが接触した場合に、ユーザにステアリングホイール91の操作が必要であることを報知する。
FIG. 8 is a diagram showing a display of the second operation point P12 and the second reference mark M22 displayed after the operation of the
この報知を受けてユーザがステアリングホイール91を操作する。詳細には画像CQ6に示すように車両9が直進する方向であるステアリングホイール91の中立位置から左方向へステアリングホイール91を回転させる。車両9の後方のガイド線L31は、ユーザのステアリングホイール91の操作に伴い車両9の進行方向を示す状態となって表示される。
In response to this notification, the user operates the
そして、ユーザのステアリングホイール91の操作量が不揮発性メモリ40に記録された操作閾値データ4bの値よりも大きくなった場合に、ステアリングホイール91の操作が必要であることの報知を取り止める。
Then, when the operation amount of the
詳細には第1操作ポイント11と第1基準マークM21とが接触したことにより第1操作ポイントP11、及び、第1基準マークM21の画像の表示が取り消される。また、ガイド線L31の色及び大きさの少なくともいずれか一つの表示状態が変化した状態を取り止めて、変化する前の状態にして画像処理装置100が表示させる。このような画像情報を画像処理装置100はナビゲーション装置20に出力して、ディスプレイ21に表示させる。これにより、ユーザは操作ポイントにおける必要なステアリングホイール91の操作が完了したことを把握できる。
Specifically, the display of the images of the first operation point P11 and the first reference mark M21 is canceled by the contact between the
合成画像CQ7以下「画像CQ7」ともいう。)は、ユーザのステアリングホイール91の操作が操作閾値データ4bの値よりも大きくなり、ユーザが車両9を後退させた後にステアリングホイール91を中立位置に戻した状態を示している。この状態では車両9が駐車すべき位置である駐車領域SA41と相対的に設定され、ユーザがステアリングホイール91を操作すべき位置を示す第2操作ポイントP12が表示される。
Also referred to as “image CQ7” below the composite image CQ7. ) Shows a state in which the user's operation of the
また、第2操作ポイントP12と共に車両9に相対的に設定された第2基準マークM22が第2操作ポイントP12の位置と対応した車両9の側面である車両9の右側面に表示される。
In addition, the second reference mark M22 set relative to the
図9は、ステアリングホイール91の操作後に表示された第2操作ポイントP12と第2基準マークM22とが接触した状態を示す図である。合成画像CQ8(以下「画像CQ8」ともいう。)は、ユーザが車両9のステアリングホイール91を中立位置とした状態で、車両9を後退させる状態を表示している。このように車両9が後退する状態で、ステアリングホイール91の操作を行うべきポイントである第2操作ポイントP12と車両9の右側面の第2基準マークM22とが接触したときに、画像処理装置100は、ステアリングホイール91を操作する必要があることをユーザへ報知する。
FIG. 9 is a diagram illustrating a state in which the second operation point P12 displayed after the operation of the
ここで、ユーザへの報知は画像処理装置100からナビゲーション装置20に出力され、ディスプレイ21に表示される第2操作ポイントP12、第2基準マークM22、及びガイド線L31の少なくともいずれか一つの表示状態の変化である。これにより、駐車位置までに複数回ステアリングホイール91の操作が必要な縦列駐車において、ユーザは車両9の駐車時にステアリングホイール91の操作が必要なタイミングを的確に把握できる。
Here, the notification to the user is output from the
合成画像CQ9以下「画像CQ9」ともいう。)は、画像CQ8で説明したように第2操作ポイントP12と第2基準マークM22とが接触した場合に、ユーザにステアリングホイール91の操作が必要であることを報知する。この報知を受けてユーザがステアリングホイール91を操作する。
It is also referred to as “image CQ9” below the composite image CQ9. ) Informs the user that the operation of the
詳細には画像CQ9に示すように車両9が直進する方向であるステアリングホイール91の中立位置から右方向へステアリングホイール91を回転させる。車両9の後方のガイド線L31は、ユーザのステアリングホイール91の操作に伴い車両9の進行方向を示す状態となって表示されている。
Specifically, as shown in the image CQ9, the
そして、ユーザのステアリングホイール91の操作量が不揮発メモリ40に記録された操作閾値データ4bの値よりも大きくなった場合に、ステアリングホイール91の操作が必要であることの報知を取り止める。
Then, when the operation amount of the user's
詳細には、第2操作ポイント12と第2基準マークM22とが接触したことにより表示状態が変化した第2操作ポイントP12、及び、第2基準マークM22の画像の表示が取り消される。また、ガイド線L31の色及び大きさの少なくともいずれか一つの表示状態を変化させている状態を取り止めて、変化する前の状態として表示される。このような画像情報を画像処理装置100はナビゲーション装置20に出力して、ディスプレイ21に表示させる。これにより、ユーザは操作ポイントにおける必要なステアリングホイール91の操作が完了したことを把握できる。
Specifically, the display of the images of the second operation point P12 and the second reference mark M22 whose display state has changed due to the contact between the second operation point 12 and the second reference mark M22 is canceled. Further, the state where the display state of at least one of the color and size of the guide line L31 is changed is canceled and the state before the change is displayed. The
図10は、駐車すべき位置である駐車領域SA41に車両9が到達した状態を示す図である。合成画像CQ10(以下、「画像CQ10」ともいう。)は、車両9が駐車領域41に到達している状態を表示している。詳細にはユーザのステアリングホイール91の操作が操作閾値データ4bの値よりも大きくなった場合に、ユーザが車両9を後退させた後、ステアリングホイール91を中立位置に戻した状態が表示されている。このように合成画像中にユーザのステアリングホイール91の操作を行うタイミングを適切に表示することで、ユーザは目的とする駐車位置に無駄な操作がなく車両9を駐車できる。
FIG. 10 is a diagram illustrating a state in which the
以上のように画像表示システム120においては、ユーザの操作に基づいて俯瞰画像中に車両9が駐車すべき駐車領域SA41を設定すると、駐車領域SA41の位置に相対的に設定される。そして、ユーザがステアリングホイール91を操作すべき位置を示す第1操作ポイントP11及び第2操作ポイントP12と、車両9に相対的に設定された第1基準マークM21及び第2基準マークM22とが俯瞰画像中に表示される。また、車両9の移動により第1操作ポイントP11及び第2操作ポイントP12と、第1基準マークM21及び第2基準マークM22とが接触した場合に、ステアリングホイール91の操作が必要であることをユーザへ報知する。これにより、ユーザは車両9を駐車する際にステアリングホイール91の操作が必要なタイミングを的確に把握できる。
As described above, in the
また、ユーザのステアリングホイール91の操作量が不揮発メモリ40に記録されている操作閾値データ4bの値よりも大きくなった場合に、ステアリングホイール91の操作が必要であることの報知を取り止める。これにより、ユーザは操作ポイントP11及びP12における必要なステアリングホイール91の操作が完了したことを把握できる。
When the operation amount of the
また、車両9の縦列駐車を行う場合に、ステアリングホイール91の操作を最初に行うべき第1操作ポイントP11と、第1操作ポイントP11の位置に対応した車両9の側面に設定された第1基準マークM21との接触により、ステアリングホイール91を中立位置から所定の方向へ操作する必要があることを報知する。この報知の後に、第1操作ポイントP11の次にステアリングホイール91の操作を行うべき第2操作ポイントP12と、第2操作ポイントP12の位置に対応して第2基準マークM21が設定された車両9の側面とは逆の側面に設定される第2基準マークM22との接触により報知が行われる。この報知は、第2操作ポイントP12と第2基準マークM21との接触のときとは逆の方向にステアリングホイール91を操作する必要があることを報知する。これにより、駐車領域SA41までに複数回ステアリングホイール91の操作が必要な縦列駐車において、ユーザは車両9の駐車時にステアリングホイール91の操作が必要なタイミングを的確に把握できる。
Moreover, when performing parallel parking of the
<2.処理>
次に、画像処理装置100の処理について説明する。図11及び図12は、画像処理装置の処理フローチャートである。ユーザからの駐車支援ボタン201の操作信号が入力された場合(ステップS101がYes)、画像処理装置100はフロントモードM2の画像をナビゲーション装置20に出力して(ステップS102)、ステップS103の処理へ進む。なお、ユーザからの駐車支援ボタン201の操作信号が画像処理装置100に入力されていない場合(ステップS101がNo)は、処理を終了する。
<2. Processing>
Next, processing of the
ステップS103では、ユーザからの縦列駐車ボタン202の操作信号が画像処理装置100に入力された場合(ステップS103がYes)、縦列駐車モードM4の画像を出力して(ステップS104)、ステップS105の処理へ進む。
In step S103, when the operation signal of the
縦列駐車モードM4では、画像CQ0に示すように車両9の周辺領域を略リアルタイムに示す俯瞰画像を表示して、車両9の大きさに対応した特定領域RF11を俯瞰画像中に表示する。なお、縦列駐車ボタン202の操作信号が画像処理装置100に入力されていない場合(ステップS103がNo)は、画像処理装置100はフロントモードM2の画像出力を継続して行う。
In the parallel parking mode M4, as shown in the image CQ0, an overhead image showing the surrounding area of the
ステップS105では、画像CQ1に示すようにユーザの操作により合成画像内で駐車領域SA41を設定した信号が入力された場合(ステップS105がYes)は、画像CQ2に示すようにユーザが設定した駐車領域SA41の位置を車両9を駐車すべき位置として設定する(ステップS106)。そして、駐車領域SA41の設定に伴い駐車領域SA41に車両9を駐車するための駐車開始位置である駐車開始領域ST2をディスプレイ21に表示させてステップS107の処理へ進む。
In step S105, when a signal indicating the setting of the parking area SA41 in the composite image is input by the user's operation as shown in the image CQ1 (Yes in step S105), the parking area set by the user as shown in the image CQ2 The position of SA41 is set as the position where the
なお、駐車領域SA41を設定する信号が画像処理装置100に入力されていない場合(ステップS105がNo)は、画像処理装置100は縦列駐車モードM4の画像の出力をナビゲーション装置20に継続して行う。また、所定時間経過後に縦列駐車モードM4の前のモードであるフロントモードM2に遷移するようにしてもよい。
In addition, when the signal which sets parking area SA41 is not input into the image processing apparatus 100 (step S105 is No), the
ステップS107では、画像CQ3に示すように車両9が駐車開始領域ST2内に到着した場合(ステップS107がYes)、駐車領域SA41に相対的に設定されユーザがステアリングホイール91を操作すべき位置を示す第1操作ポイント11が表示される。また、車両9に相対的に設定された第1基準マークM21が第1操作ポイント11が設けられた位置に対応した車両9の側面である車両9の左側側面に表示され(ステップS108)、ステップS109の処理へ進む。
In step S107, as shown in the image CQ3, when the
なお、ステップS107において、駐車開始領域ST2に車両9が到着していない場合は、縦列駐車モードM4の画像を表示し、所定時間経過後に前のモードであるフロントモードM2に戻るようにしてもよい。
In step S107, if the
ステップS109では、画像CQ4、及び、画像CQ5に示すように車両9が駐車開始位置ST2の位置から後退して、第1操作ポイントP11と第1基準マークM21とが接近した状態を表示している。そして、第1操作ポイントP11と第1基準マークM21とが接触した場合(ステップS109がYes)、ユーザへステアリングホイール91の操作が必要であることを報知して(ステップS110)、ステップS111の処理へ進む。これにより、ユーザは車両9を駐車する際にステアリングホイール91の操作が必要なタイミングを的確に把握できる。
In step S109, as shown in the images CQ4 and CQ5, the state in which the
なお、ユーザへの報知は、画像処理装置100からナビゲーション装置20に出力され、ディスプレイ21に表示される第1操作ポイントP11、第1基準マークM21、及びガイド線L31の少なくともいずれか一つの表示状態の変化である。
The notification to the user is output from the
なお、ステップS109において、第1操作ポイントP11と第1基準マークM21とが接触していない場合(ステップS109がNo)は、画像処理装置100は縦列駐車モードM4の画像の出力をナビゲーション装置20に継続して行う。また、所定時間経過後に縦列駐車モードM4の前のモードであるフロントモードM2に遷移するようにしてもよい。
In step S109, when the first operation point P11 and the first reference mark M21 are not in contact (No in step S109), the
ステップS111では、画像CQ6に示すように、ユーザは車両9が直進する方向であるステアリングホイール91の中立位置から左方向へステアリングホイール91を回転させる。車両9の後方のガイド線L31は、ユーザのステアリングホイール91の操作に伴い車両9の進行方向を示す状態となって表示されている。
In step S111, as shown in the image CQ6, the user rotates the
そして、ユーザのステアリングホイール91の操作量が不揮発メモリ40に記録された操作閾値データ4bの値よりも大きくなった場合(ステップS111がYes)に、ステアリングホイール91の操作が必要であることの報知を取り止めて(ステップS112)、ステップS113の処理へ進む。これにより、ユーザは操作ポイントにおける必要なステアリングホイール91の操作が完了したことを把握できる。
Then, when the operation amount of the user's
なお、ステップS111において、ステアリングホイール91の操作量が操作閾値データ4bの値よりも大きくない場合(ステップS111がNo)は、画像処理装置100は縦列駐車モードM4の画像の出力をナビゲーション装置20に継続して行う。また、所定時間経過後に縦列駐車モードM4の前のモードであるフロントモードM2に遷移するようにしてもよい。
In step S111, when the operation amount of the
ステップS113では、画像CQ7に示すようにユーザのステアリングホイール91の操作量が操作閾値データ4bの値よりも大きくなった状態で、ユーザが車両9を後退させる。そして、ユーザがステアリングホイール91を中立位置に戻した場合(ステップS113がYes)に、車両9が駐車すべき位置である駐車領域SA41と相対的に設定され、ユーザがステアリングホイール91を操作すべき位置を示す第2操作ポイントP12が画像処理装置100からナビゲーション装置20に出力される。
In step S113, the user moves the
また、第2操作ポイントP12の位置と対応した車両9の側面である車両9の右側面に車両9に相対的に設定された第2基準マークM22が出力され(ステップS114)、ステップS115の処理へ進む。
Further, the second reference mark M22 set relative to the
なお、ステップS113において、ステアリングホイール91の中立位置を画像処理装置100が検出していない場合(ステップS113がNo)は、画像処理装置100は縦列駐車モードM4の画像の出力をナビゲーション装置20に継続して行う。また、所定時間経過後に縦列駐車モードM4の前のモードであるフロントモードM2に遷移するようにしてもよい。
If the
ステップS115では、画像CQ8に示すように車両9が後退する状態で、ステアリングホイール91の操作を行うべきポイントである第2操作ポイントP12と車両9の右側面の第2基準マークM22とが接触した場合(ステップS115がYes)に、ステアリングホイール91を操作する必要があることをユーザへ報知して(ステップS116)、ステップS117の処理へ進む。
In step S115, the second operation point P12, which is a point at which the
ユーザへの報知は、画像処理装置100からナビゲーション装置20に出力され、ディスプレイ21に表示される第2操作ポイントP12、第2基準マークM22、及びガイド線L31の少なくともいずれか一つの表示状態の変化である。これにより、駐車位置までに複数回ステアリングホイール91の操作が必要な縦列駐車において、ユーザは車両9の駐車時にステアリングホイール91の操作が必要なタイミングを的確に把握できる。
A notification to the user is output from the
なお、ステップS115において、第2操作ポイントP12と第2基準マークM22とが接触していない場合(ステップS115がNo)は、画像処理装置100は縦列駐車モードM4の画像の出力をナビゲーション装置20に継続して行う。また、所定時間経過後に縦列駐車モードM4の前のモードであるフロントモードM2に遷移するようにしてもよい。
In step S115, when the second operation point P12 and the second reference mark M22 are not in contact (step S115 is No), the
ステップS117では、画像CQ9に示すようにユーザは車両9が直進する方向であるステアリングホイール91の中立位置から右方向へステアリングホイール91を回転させる。車両9の後方のガイド線L31は、ユーザのステアリングホイール91の操作に伴い車両9の進行方向を示す状態となって表示されている。
In step S117, as shown in the image CQ9, the user rotates the
そして、ユーザのステアリングホイール91の操作量が不揮発メモリ40に記録された操作閾値データ4bの値よりも大きくなった場合に、ステアリングホイール91の操作が必要であることの報知を取り止めて(ステップS118)、ステップS119の処理へ進む。これにより、ユーザは操作ポイントにおける必要なステアリングホイール91の操作が完了したことを把握できる。
Then, when the operation amount of the
ステップS119では、画像CQ10に示すようにユーザのステアリングホイール91の操作量が操作閾値データ4bの値よりも大きくなった状態で、ユーザが車両9を後退させる。そして、ユーザがステアリングホイール91を中立位置に戻した場合に、車両9が駐車すべき位置である駐車領域SA41に到達する(ステップS119がYes)と処理を終了する。このようにユーザのステアリングホイール91の操作を行うタイミングを適切に表示することで、ユーザは目的とする駐車位置に無駄な操作がなく車両9を駐車できる。
In step S119, as shown in the image CQ10, the user moves the
なお、ステップS119において、車両9の位置が駐車領域SA41内に到達していない場合(ステップS119がNo)は、画像処理装置100は縦列駐車モードM4の画像の出力をナビゲーション装置20に継続して行う。また、所定時間経過後に縦列駐車モードM4の前のモードであるフロントモードM2に遷移するようにしてもよい。
In step S119, when the position of the
<第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態と第1の実施の形態との異なる部分は、第1の実施の形態ではガイド線L31の長さの調整を行っていないのに対して、第2の実施の形態では第2の操作ポイントP12においてユーザのステアリングホイール91の操作が完了したことに応答して、ガイド線L31の長さを調整することである。
<Second Embodiment>
Next, a second embodiment will be described. The difference between the second embodiment and the first embodiment is that the length of the guide line L31 is not adjusted in the first embodiment, whereas the second embodiment is different from the first embodiment. In response to the user's operation of the
なお、第2の実施の形態の画像表示システム120の構成及び処理は、第1の実施の形態とほぼ同様であるが、上記のようにガイド線L31の長さの調整を行う部分が一部相違する。このため以下、相違点を中心に説明する。
Note that the configuration and processing of the
第1の実施の形態では、図9の画像CQ9で示されているように、第2の操作ポイントP12において、ユーザは車両9が直進する方向であるステアリングホイール91の中立位置から右方向へステアリングホイール91を回転させる。
In the first embodiment, as shown in the image CQ9 of FIG. 9, at the second operation point P12, the user steers from the neutral position of the
車両9の後方のガイド線L31は、ユーザのステアリングホイール91の操作に伴い車両9の進行方向を示す状態に表示されている。そして、ユーザのステアリングホイール91の操作量が不揮発メモリ40に記録された操作閾値データ4bの値よりも大きくなった場合に、ステアリングホイール91の操作が必要であることの報知を取り止めていた。
A guide line L31 behind the
これに対して第2の実施の形態では、図13にガイド線L31の長さを短く表示した状態を示している。このガイド線L31の長さの調整は次のようにして行われる。合成画像CQ18(以下「画像CQ18」ともいう。)では、ステアリングホイール91の操作を行うべきポイントである第2操作ポイントP12と車両9の右側面の第2基準マークM22とが接触したときに、画像処理装置100は、ステアリングホイール91を操作する必要があることをユーザへ報知する。
On the other hand, in 2nd Embodiment, the state which displayed the length of the guide wire L31 short in FIG. 13 is shown. Adjustment of the length of the guide line L31 is performed as follows. In the composite image CQ18 (hereinafter also referred to as “image CQ18”), when the second operation point P12, which is a point at which the
次に、合成画像CQ19(以下「画像CQ19」ともいう。)ではユーザのステアリングホイール91の操作量が操作閾値データ4bの値よりも大きくなった場合に、画像19に表示するようにステアリングホイール91の操作が必要であることの報知を取り止める。
Next, in the synthesized image CQ19 (hereinafter also referred to as “image CQ19”), the
そして、第2の操作ポイントP12におけるステアリングホイール91の操作量が不揮発メモリ40に記録された操作閾値データ4bの値よりも大きくなる。これに応答して、車両9が後退する方向に延びるガイド線L31の長さをユーザが第2ポイントP12でステアリングホイール91を操作する前よりも短く表示する。詳細には、画像処理装置100は車両9が駐車すべき位置である駐車領域SA41の枠内に車両9が納まるようにガイド線L31の長さをユーザが第2ポイントP12でステアリングホイール91を操作する前よりも短く表示させる。これにより、ユーザは車両9を駐車領域SA41の位置に駐車させる場合の後退距離が明確となり、駐車位置へ確実に駐車できる。
Then, the operation amount of the
以上のように画像表示システム120においては、ユーザの第2操作ポイントP12におけるステアリングホイール91の操作量が閾値よりも大きくなったことに応答して、ガイド線L31の長さを第2操作ポイントP12におけるステアリングホイール91の操作前よりも短く表示する。これにより、ユーザは車両9を縦列駐車位置に駐車させる場合の後退距離が明確となり、縦列駐車位置へ確実に駐車できる。
<変形例>
以下、変形例について説明する。なお、上記の実施の形態、及び、下記で説明する形態を含む全ての形態は適宜に組み合わせ可能である。
As described above, in the
<Modification>
Hereinafter, modified examples will be described. In addition, all the forms including the above-described embodiment and the forms described below can be appropriately combined.
上記の実施の形態では、車両9の左側の駐車領域を車両9の駐車すべき位置として設定し、車両9を駐車する例について述べたが、車両9の右側の駐車領域を車両9の駐車すべき位置として設定し、車両9を駐車する場合も同様に上記内容を適用できる。
In the above embodiment, the example in which the parking area on the left side of the
上記の実施の形態では、車両9の縦列駐車の場合について述べたが、車両9の並列駐車の場合にも適用できる。
In the above embodiment, the case of parallel parking of the
また、上記の実施の形態では、車両9の駐車は車両9を後退させる場合について述べたが、車両9を前進させて駐車させる場合にも操作ポイントと基準マークなどの画像を表示させることで適用できる。
In the above-described embodiment, the
また、上記の実施の形態では、基準マークは、車両9の左側及び右側の側面に設けられることについて説明したが、基準マークの位置は車両9と相対的な位置であれば、車両9の前方及び後方の位置や、車両9の近傍の位置のいずれの位置であってもよい。
In the above embodiment, it has been described that the reference mark is provided on the left and right side surfaces of the
また、上記の実施形態において、車両9の移動により操作ポイントと基準マークとが接触した場合に、ステアリングホイール91の操作が必要であることをユーザへ報知するのは、ディスプレイ21に文字やマークなどを表示したり、ナビゲーション装置20から音声を出力したりしてユーザに知らせるようにしてもよい。
Further, in the above embodiment, when the operation point and the reference mark come into contact with the movement of the
また、上記の実施形態において、指標は車両9の予想進路を示すガイド線L31は、車両9の位置から目標駐車位置までの理想的な進路を示す理想進行線であってもよい。
In the above embodiment, the guide line L31 indicating the expected course of the
さらに、上記の実施の形態の俯瞰画像は複数のカメラの撮影画像により生成された合成画像以外に一のカメラにより生成された俯瞰画像であってもよい。 Furthermore, the bird's-eye view image of the above embodiment may be a bird's-eye view image generated by one camera other than a composite image generated by images taken by a plurality of cameras.
1・・・・制御部
3・・・・画像生成部
5・・・・撮影部
20・・・ナビゲーション装置
40・・・不揮発性メモリ
41・・・信号入力部
42・・・ナビ通信部
81・・・シフトセンサ
82・・・車速センサ
83・・・方向指示器
DESCRIPTION OF
Claims (6)
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を表示する表示手段と、
ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、
前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する表示制御手段と、
前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、
を備えること、
を特徴とする画像表示システム。 An image display system mounted on a vehicle,
Generating means for generating a bird's-eye view image of the vehicle and a surrounding area of the vehicle from a captured image obtained by a camera disposed in the vehicle;
Display means for displaying the overhead image;
Setting means for setting a parking position where the vehicle should be parked in the overhead image based on a user's operation;
Display control means for displaying an operation point that is set relative to the parking position and that indicates a position where the user should operate a steering wheel, and a reference mark that is set relatively to the vehicle, in the overhead view image; ,
Informing means for informing the user that the operation of the steering wheel is necessary when the operation point and the reference mark come into contact with each other due to the movement of the vehicle;
Providing
An image display system characterized by the above.
前記報知手段は、前記ユーザのステアリングホイールの操作量が閾値より大きくなった場合に、前記ステアリングホイールの操作が必要であることの報知を取りやめること、
を特徴とする画像表示システム。 The image display system according to claim 1,
The notification means cancels notification that the operation of the steering wheel is necessary when the operation amount of the steering wheel of the user is greater than a threshold;
An image display system characterized by the above.
前記報知手段は、前記車両の縦列駐車を行う場合に、
前記ステアリングホイールの操作を最初に行うべき前記操作ポイントである第1操作ポイントと、前記車両の側面の一方に設定された前記基準マークである第1基準マークとの接触により、前記ステアリングホイールを操作する必要があることを報知した後に、
前記第1操作ポイントの次に前記ステアリングホイールの操作を行うべき前記操作ポイントである第2操作ポイントと、前記車両の側面の他方に設定された前記基準マークである第2基準マークとが接触したときに、前記ステアリングホイールを操作する必要があることを報知すること、
を特徴とする画像表示システム。 The image display system according to claim 1 or 2,
When the informing means performs parallel parking of the vehicle,
The steering wheel is operated by contact between a first operation point, which is the operation point where the steering wheel should be operated first, and a first reference mark, which is the reference mark set on one of the side surfaces of the vehicle. After informing you that you need to
The second operation point that is the operation point at which the steering wheel is to be operated next to the first operation point is in contact with the second reference mark that is the reference mark set on the other side of the vehicle. Sometimes notifying that the steering wheel needs to be operated,
An image display system characterized by the above.
前記表示手段は、
前記車両の後端部から前記車両が後退する方向に延びるガイド線を表示し、
前記ユーザの前記第2操作ポイントにおける前記ステアリングホイールの操作が完了したことに応答して、前記ガイド線の長さを前記第2操作ポイントにおける前記ステアリングホイールの操作前よりも短く表示すること、
を特徴とする画像表示システム。 The image display system according to claim 3,
The display means includes
Displaying a guide line extending in a direction in which the vehicle moves backward from the rear end of the vehicle;
In response to completion of the operation of the steering wheel at the second operation point of the user, displaying the length of the guide line shorter than before the operation of the steering wheel at the second operation point;
An image display system characterized by the above.
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する生成手段と、
前記俯瞰画像を前記表示装置に出力して表示させる出力手段と、
ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する設定手段と、
前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示させる表示制御手段と、
前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する報知手段と、
を備えること、
を特徴とする画像処理装置。 An image processing device for generating an image to be displayed on a display device mounted on a vehicle,
Generating means for generating a bird's-eye view image of the vehicle and a surrounding area of the vehicle from a captured image obtained by a camera disposed in the vehicle;
Output means for outputting and displaying the overhead image on the display device;
Setting means for setting a parking position where the vehicle should be parked in the overhead image based on a user's operation;
Display control means for displaying an operation point that is set relative to the parking position and indicates a position where the user should operate a steering wheel, and a reference mark that is set relatively to the vehicle, in the overhead image. ,
Informing means for informing the user that the operation of the steering wheel is necessary when the operation point and the reference mark come into contact with each other due to the movement of the vehicle;
Providing
An image processing apparatus.
前記車両に配置されたカメラで得られる撮影画像から、前記車両及び前記車両の周辺領域を俯瞰した俯瞰画像を生成する工程と、
前記俯瞰画像を表示する工程と、
ユーザの操作に基づいて前記俯瞰画像中に前記車両が駐車すべき駐車位置を設定する工程と、
前記駐車位置に相対的に設定され前記ユーザがステアリングホイールを操作すべき位置を示す操作ポイントと、前記車両に相対的に設定された基準マークとを、前記俯瞰画像中に表示する工程と、
前記車両の移動により、前記操作ポイントと前記基準マークとが接触した場合に、前記ステアリングホイールの操作が必要であることをユーザへ報知する工程と、
を備えること、
を特徴とする画像表示方法。 An image display method mounted on a vehicle,
Generating a bird's-eye view image of a bird's-eye view of the vehicle and the surrounding area of the vehicle, from a captured image obtained by a camera arranged in the vehicle;
Displaying the overhead view image;
A step of setting a parking position where the vehicle should be parked in the overhead view image based on a user operation;
A step of displaying an operation point indicating a position where the user should operate a steering wheel relative to the parking position and a reference mark set relatively to the vehicle in the overhead image;
Informing the user that the operation of the steering wheel is necessary when the operation point and the reference mark come into contact with each other due to the movement of the vehicle;
Providing
An image display method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010207651A JP2012061954A (en) | 2010-09-16 | 2010-09-16 | Image display system, image processing device and image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010207651A JP2012061954A (en) | 2010-09-16 | 2010-09-16 | Image display system, image processing device and image display method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012061954A true JP2012061954A (en) | 2012-03-29 |
Family
ID=46058123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010207651A Withdrawn JP2012061954A (en) | 2010-09-16 | 2010-09-16 | Image display system, image processing device and image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012061954A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017068585A (en) * | 2015-09-30 | 2017-04-06 | 日産自動車株式会社 | Information display device and information display method |
-
2010
- 2010-09-16 JP JP2010207651A patent/JP2012061954A/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017068585A (en) * | 2015-09-30 | 2017-04-06 | 日産自動車株式会社 | Information display device and information display method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5087051B2 (en) | Image generating apparatus and image display system | |
JP5302227B2 (en) | Image processing apparatus, image processing system, and image processing method | |
US9156402B2 (en) | Wide view vehicle periphery image generation apparatus | |
JP5743652B2 (en) | Image display system, image generation apparatus, and image generation method | |
JP5765995B2 (en) | Image display system | |
US9706175B2 (en) | Image processing device, image processing system, and image processing method | |
US10625782B2 (en) | Surroundings monitoring apparatus | |
JP5914114B2 (en) | Parking assistance device and parking assistance method | |
JP2012073836A (en) | Image display system, image processing apparatus, and image display method | |
JP6760122B2 (en) | Peripheral monitoring device | |
JP2011131678A (en) | Image processing device, image processing system and image processing method | |
JP2010184607A (en) | Vehicle periphery displaying device | |
JP2011151666A (en) | Device, system and method for acquiring parameter, and program | |
JP2007221200A (en) | Vehicle periphery monitoring system | |
JP2012076551A (en) | Parking support device, parking support method, and parking support system | |
JP2012046124A (en) | Image display system, image processing device and image display method | |
JP5479639B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP5677168B2 (en) | Image display system, image generation apparatus, and image generation method | |
JP5651491B2 (en) | Image display system, image display apparatus, and image display method | |
JP2012061954A (en) | Image display system, image processing device and image display method | |
JP5643028B2 (en) | Image display system, image processing apparatus, and image processing method | |
JP5466743B2 (en) | Image generating apparatus and image display system | |
JP2019068326A (en) | Periphery monitoring device | |
JP2012051392A (en) | Display device and display method | |
JP2012191479A (en) | Information processing system, server device, and in-vehicle device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20131203 |