JP2020078084A - Device for controlling display for vehicle, system for display for vehicle, method for controlling display for vehicle, and program - Google Patents
Device for controlling display for vehicle, system for display for vehicle, method for controlling display for vehicle, and program Download PDFInfo
- Publication number
- JP2020078084A JP2020078084A JP2020016188A JP2020016188A JP2020078084A JP 2020078084 A JP2020078084 A JP 2020078084A JP 2020016188 A JP2020016188 A JP 2020016188A JP 2020016188 A JP2020016188 A JP 2020016188A JP 2020078084 A JP2020078084 A JP 2020078084A
- Authority
- JP
- Japan
- Prior art keywords
- display
- range
- vehicle
- video data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。 The present invention relates to a vehicle display control device, a vehicle display system, a vehicle display control method, and a program.
従来の光学式のルームミラーに代わって、後方カメラで車両の後方周辺領域を撮影しリヤビューモニタに表示する技術が知られている(例えば、特許文献1参照)。 A technique is known in which a rear camera captures an image of a rear peripheral region of a vehicle and displays it on a rear view monitor, instead of a conventional optical rearview mirror (see, for example, Patent Document 1).
後方カメラは、ルームミラーに映される範囲より広い範囲を撮影することができる。ルームミラーに映される範囲より広い範囲をリヤビューモニタに表示させると、運転者がリヤビューモニタから得られる車両周辺の状況の情報の情報量は、ルームミラーから得られる情報量より増加する。ところが、車両の運転時、運転者が適切に認識することができる情報量は、限られている。このため、得られる情報量が多くなり過ぎると、運転者は、得られる情報を適切に認識することが困難になるおそれがあり、さらには認識に時間を要するため、リヤビューモニタを注視する時間が長くなってしまう。そこで、リヤビューモニタは、運転者が適切に認識することができる、適切な情報量を表示することが望まれる。 The rear camera can capture a wider area than the area displayed on the rearview mirror. When a range wider than the range displayed on the rearview mirror is displayed on the rearview monitor, the amount of information on the situation around the vehicle obtained by the driver from the rearview monitor is larger than the amount of information obtained from the rearview mirror. However, the amount of information that a driver can appropriately recognize when driving a vehicle is limited. For this reason, if the amount of information obtained is too large, it may be difficult for the driver to properly recognize the obtained information, and since it takes time for recognition, the time for gazing at the rear view monitor It will be long. Therefore, it is desired that the rear view monitor displays an appropriate amount of information that the driver can appropriately recognize.
本発明は、上記に鑑みてなされたものであって、運転者にとって適切な情報量を表示することを目的とする。 The present invention has been made in view of the above, and an object thereof is to display an appropriate amount of information for a driver.
上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の後方を撮影する後方カメラからの撮影映像データを取得して、前記車両の後方映像を表示する表示装置に表示させる表示映像データを生成する、表示映像データ生成部と、前記表示映像データに対して、第一範囲と、前記第一範囲の両側のそれぞれに配置され、前記表示映像データの両側部に位置する第二範囲とを設定する範囲設定部と、前記範囲設定部で範囲が設定された前記第二範囲の映像データに対して、特徴点を抽出するとともに、運転者が得られる情報の量を低減する情報量低減処理として、前記第二範囲の映像データに重畳または置き換えて特徴点を表示する処理を行う映像処理部と、前記第二範囲に対して前記情報量低減処理を行った前記表示映像データを、前記表示装置に表示させる表示制御部とを備えることを特徴とする。 In order to solve the above-mentioned problems and to achieve the object, a vehicle display control device according to the present invention obtains captured image data from a rear camera that captures the rear of a vehicle and displays the rear image of the vehicle. A display image data generating unit for generating display image data to be displayed on the display device, a first range for the display image data, and a first range and both sides of the first range. A range setting unit that sets a second range located on both sides, and a feature point is extracted from the image data of the second range in which the range is set by the range setting unit, and a driver can be obtained. As an information amount reduction process for reducing the amount of information, a video processing unit that performs a process of displaying a feature point by superimposing or replacing it on the video data of the second range, and the information amount reduction process for the second range. And a display control unit for displaying the performed display video data on the display device.
本発明に係る車両用表示システムは、上記の車両用表示制御装置と、少なくとも前記第一範囲および前記第二範囲を表示可能な表示幅を備える前記表示装置、前記後方カメラのうち少なくともいずれかとを備えることを特徴とする。 A vehicular display system according to the present invention includes the vehicular display control device, and at least one of the display device and the rear camera having a display width capable of displaying at least the first range and the second range. It is characterized by being provided.
本発明に係る車両用表示制御方法は、車両の後方を撮影する後方カメラからの撮影映像データを取得して、前記車両の後方映像を表示する表示装置に表示させる表示映像データを生成する、表示映像データ生成ステップと、前記表示映像データの第一範囲の両側のそれぞれに配置され、前記表示映像データの両側部に位置する第二範囲の映像データに対して、特徴点を抽出するとともに、運転者が得られる情報の量を低減する情報量低減処理として、前記第二範囲の映像データに重畳または置き換えて特徴点を表示する処理を行う映像処理ステップと、前記第二範囲に対して前記情報量低減処理を行った前記表示映像データを、前記表示装置に表示させる表示制御ステップとを含む。 A display control method for a vehicle according to the present invention acquires captured video data from a rear camera that captures the rear of a vehicle, and generates display video data to be displayed on a display device that displays the rear video of the vehicle. A step of generating video data, extracting feature points from the video data of the second range, which is arranged on both sides of the first range of the display video data and located on both sides of the display video data, and operates As an information amount reduction process for reducing the amount of information that a person can obtain, a video processing step of performing a process of displaying a feature point by superimposing or replacing the video data in the second range, and the information for the second range. A display control step of causing the display device to display the display video data subjected to the amount reduction processing.
本発明に係るプログラムは、車両の後方を撮影する後方カメラからの撮影映像データを取得して、前記車両の後方映像を表示する表示装置に表示させる表示映像データを生成する、表示映像データ生成ステップと、前記表示映像データの第一範囲の両側のそれぞれに配置され、前記表示映像データの両側部に位置する第二範囲に位置する第二範囲の映像データに対して、特徴点を抽出するとともに、運転者が得られる情報の量を低減する情報量低減処理として、前記第二範囲の映像データに重畳または置き換えて特徴点を表示する処理を行う映像処理ステップと、前記第二範囲に対して前記情報量低減処理を行った前記表示映像データを、前記表示装置に表示させる表示制御ステップとを車両用表示制御装置として動作するコンピュータに実行させる。 A program according to the present invention acquires captured video data from a rear camera that captures the rear of a vehicle and generates display video data to be displayed on a display device that displays the rear video of the vehicle. And a characteristic point is extracted from the second range of video data located on both sides of the first range of the display video data and located in the second range located on both sides of the display video data. As an information amount reduction process for reducing the amount of information obtained by the driver, a video processing step of performing a process of displaying a feature point by superimposing or replacing the video data on the second range, and for the second range A display control step of displaying the display image data on which the information amount reduction processing has been performed on the display device is executed by a computer operating as a vehicle display control device.
本発明によれば、運転者にとって適切な情報量を表示することができるという効果を奏する。 According to the present invention, it is possible to display an appropriate amount of information for the driver.
以下に添付図面を参照して、本発明に係る車両用表示制御装置10、車両用表示システム1、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
[第一実施形態]
車両用表示システム1は、車両に搭載され、車両後方を撮影した映像を表示する。図1は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図2は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。車両後方には、進行方向の後方と、車幅方向の側後方とを含む。本実施形態では、後方について説明するが、側後方にも適用可能である。
Embodiments of a vehicle
[First embodiment]
The
図1、図2に示すように、車両用表示システム1は、後方カメラ2と、リヤビューモニタ3と、車両用表示制御装置10とを有する。
As shown in FIGS. 1 and 2, the
後方カメラ2は、車両の後方に配置され、車両の後方を撮影する。図3は、第一実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。図4は、第一実施形態に係る車両用表示システムの後方カメラで撮影された映像データとリヤビューモニタに表示される映像の一例を示す図である。図3、図4に示すように、後方カメラ2は、リヤビューモニタ3による確認範囲を含んだ範囲を撮影する。言い換えると、後方カメラ2は、リヤビューモニタ3に表示されない範囲を含んで撮影している。後方カメラ2は、水平方向の画角が例えば90〜180°、上下方向の画角が例えば45〜90°である。このように、後方カメラ2は、リヤビューモニタ3に表示させる範囲より広い範囲の映像を撮影可能である。そこで、後方カメラ2で撮影された映像は、車両用表示制御装置10の制御部30の切出部33で、リヤビューモニタ3を用いて車両の運転者が適切に後方を認識できるような範囲が切出され、リヤビューモニタ3に表示される。後方カメラ2は、撮影した撮影映像データ100を車両用表示制御装置10の制御部30の映像データ取得部32へ出力する。
The
リヤビューモニタ3は、一例としては電子ルームミラーである。リヤビューモニタ3を電子ルームミラーとして用いる場合、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ3は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイなどを含むディスプレイである。
The
図5を用いて、リヤビューモニタ3と従来の光学式のルームミラーRとを比較して説明する。図5は、第一実施形態に係る車両用表示システムのリヤビューモニタと従来の光学式のルームミラーとを比較して説明する概略図である。リヤビューモニタ3は、従来の光学式のルームミラーRに比べて車幅方向の幅が広い。本実施形態においては、例えば車幅方向の幅が400mm、高さ方向の幅が50mmである。これに対して、従来の光学式のルームミラーRは、例えば車幅方向の幅が200mm、高さ方向の幅が50mmである。
The
リヤビューモニタ3は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ3は、図1に示すように、ウィンドシールドSの車幅方向の中央上部に配置されている。リヤビューモニタ3は、図6に示すように、ダッシュボードDの車幅方向の中央上部に配置されていてもよい。図6は、第一実施形態に係る車両用表示システムの構成例の他の例を示す概略図である。
The
リヤビューモニタ3は、車両用表示制御装置10の制御部30の表示制御部40から出力された映像信号に基づき、車両の後方映像を表示する。具体的に、リヤビューモニタ3は、図7に示すような後方映像を表示する。図7は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図7に示す撮影映像データ100には、後続車両と道路と街路樹とを含む被撮影物が映されている。
The
図2に戻って、車両用表示制御装置10は、記憶部20と、制御部30とを有する。
Returning to FIG. 2, the vehicular
記憶部20は、車両用表示制御装置10における各種処理に要するデータおよび各種処理結果を記憶する。記憶部20は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。
The
制御部30は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。制御部30は、表示映像データ生成部31と、情報取得部34と、範囲設定部35と、映像処理部36と、表示制御部40とを含む。制御部30は、記憶部20に記憶されているプログラムに含まれる命令を実行する。
The
表示映像データ生成部31は、後方カメラ2からの撮影映像データ100を取得し、リヤビューモニタ3に表示させる表示映像データ110を生成する。表示映像データ生成部31は、映像データ取得部32と、切出部33とを含む。
The display video data generation unit 31 acquires the captured
映像データ取得部32は、車両の後方を撮影した映像を取得する。映像データ取得部32が取得する撮影映像データ100は、例えば、毎秒60フレームの画像が連続した映像のデータである。本実施形態では、映像データ取得部32は、後方カメラ2が出力した撮影映像データ100を取得する。映像データ取得部32は、取得した撮影映像データ100を切出部33に出力する。
The image data acquisition unit 32 acquires an image of the rear of the vehicle. The captured
切出部33は、撮影映像データ100から、リヤビューモニタ3に表示させる範囲を切出す。撮影映像データ100のどの範囲をリヤビューモニタ3に表示させる範囲として切出すかは、あらかじめ記憶部20に記憶されている。本実施形態では、切出部33は、図4において破線で囲んで示した、撮影映像データ100の中央部を表示映像データ110として切出す。切出部33は、切出した表示映像データ110を範囲設定部35に出力する。
The
情報取得部34は、ECU(Electronic Control Unit)またはCAN(Control Area Network)から、車速を判定するための車速情報を取得する。具体的には、情報取得部34は、車速信号を取得する。情報取得部34は、取得した情報を映像処理部36に出力する。 The information acquisition unit 34 acquires vehicle speed information for determining a vehicle speed from an ECU (Electronic Control Unit) or a CAN (Control Area Network). Specifically, the information acquisition unit 34 acquires a vehicle speed signal. The information acquisition unit 34 outputs the acquired information to the video processing unit 36.
範囲設定部35は、表示映像データ110に対して、第一範囲110Aと、第一範囲110Aの両側のそれぞれに配置され、表示映像データ110の両側部に位置する第二範囲110Bとを設定する。本実施形態では、図8に示すように、第一範囲110Aは、表示映像データ110の中心線Lを中心軸線とした範囲として設定する。図8は、第一実施形
態に係る車両用表示システムのリヤビューモニタに表示される映像の第一範囲と第二範囲とを説明する図である。本実施形態では、第一範囲110Aは、車幅方向の幅が200mmである。第二範囲110Bは、車幅方向の幅が100mmである。第一範囲110Aは、従来の光学式のルームミラーRを運転者が正視したときに視認できる範囲である。第二
範囲110Bは、従来の光学式のルームミラーRを運転者が正視したときには視認できず
、視点をずらしたり、角度を調節したりしたときに視認できる範囲とその外側の範囲とを
含む。範囲設定部35は、第一範囲110Aおよび第二範囲110Bを設定した表示映像
データ110を映像処理部36に出力する。
The
映像処理部36は、表示映像データ110の第二範囲110Bに対して、情報量を低減させた表示映像データ120を生成し表示制御部40に出力する情報量低減処理を行う。表示映像データ120は、情報量が低減されていない第一範囲120Aと、情報量が低減された第二範囲120Bとを含む。
The image processing unit 36 performs the information amount reduction process for the
情報量とは、運転者がリヤビューモニタ3に表示された映像から得られる車両周辺の状況の情報の量である。情報量は、リヤビューモニタ3に表示された映像の表示面積が大きいほど多くなる。情報量は、リヤビューモニタ3に表示された被撮影物が多いほど多くなる。情報量は、リヤビューモニタ3に表示された映像に含まれる色が多いほど多くなる。情報量は、リヤビューモニタ3に表示された映像の輝度が高いほど多くなる。
The amount of information is the amount of information on the situation around the vehicle obtained by the driver from the image displayed on the
車両の運転時に運転者が適切に認識することができる情報量が限られていること、および、車速が高速になるほど、運転者が適切に認識できる情報量が少なくなり、認識範囲も狭くなることが知られている。また、車速が高速になるほど、リヤビューモニタ3の目視する時間は短くなる。より詳しくは、車両が高速になるほど、運転者が適切に後方を認識できる範囲は、従来の光学式のルームミラーRで視認できる範囲、言い換えると、表示映像データ110における第一範囲110Aが最適である。言い換えると、車速が遅い場合は、従来の光学式のルームミラーRで視認できる情報量より情報量が増えても適切に認識可能である。
The amount of information that the driver can appropriately recognize when driving the vehicle is limited, and the higher the vehicle speed, the less information that the driver can appropriately recognize and the narrower the recognition range. It has been known. In addition, the higher the vehicle speed, the shorter the time that the rear view monitor 3 visually checks. More specifically, as the vehicle speed increases, the range in which the driver can appropriately recognize the rear is the range that can be visually recognized by the conventional optical rearview mirror R, in other words, the
そこで、映像処理部36は、車速が所定速度以上である場合、運転者が必要とし、認識可能な情報に絞るように第二範囲110Bの情報量を低減させた表示映像データ120を生成する。より詳しくは、映像処理部36は、情報取得部34で取得された車速が所定速度以上である場合、例えば、図9に示すような、表示映像データ110の第二範囲110Bの情報量を低減させた表示映像データ120を生成し表示制御部40に出力する情報量低減処理を行う。図9は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。表示映像データ120は、第二範囲120Bから運転者が被撮影物の有無を認識可能な範囲で、情報量が低減されている。
Therefore, when the vehicle speed is equal to or higher than the predetermined speed, the image processing unit 36 generates the
映像処理部36は、車速が所定速度未満である場合、表示映像データ110を表示制御部40に出力する。映像処理部36は、低減処理部37を有する。
The video processing unit 36 outputs the
低減処理部37は、情報量低減処理として、例えば、色情報を低減させる色情報低減処理と、輝度を低減させる輝度低減処理を行う。 The reduction processing unit 37 performs, as the information amount reduction processing, for example, color information reduction processing for reducing color information and luminance reduction processing for reducing luminance.
色情報低減処理は、表示映像データ110の第二範囲110Bの色情報を低減させた表示映像データ120を生成して表示制御部40に出力する処理である。例えば、色情報低減処理は、表示映像データ110の第二範囲110BのRGBごとの彩度を所定量または所定率、低減させた表示映像データ120を生成して表示制御部40に出力する。または、例えば、色情報低減処理は、表示映像データ110の第二範囲110Bの彩度を所定量または所定率、低い単色または白黒にした表示映像データ120を生成して表示制御部40に出力してもよい。
The color information reduction process is a process of generating the
輝度低減処理は、表示映像データ110の第二範囲110Bの輝度を低減させた表示映
像データ120を生成して表示制御部40に出力する処理である。例えば、輝度低減処理は、表示映像データ110の第二範囲110Bの画素ごとの明度を所定量または所定率、低減させた表示映像データ120を生成して表示制御部40に出力する。または、例えば、輝度低減処理は、表示映像データ120を生成する代わりに、第一範囲110Aに該当するリヤビューモニタ3のバックライトを通常の輝度とし、第二範囲110Bに該当するリヤビューモニタ3のバックライトを通常の輝度より所定量または所定率、低減させる制御信号を生成して表示映像データ110とともに表示制御部40に出力してもよい。
The brightness reduction process is a process of generating the
低減処理部37は、色情報低減処理と輝度低減処理のどちらかを行ってもよいし、両方を組み合わせて行ってもよい。 The reduction processing unit 37 may perform either the color information reduction processing or the luminance reduction processing, or may perform both in combination.
表示制御部40は、映像処理部36から出力された表示映像データ110または表示映像データ120をリヤビューモニタ3に表示させる。
The
次に、図10を用いて、制御部30による処理の流れについて説明する。図10は、第一実施形態に係る車両用表示システムにおける処理の流れを示すフローチャートである。
Next, the flow of processing by the
制御部30は、映像データ取得部32で、撮影映像データ100を取得させる(ステップS11)。
The
制御部30は、切出部33で、切出し処理を行わせる(ステップS12)。より詳しくは、制御部30は、切出部33で、撮影映像データ100から、リヤビューモニタ3に表示させる範囲を表示映像データ110として切出させる。
The
制御部30は、映像処理部36で、車速が所定速度以上であるか否かを判定する(ステップS13)。より詳しくは、制御部30は、映像処理部36で、情報取得部34が取得した情報に基づいて、車速が所定速度以上であるか否かを判定する。本実施形態では、所定速度は、例えば20km/hや40km/hとする。所定速度の設定は、第二範囲110Bの情報量低減を行わない表示による情報量が、その速度において運転者が適切に後方を認識できる情報量の範囲内に設定することが好ましい。例えば、20km/hや40km/h未満の走行速度である場合には、リヤビューモニタ3の目視時間も高速走行時よりは長く、第二範囲110Bの情報を必要とする場合も多いためである。所定速度以上の走行速度で走行している場合は、リヤビューモニタ3の目視時間も所定速度未満での走行時より短くなり、第二範囲110Bの情報を必要とする場合が少なくなるためである。
The
制御部30は、映像処理部36で、車速が所定速度以上ではないと判定した場合(ステップS13でNo)、ステップS15に進む。制御部30は、映像処理部36で、表示映像データ110を表示制御部40に出力させる。
When the video processing unit 36 determines that the vehicle speed is not equal to or higher than the predetermined speed (No in step S13), the
制御部30は、映像処理部36で、車速が所定速度以上であると判定した場合(ステップS13でYes)、ステップS14に進む。
When the video processing unit 36 determines that the vehicle speed is equal to or higher than the predetermined speed (Yes in step S13), the
制御部30は、低減処理部37で、表示映像データ110の第二範囲110Aの情報量低減処理を行わせる(ステップS14)。より詳しくは、制御部30は、低減処理部37で、表示映像データ110の第二範囲110Bの情報量を低減させる。
The
例えば、制御部30は、低減処理部37で、表示映像データ110の第二範囲110BのRGBごとの彩度を低減させた表示映像データ120を生成させ表示制御部40に出力させる。
For example, the
または、例えば、制御部30は、低減処理部37で、表示映像データ110の第二範囲110Bを例えば彩度の低い単色または白黒にさせた表示映像データ120を生成させ表示制御部40に出力させてもよい。
Alternatively, for example, the
または、例えば、制御部30は、低減処理部37で、表示映像データ110の第二範囲110Bの画素ごとの明度を低減させた表示映像データ120を生成させ表示制御部40に出力させてもよい。
Alternatively, for example, the
または、例えば、制御部30は、低減処理部37で、第一範囲110Aに該当するリヤビューモニタ3のバックライトを通常の輝度とし、第二範囲110Bに該当するリヤビューモニタ3のバックライトを通常の輝度より低減させる制御信号を表示映像データ110とともに表示制御部40に出力させてもよい。
Alternatively, for example, the
制御部30は、表示制御部40で、表示映像データ110または表示映像データ120をリヤビューモニタ3に表示させる(ステップS15)。より詳しくは、車速が所定速度未満である場合、制御部30は、表示制御部40で、図7に示すような表示映像データ110をリヤビューモニタ3に表示させる。車速が所定速度以上である場合、制御部30は、表示制御部40で、図9に示すような、情報量を低減させた表示映像データ120をリヤビューモニタ3に表示させる。
The
制御部30は、このような処理を、例えば毎フレームごと、または、所定フレームごとのような所定間隔で繰り返す。
The
上述したように、本実施形態によれば、車速が所定速度以上である場合、リヤビューモニタ3には、第二範囲120Bは情報量が低減された表示映像データ120が表示される。車速が所定速度未満である場合、リヤビューモニタ3には、情報量が低減されていない表示映像データ110が表示される。リヤビューモニタ3には、車速に応じて、運転者が容易に認識できる情報量の表示映像データ110または表示映像データ120が表示される。このように、本実施形態によれば、車速に応じて、運転者にとって適切な情報量を表示することができる。これにより、本実施形態によれば、運転者は、車速によらず、車両周辺の確認を適切に行うことができる。
As described above, according to the present embodiment, when the vehicle speed is equal to or higher than the predetermined speed, the
本実施形態によれば、車速が所定速度以上である場合、表示映像データ110の第二範囲110Bに対して情報量低減処理を行う。言い換えると、本実施形態によれば、従来の光学式のルームミラーRを運転者が正視したときに視認できる第一範囲110Aは、車速によらず、情報量が削減されていない。このため、本実施形態は、従来の光学式のルームミラーRといつでも同様に後方を確認することができる。
According to this embodiment, when the vehicle speed is equal to or higher than the predetermined speed, the information amount reduction processing is performed on the
本実施形態によれば、表示映像データ120の第二範囲120Bは、運転者が被撮影物の有無を認識可能、かつ、運転者が第一範囲120Aと第二範囲120Bとの情報量の差異を認識可能な範囲で、情報量が低減されている。このため、本実施形態は、第二範囲120Bの情報量が低減されていたとしても、運転者は必要に応じて、第二範囲120Bから得たい情報を取得することができる。これにより、運転者は必要に応じて、適切な回避行動を取ることができる。
[第二実施形態]
図11ないし図13を参照しながら、本実施形態に係る車両用表示システム1Aについて説明する。図11は、第二実施形態に係る車両用表示システムの構成例を示す概略図である。図12は、第二実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図13は、第二実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。
According to the present embodiment, in the
[Second embodiment]
The vehicle display system 1A according to the present embodiment will be described with reference to FIGS. 11 to 13. FIG. 11 is a schematic diagram showing a configuration example of the vehicle display system according to the second embodiment. FIG. 12 is a diagram showing an example of an image displayed on the rear view monitor of the vehicle display system according to the second embodiment. FIG. 13 is a diagram showing another example of an image displayed on the rear view monitor of the vehicle display system according to the second embodiment.
図11に示すように、車両用表示システム1Aは、基本的な構成は第一実施形態の車両用表示システム1と同様である。以下の説明においては、車両用表示システム1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の車両用表示システム1Aは、車両用表示制御装置10Aの制御部30Aが第一実施形態の車両用表示システム1と異なる。
As shown in FIG. 11, the vehicle display system 1A has the same basic configuration as the
映像処理部36Aは、低減処理部37Aと、特徴点抽出部38Aを有する。
The
特徴点抽出部38Aは、情報量低減処理として、表示映像データ110の第二範囲110Bから被撮影物の特徴点を抽出し図示した表示映像データ130を生成し表示制御部40Aに出力する情報量低減処理を行う。特徴点抽出部38Aは、公知の特徴点抽出手法を用いて、例えば、表示映像データ110の第二範囲110Bから角を被撮影物の特徴点として抽出する。そして、特徴点抽出部38Aは、抽出した角でつないで被撮影物の輪郭を表す破線(図12参照)を図示した表示映像データ130を生成する。表示映像データ130は、情報量が低減されていない第一範囲130Aと、特徴点が図示された第二範囲130Bとを含む。表示映像データ130は、被撮影物の特徴点が詳細に抽出されると、表示映像データ110との情報量の差異が小さくなり、被撮影物の認識に時間を要するおそれがある。一方、表示映像データ130は、被撮影物の特徴点が粗く抽出されると、表示映像データ110との情報量の差異が大きくなり、被撮影物を正しく認識できないおそれがある。このため、特徴点抽出部38Aは、適切に特徴点が抽出されるようにしきい値が設定されている。より詳しくは、しきい値は、物体の外形を認識可能な必要最小限の輪郭を抽出可能な値とする。
As the information amount reduction processing, the characteristic point extraction unit 38A extracts the characteristic points of the object to be photographed from the
図12を用いて、表示映像データ130の一例について説明する。図12に示す表示映像データ130は、図7に示す表示映像データ110から生成された表示映像データ130である。表示映像データ130には、後続車両の特徴点と、道路やガードレールの特徴点と、街路樹の特徴点とが破線で図示されている。
An example of the
特徴点抽出部38Aは、生成した表示映像データ130を表示映像データとして表示制御部40Aに出力する。
The feature point extraction unit 38A outputs the generated
情報量低減処理として、本実施形態の情報量低減処理を単独で行ってもよいし、第一実施形態の情報量低減処理と組み合わせて行ってもよい。 As the information amount reduction process, the information amount reduction process of this embodiment may be performed alone or in combination with the information amount reduction process of the first embodiment.
本実施形態の情報量低減処理を単独で行い、特徴点を抽出させた表示映像データ130をリヤビューモニタ3に表示させる場合について説明する。より詳しくは、制御部30Aは、図10に示すフローチャートのステップS14において、特徴点抽出部38Aで、図12に示すような、表示映像データ110の第二範囲110Bの特徴点を抽出させた表示映像データ130を表示制御部40Aに出力させる。そして、制御部30Aは、表示制御部40Aで、表示映像データ130をリヤビューモニタ3に表示させる。
A case will be described in which the information amount reduction processing according to the present embodiment is independently performed and the
本実施形態の情報量低減処理と第一実施形態の情報量低減処理とを組み合わせて行い、情報量を低減させた表示映像データ120と、特徴点を抽出させた表示映像データ130とを重畳させてリヤビューモニタ3に表示させる場合について説明する。より詳しくは、制御部30Aは、図10に示すフローチャートのステップS14において、低減処理部37Aで、表示映像データ110の第二範囲110Bの情報量を低減させた表示映像データ120を生成させる。そして、制御部30Aは、特徴点抽出部38Aで、図12に示すような、表示映像データ110の第二範囲110Bの特徴点を抽出させた表示映像データ130を生成させる。そして、制御部30Aは、特徴点抽出部38Aで、図13に示すような、情報量を低減させた表示映像データ120と表示映像データ130とを重畳させた表示映像データ140を表示制御部40Aに出力させる。表示映像データ140は、情報量が低減されていない第一範囲140Aと、色情報または輝度が低減され、特徴点が図示された第二範囲140Bとを含む。そして、制御部30Aは、表示制御部40Aで、表示映像データ140をリヤビューモニタ3に表示させる。
The information amount reduction process of the present embodiment and the information amount reduction process of the first embodiment are performed in combination to superimpose the
上述したように、本実施形態によれば、車速が所定速度以上である場合、リヤビューモニタ3には、第二範囲130Bは情報量が低減され、表示映像データ110の第二範囲110Bの特徴点が破線で図示された表示映像データ130が表示される。車速が所定速度未満である場合、リヤビューモニタ3には、情報量が低減されていない表示映像データ110が表示される。リヤビューモニタ3には、車速に応じて、運転者が容易に認識できる情報量の表示映像データ110または表示映像データ130が表示される。このように、本実施形態によれば、運転者にとって適切な情報量を表示することができる。これにより、本実施形態によれば、運転者は、車速によらず、車両周辺の確認を適切に行うことができる。
As described above, according to the present embodiment, when the vehicle speed is equal to or higher than the predetermined speed, the
また、本実施形態によれば、車速が所定速度以上である場合、表示映像データ110の第二範囲110Bの情報量を低減させた表示映像データ120と、表示映像データ110の第二範囲110Bの特徴点を抽出させた表示映像データ130とを重畳させた表示映像データ140がリヤビューモニタ3に表示される。これにより、本実施形態によれば、情報量を低減させても被撮影物を認識させ易くすることができる。しかも、本実施形態によれば、表示映像データ140には被撮影物の輪郭を表す特徴点が示されているので、運転者は、物体の有無を容易に認識することができる。
[第三実施形態]
図14ないし図18を参照しながら、本実施形態に係る車両用表示システム1Bについて説明する。図14は、第三実施形態に係る車両用表示システムの構成例を示す概略図である。図15は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図16は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。図17は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。図18は、第三実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。
Further, according to the present embodiment, when the vehicle speed is equal to or higher than the predetermined speed, the
[Third embodiment]
The
図14に示すように、本実施形態の車両用表示システム1Bは、認識辞書記憶部4Bを有する点と、車両用表示制御装置10Bの制御部30Bの構成が第二実施形態の車両用表示システム1Aと異なる。
As shown in FIG. 14, the
認識辞書記憶部4Bは、例えば、四輪車、二輪車、人を含む物体の形状、大きさ、色などのパターンを照合可能な辞書を記憶している。認識辞書記憶部4Bは、例えば、RAM、ROM、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。 The recognition dictionary storage unit 4B stores, for example, a dictionary capable of collating patterns such as shapes, sizes, and colors of objects including four-wheeled vehicles, two-wheeled vehicles, and people. The recognition dictionary storage unit 4B is, for example, a semiconductor memory device such as a RAM, a ROM, a flash memory, or a storage device such as a hard disk, an optical disk, or an external storage device via a network.
映像処理部36Bは、低減処理部37Bと、特徴点抽出部38Bと、物体認識部39Bとを有する。
The video processing unit 36B has a reduction processing unit 37B, a feature point extraction unit 38B, and an
特徴点抽出部38Bは、第二実施形態の特徴点抽出部38Aと同様の処理を行う。特徴点抽出部38Bは、図12に示す特徴点を抽出させた表示映像データ130を物体認識部39Bに出力する。
The feature point extraction unit 38B performs the same processing as the feature point extraction unit 38A of the second embodiment. The feature point extraction unit 38B outputs the
物体認識部39Bは、情報量低減処理として、表示映像データ130の第二範囲130Bに存在する物体をアイコン(車両を示す表示)Mで置換または物体にアイコンMを重畳した表示映像データを生成し表示制御部40Bに出力する処理を行う。本実施形態では、物体認識部39Bは、物体として車両を認識する。本実施形態では、アイコンMは、円環である。アイコンMは、車両の図など他の形状であってもよい。より詳しくは、物体認識部39Bは、表示映像データ130の第二範囲130Bに対して、認識辞書記憶部4Bが記憶している認識辞書を用いたパターンマッチングを行い、物体の存在を検出する。そして、物体認識部39は、物体をアイコンMで置換または物体にアイコンMを重畳した表示映像データを生成し表示制御部40Bに出力する。物体認識部39Bは、表示映像データ110に比べて情報量が低減された表示映像データ130に対してパターンマッチングを行うので、処理に要する負荷と時間とを削減することができる。
The
情報量低減処理は、本実施形態の情報量低減処理を単独で行ってもよいし、第一実施形態の情報量低減処理および第二実施形態の情報量低減処理と適宜組み合わせて行ってもよい。 The information amount reduction process may be performed by the information amount reduction process of this embodiment alone, or may be performed by appropriately combining it with the information amount reduction process of the first embodiment and the information amount reduction process of the second embodiment. ..
本実施形態の情報量低減処理を単独で行い、アイコンMだけを表示させる場合について説明する。より詳しくは、制御部30Bは、図10に示すフローチャートのステップS14において、特徴点抽出部38Bで、表示映像データ110の第二範囲110Bの特徴点を抽出させ表示映像データ130を生成させる。そして、制御部30Bは、物体認識部39Bで、表示映像データ130の第二範囲130Bの物体を認識させる。そして、制御部30Bは、物体認識部39Bで、図15に示すような、表示映像データ130の第二範囲130Bを、物体に対応する位置にアイコンMを表示した映像に置換した表示映像データ200を生成させ表示制御部40Bに出力させる。表示映像データ200は、情報量が低減されていない第一範囲200Aと、アイコンMが表示された第二範囲200Bとを含む。そして、制御部30Bは、表示制御部40Bで、表示映像データ200をリヤビューモニタ3に表示させる。
A case will be described in which the information amount reduction processing according to the present embodiment is independently performed to display only the icon M. More specifically, in step S14 of the flowchart shown in FIG. 10, the control unit 30B causes the feature point extraction unit 38B to extract the feature points in the
本実施形態の情報量低減処理と第一実施形態の情報量低減処理とを組み合わせて行い、情報量を低減させた表示映像データ120に、アイコンMを重畳させ表示させる場合について説明する。より詳しくは、制御部30Bは、図10に示すフローチャートのステップS14において、低減処理部37で、表示映像データ110の第二範囲110Bの情報量を低減させた表示映像データ120を生成させる。そして、制御部30Bは、特徴点抽出部38Bで、表示映像データ110の第二範囲110Bの特徴点を抽出させ表示映像データ130を生成させる。そして、制御部30Bは、物体認識部39Bで、特徴点を抽出させた表示映像データ130の第二範囲130Bの物体を認識させる。そして、制御部30Bは、物体認識部39Bで、図16に示すような、情報量を低減させた表示映像データ120の第二範囲120Bに、アイコンMを重畳させた表示映像データ210を生成させ表示制御部40Bに出力させる。表示映像データ210は、情報量が低減されていない第一範囲210Aと、色情報または輝度が低減され、アイコンMが重畳して表示された第二範囲210Bとを含む。そして、制御部30Bは、表示制御部40Bで、表示映像データ210をリヤビューモニタ3に表示させる。
A case will be described in which the information amount reduction processing according to the present embodiment and the information amount reduction processing according to the first embodiment are performed in combination, and the icon M is superimposed and displayed on the
本実施形態の情報量低減処理と第二実施形態の情報量低減処理とを組み合わせて行い、特徴点とアイコンMとを重畳させ表示させる場合について説明する。より詳しくは、制御部30Bは、図10に示すフローチャートのステップS14において、特徴点抽出部38Bで、表示映像データ110の第二範囲110Bの特徴点を抽出させ表示映像データ130を生成させる。そして、制御部30Bは、物体認識部39Bで表示映像データ130の第二範囲130Bの物体を認識させる。そして、制御部30Bは、物体認識部39Bで、図17に示すような、表示映像データ130の第二範囲130Bに、アイコンMを重畳させた表示映像データ220を生成させ表示制御部40Bに出力させる。表示映像データ220は、情報量が低減されていない第一範囲220Aと、特徴点とアイコンMとが重畳して表示された第二範囲220Bとを含む。そして、制御部30Bは、表示制御部40Bで、表示映像データ220をリヤビューモニタ3に表示させる。
A case will be described in which the information amount reduction processing of the present embodiment and the information amount reduction processing of the second embodiment are performed in combination, and the feature points and the icons M are displayed in a superimposed manner. More specifically, in step S14 of the flowchart shown in FIG. 10, the control unit 30B causes the feature point extraction unit 38B to extract the feature points in the
本実施形態の情報量低減処理と第一実施形態および第二実施形態の情報量低減処理とを組み合わせて行い、情報量を低減させた表示映像データ120に、特徴点とアイコンMとを重畳させ表示させてもよい。より詳しくは、制御部30Bは、図10に示すフローチャートのステップS14において、低減処理部37Bで、表示映像データ110の第二範囲110Bの情報量を低減させた表示映像データ120を生成させる。そして、制御部30Bは、特徴点抽出部38Bで、表示映像データ110の第二範囲110Bの特徴点を抽出させ表示映像データ130を生成させる。そして、制御部30Bは、物体認識部39Bで、表示映像データ130の第二範囲130Bの物体を認識させる。そして、制御部30Bは、物体認識部39Bで、図18に示すような、表示映像データ120と、表示映像データ130と、アイコンMとを重畳させた表示映像データ230を生成させ表示制御部40Bに出力させる。表示映像データ230は、情報量が低減されていない第一範囲230Aと、色情報または輝度が低減され、特徴点とアイコンMとが重畳して表示された第二範囲230Bとを含む。そして、制御部30Bは、表示制御部40Bで、表示映像データ230をリヤビューモニタ3に表示させる。
The information amount reduction process of this embodiment and the information amount reduction process of the first and second embodiments are performed in combination to superimpose the feature point and the icon M on the
上述したように、本実施形態によれば、車速が所定速度以上である場合、表示映像データ110の第二範囲110Bの物体がアイコンMで示された表示映像データ200または表示映像データ210または表示映像データ220または表示映像データ230がリヤビューモニタ3に表示される。これにより、車速が所定速度以上である場合、リヤビューモニタ3には、第二範囲200Bまたは第二範囲210Bまたは第二範囲220Bまたは第二範囲230BはアイコンMが表示された表示映像データ200または表示映像データ210または表示映像データ220または表示映像データ230が表示される。このため、本実施形態は、情報量を低減させた第二範囲200Bまたは第二範囲210Bまたは第二範囲220Bまたは第二範囲230Bの物体をより認識しやすく表示することができる。これにより、本実施形態は、色情報または輝度を低減させたとしても、被撮影物を認識させ易くすることができる。このように、本実施形態によれば、車速に応じて、運転者にとって適切な情報量を表示することができる。これにより、本実施形態によれば、車両周辺の確認を適切に行うことができる。
[第四実施形態]
図19ないし図23を参照しながら、本実施形態に係る車両用表示システムについて説明する。図19は、第四実施形態に係る車両用表示システムにおける第二範囲割合テーブルの一例を示す図である。図20は、第四実施形態に係る車両用表示システムにおける処理の流れを示すフローチャートである。図21は、第四実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図22は、第四実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。図23は、第四実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。
As described above, according to the present embodiment, when the vehicle speed is equal to or higher than the predetermined speed, the
[Fourth Embodiment]
The vehicle display system according to the present embodiment will be described with reference to FIGS. 19 to 23. FIG. 19 is a diagram showing an example of a second range ratio table in the vehicle display system according to the fourth embodiment. FIG. 20 is a flowchart showing the flow of processing in the vehicle display system according to the fourth embodiment. FIG. 21 is a diagram showing an example of an image displayed on the rear view monitor of the vehicle display system according to the fourth embodiment. FIG. 22 is a diagram showing another example of an image displayed on the rear view monitor of the vehicle display system according to the fourth embodiment. FIG. 23 is a diagram showing another example of an image displayed on the rear view monitor of the vehicle display system according to the fourth embodiment.
本実施形態の車両用表示システムは、制御部30における処理が第一実施形態の車両用表示システム1と異なる。その他の構成は、第一実施形態の車両用表示システム1と同様である。
The vehicle display system of this embodiment is different from the
範囲設定部35は、車速に応じて、表示映像データ110の第一範囲110Aと第二範囲110Bとを設定する。範囲設定部35は、情報取得部34が取得した車速情報に基づき、車速が低いほど第一範囲110Aを広く設定する。例えば、範囲設定部35は、あらかじめ記憶部20に記憶した第二範囲割合テーブルに基づいて、第二範囲110Bの割合を設定してもよい。
The
第二範囲割合テーブルは、車速と第二範囲110Bの割合との関係を示す。本実施形態では、第二範囲110Bの割合は、表示映像データ110の第二範囲110Bの車幅方向の幅が0mmの場合を0%、車幅方向の幅が100mmの場合を100%とする。第二範囲110Bが小さくなるにつれて、第一範囲110Aは、車幅方向の外側に広がる。より詳しくは、第二範囲110Bの割合が0%の場合、第一範囲110Aは、車幅方向の幅が400mmとなる。第二範囲110Bの割合が100%の場合、第一範囲110Aは、車幅方向の幅が200mmとなる。
The second range ratio table shows the relationship between the vehicle speed and the ratio of the
図19を用いて、第二範囲割合テーブルの一例を説明する。図19に示す第二範囲割合テーブルには、例1と例2との2パターンの車速と第二範囲110Bの割合とが線形に変化する関係が定義されている。より詳しくは、例1のパターンでは、車速が0km/hと60km/hとの間は、第二範囲110Bの割合が0%と100%との間で線形に変化し、車速が60km/h以上では、第二範囲110Bの割合が100%で一定となる。例2のパターンでは、車速が20km/hと80km/hとの間は、第二範囲110Bの割合が0%と100%との間で線形に変化し、車速が80km/h以上では、第二範囲110Bの割合が100%で一定となる。
An example of the second range ratio table will be described with reference to FIG. The second range ratio table shown in FIG. 19 defines a relationship in which the vehicle speed of two patterns of Example 1 and Example 2 and the ratio of the
第二範囲割合テーブルは、車速と第二範囲110Bの割合とが階段状に変化してもよい。または、第二範囲割合テーブルは、車速と第二範囲110Bの割合とが非線形に変化してもよい。
In the second range ratio table, the vehicle speed and the ratio of the
範囲設定部35は、例えば、車両の走行状況や運転者の特性などに応じて、図19に示す第二範囲割合テーブルの例1のパターンまたは例2のパターンを選択し、選択したパターンの車速と第二範囲110Bの割合との関係に基づいて、車速に応じて、第一範囲110Aと第二範囲110Bとを設定する。
The
範囲設定部35は、減速時と加速時とで、第二範囲110Bの割合の変化を変えてもよい。例えば、範囲設定部35は、減速時は、図19に示す第二範囲割合テーブルの例1のパターンを選択し、加速時は、図19に示す第二範囲割合テーブルの例2のパターンを選択し、車速に応じて、第一範囲110Aと第二範囲110Bとを設定するものとしてもよい。
The
図20を用いて、制御部30による処理の流れについて説明する。
The flow of processing by the
制御部30は、映像データ取得部32で、撮影映像データ100を取得させる(ステップS21)。ステップS21は、ステップS11と同様の処理を行う。
The
制御部30は、切出部33で、切出し処理を行わせる(ステップS22)。ステップS22は、ステップS12と同様の処理を行う。
The
制御部30は、範囲設定部35で、車速に応じて表示映像データ110の第一範囲110Aと第二範囲110Bとを設定させる(ステップS23)。より詳しくは、制御部30は、範囲設定部35で、第二範囲割合テーブルと情報取得部34が取得した情報とに基づいて、車速に対応する第二範囲110Bの割合を取得させる。そして、制御部30は、範囲設定部35で、表示映像データ110の第二範囲110Bを取得した第二範囲110Bの割合に設定させる。
The
制御部30は、映像処理部36で、表示映像データ110の第二範囲110Bの情報量低減処理を行わせる(ステップS24)。ステップS24は、ステップS14と同様の処理を行う。
The
制御部30は、表示制御部40で、表示映像データ110をリヤビューモニタ3に表示させる(ステップS25)。ステップS25は、ステップS15と同様の処理を行う。
The
具体的に、範囲設定部35において、車速に応じて、表示映像データ110の第一範囲110Aと第二範囲110Bとを設定する際に、図19に示す第二範囲割合テーブルの例1のパターンを使用する場合について説明する。
Specifically, when the
例えば、車速が0km/hの場合、ステップS23において、制御部30は、範囲設定部35で、表示映像データ110の第二範囲110Bの割合を0%と設定させる。そして、ステップS25において、制御部30は、表示制御部40で、図21に示すような表示映像データ300をリヤビューモニタ3に表示させる。これにより、リヤビューモニタ3には、第二範囲を含まず、第一範囲300Aだけを含む表示映像データ300が表示されている。言い換えると、リヤビューモニタ3に表示された表示映像データ300は、情報量が低減されていない。
For example, when the vehicle speed is 0 km / h, in step S23, the
例えば、車速が40km/hの場合、ステップS23において、制御部30は、範囲設定部35で、表示映像データ110の第二範囲110Bの割合を60%と設定させる。そして、ステップS24において、制御部30は、低減処理部37で、割合が60%と設定された第二範囲110Bの情報量低減処理を行わせる。そして、ステップS25において、制御部30は、制御部30は表示制御部40で、図22に示すような表示映像データ310をリヤビューモニタ3に表示させる。これにより、リヤビューモニタ3には、従来の光学式のルームミラーRより広い第一範囲310Aと、割合が60%と設定された第二範囲310Bとを含む表示映像データ310が表示されている。
For example, when the vehicle speed is 40 km / h, in step S23, the
例えば、車速が80km/hの場合、ステップS23において、制御部30は、範囲設定部35で、表示映像データ110の第二範囲110Bの割合を100%に設定させる。そして、ステップS24において、制御部30は、低減処理部37で、割合が100%と設定された第二範囲110Bの情報量低減処理を行わせる。そして、ステップS25において、制御部30は、表示制御部40で、図23に示すような表示映像データ320をリヤビューモニタ3に表示させる。これにより、リヤビューモニタ3には、従来の光学式のルームミラーRと同じ幅の第一範囲320Aと、割合が100%と設定された第二範囲320Bとを含む表示映像データ320が表示されている。
For example, when the vehicle speed is 80 km / h, in step S23, the
上述したように、本実施形態は、車速に応じて表示映像データ110の第二範囲110Bの割合を変化させて設定する。そして、割合が設定された第二範囲110Bの情報量を低減させた表示映像データ310または表示映像データ320をリヤビューモニタ3に表示させる。本実施形態では、車速が速くなるにつれて、第二範囲110Bの割合が拡大される。そして、車速が0km/hの場合、リヤビューモニタ3には、第一範囲300Aだけで構成された表示映像データ300が表示される。車速が0km/hより速い場合、リヤビューモニタ3には、第二範囲310Bまたは第二範囲320Bについては情報量が低減された表示映像データ310または表示映像データ320が表示される。このため、リヤビューモニタ3には、車速に応じて、運転者が容易に認識できる情報量の表示映像データ300または表示映像データ310または表示映像データ320が表示される。このように、本実施形態によれば、車速に応じて、運転者が認識し判断するのに、適切な情報量を運転者に提供することができる。このようにして、本実施形態によれば、運転者が得られる情報量が多くなり過ぎることを抑制するので、運転者の負担を軽減することができる。本実施形態によれば、運転者は、車両周辺の確認を適切に行うことができる。
[第五実施形態]
図24ないし図28を参照しながら、本実施形態に係る車両用表示システムについて説明する。図24は、第五実施形態に係る車両用表示システムにおける低減率テーブルの一例を示す図である。図25は、第五実施形態に係る車両用表示システムにおける処理の流れを示すフローチャートである。図26は、第五実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。図27は、第五実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。図28は、第五実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。
As described above, in the present embodiment, the ratio of the
[Fifth Embodiment]
The vehicle display system according to the present embodiment will be described with reference to FIGS. 24 to 28. FIG. 24 is a diagram showing an example of a reduction rate table in the vehicle display system according to the fifth embodiment. FIG. 25 is a flowchart showing the flow of processing in the vehicle display system according to the fifth embodiment. FIG. 26 is a diagram showing an example of an image displayed on the rear view monitor of the vehicle display system according to the fifth embodiment. FIG. 27 is a diagram showing another example of an image displayed on the rear view monitor of the vehicle display system according to the fifth embodiment. FIG. 28 is a diagram showing another example of an image displayed on the rear view monitor of the vehicle display system according to the fifth embodiment.
本実施形態の車両用表示システムは、制御部30における処理が第四実施形態の車両用表示システムと異なる。その他の構成は、第四実施形態の車両用表示システムと同様である。
The vehicle display system of this embodiment is different from the vehicle display system of the fourth embodiment in the processing in the
低減処理部37は、第一実施形態の情報量低減処理を行う際に、車速に応じて、表示映像データ110の第二範囲110Bにおける情報量の低減率を設定する。低減処理部37は、情報取得部34が取得した車速情報に基づき、車速が速いほど第二範囲110Bの映像データに対する情報量低減の度合いを増加させた情報量低減処理を行う。低減処理部37は、あらかじめ記憶部20に記憶した低減率テーブルに基づいて、第二範囲110Bの情報量の低減率を設定してもよい。
The reduction processing unit 37 sets the reduction rate of the information amount in the
低減率テーブルは、車速と第二範囲110Bの情報量の低減率との関係を示す。第二範囲110Bの情報量の低減率は、本実施形態では、情報量を低減しない場合を0%、情報量をゼロで非表示とした場合を100%とする。
The reduction rate table shows the relationship between the vehicle speed and the reduction rate of the information amount in the
図24を用いて、低減率テーブルの一例を説明する。図24に示す低減率テーブルには、例1と例2との2パターンの車速と第二範囲110Bの情報量の低減率とが線形に変化する関係、および例3として階段状に変化する関係などが定義されている。より詳しくは、例1のパターンでは、車速が0km/hと60km/hとの間は、第二範囲110Bの情報量の低減率が0%と100%との間で線形に変化し、車速が60km/h以上では、第二範囲110Bの情報量の低減率が100%で一定となる。例2のパターンでは、車速が20km/hと80km/hとの間は、第二範囲110Bの情報量の低減率が0%と100%との間で線形に変化し、車速が80km/h以上では、第二範囲110Bの情報量の低減率が100%で一定となる。例3のパターンでは、車速が0km/hと30km/hとの間は、第二範囲110Bの情報量の低減率を0%とし、車速が30km/hと80km/hとの間は、第二範囲110Bの情報量の低減率を50%とし、車速が80km/h以上では、第二範囲110Bの情報量の低減率が100%で一定となる。
An example of the reduction rate table will be described with reference to FIG. In the reduction rate table shown in FIG. 24, the relationship in which the vehicle speed of two patterns of Example 1 and Example 2 and the reduction rate of the information amount in the
低減率テーブルは、車速と第二範囲110Bの情報量の低減率とが階段状に変化してもよい。または、低減率テーブルは、車速と第二範囲110Bの情報量の低減率とが非線形に変化してもよい。
In the reduction rate table, the vehicle speed and the reduction rate of the information amount in the
低減処理部37は、例えば、車両の走行状況や運転者の特性などに応じて、図24に示す低減率テーブルの例1のパターンまたは例2のパターンを選択し、選択したパターンの車速と第二範囲110Bの情報量の低減率との関係に基づいて、車速に応じて、第二範囲110Bにおける情報量の低減率を設定する。
The reduction processing unit 37 selects the pattern of Example 1 or the pattern of Example 2 of the reduction rate table shown in FIG. 24, for example, according to the traveling state of the vehicle, the characteristics of the driver, and the like, and the vehicle speed and the first The reduction rate of the information amount in the
低減処理部37は、減速時と加速時とで、第二範囲110Bにおける情報量の低減率の変化のさせ方を変えてもよい。例えば、低減処理部37は、減速時は、図24に示す低減率テーブルの例1のパターンを選択し、加速時は、図24に示す低減率テーブルの例2のパターンを選択し、車速に応じて、第二範囲110Bにおける情報量の低減率を設定するものとしてもよい。
The reduction processing unit 37 may change the method of changing the reduction rate of the information amount in the
低減処理部37は、例えば、車両の走行状況や運転者の特性などに応じて、図24に示す低減率テーブルの例1のパターンまたは例2のパターンを選択し、選択したパターンの車速と第二範囲110Bの情報量の低減率との関係に基づいて、車速に応じて、第二範囲110Bにおける情報量の低減率を設定する。そして、低減処理部37は、第一実施形態の情報量低減処理と同様の処理を行う。
The reduction processing unit 37 selects the pattern of Example 1 or the pattern of Example 2 of the reduction rate table shown in FIG. 24, for example, according to the traveling state of the vehicle, the characteristics of the driver, and the like, and the vehicle speed and the first The reduction rate of the information amount in the
図25を用いて、制御部30による処理の流れについて説明する。図25の例は、車速と第二範囲110Bの情報量の低減率とが、高速時、中速時、低速時と階段状に変化させる場合の処理例であるが、図24に示すように線形に変化させる場合であっても同様の処理である。
The flow of processing by the
制御部30は、映像データ取得部32で、撮影映像データ100を取得させる(ステップS31)。ステップS31は、ステップS21と同様の処理を行う。
The
制御部30は、切出部33で、切出し処理を行わせる(ステップS32)。ステップS32は、ステップS22と同様の処理を行う。
The
制御部30は、範囲設定部35で、車速に応じて表示映像データ110の第一範囲110Aと第二範囲110Bとを設定させる(ステップS33)。ステップS33は、ステップS23と同様の処理を行う。
The
制御部30は、映像処理部36で、車速が高速であるか否かを判定させる(ステップS34)。本実施形態において、高速とは、例えば、80km/h以上である。
The
制御部30は、映像処理部36で、車速が高速であると判定した場合(ステップS34でYes)、ステップS35に進む。
When the video processing unit 36 determines that the vehicle speed is high (Yes in step S34), the
制御部30は、映像処理部36で、車速が高速ではないと判定した場合(ステップS34でNo)、ステップS36に進む。
If the video processing unit 36 determines that the vehicle speed is not high (No in step S34), the
制御部30は、低減処理部37で、高速時の、表示映像データ110の第二範囲110Bの情報量低減処理を行わせる(ステップS35)。より詳しくは、制御部30は、低減処理部37で、高速の場合の第二範囲110Bにおける情報量の低減率を設定させる。そして、制御部30は、低減処理部37で、表示映像データ110の第二範囲110Bの情報量を設定された低減率だけ低減させる。
The
制御部30は、映像処理部36で、車速が中速であるか否かを判定させる(ステップS36)。本実施形態において、中速とは、例えば、30km/h以上80km/h未満である。
The
制御部30は、映像処理部36で、車速が中速であると判定した場合(ステップS36でYes)、ステップS37に進む。
When the video processing unit 36 determines that the vehicle speed is medium speed (Yes in step S36), the
制御部30は、映像処理部36で、車速が中速ではないと判定した場合(ステップS36でNo)、ステップS38に進む。
When the image processing unit 36 determines that the vehicle speed is not the medium speed (No in step S36), the
制御部30は、低減処理部37で、中速時の、表示映像データ110の第二範囲110Bの情報量低減処理を行わせる(ステップS37)。より詳しくは、制御部30は、低減処理部37で、記憶部20に記憶された車速と第二範囲110Bの情報量の低減率との関係に基づいて、中速の場合の第二範囲110Bにおける情報量の低減率を設定させる。そして、制御部30は、低減処理部37で、表示映像データ110の第二範囲110Bの情報量を設定された低減率だけ低減させる。
The
制御部30は、低減処理部37で、低速時の、表示映像データ110の第二範囲110Bの情報量低減処理を行わせる(ステップS38)。より詳しくは、制御部30は、低減処理部37で、記憶部20に記憶された車速と第二範囲110Bの情報量の低減率との関係に基づいて、低速の場合の第二範囲110Bにおける情報量の低減率を設定させる。そして、制御部30は、低減処理部37で、表示映像データ110の第二範囲110Bの情報量を設定された低減率だけ低減させる。
The
制御部30は、表示制御部40で、表示映像データ110をリヤビューモニタ3に表示させる(ステップS39)。ステップS39は、ステップS25と同様の処理を行う。
The
具体的に、低減処理部37において、車速に応じて、表示映像データ110の第二範囲110Bにおける情報量の低減率を設定する際に、図24に示す低減率テーブルの例1のパターンを使用する場合について説明する。
Specifically, the reduction processing unit 37 uses the pattern of Example 1 of the reduction rate table shown in FIG. 24 when setting the reduction rate of the information amount in the
例えば、車速が0km/hの場合、ステップS38において、制御部30は、低減処理部37で、第二範囲110Bの情報量の低減率が0%に設定される。そして、制御部30は、低減処理部37で、図26に示すように、第二範囲110Bの情報量を0%低減させる。言い換えると、第二範囲110Bは、情報量が低減されない。そして、ステップS39において、制御部30は、表示制御部40で、表示映像データ400をリヤビューモニタ3に表示させる。表示映像データ400は、第一範囲400Aおよび第二範囲400Bともに情報量が低減されていない。
For example, when the vehicle speed is 0 km / h, in step S38, the
例えば、車速が40km/hの場合、ステップS37において、低減処理部で、第二範囲110Bの情報量の低減率が50%に設定される。そして、制御部30は、低減処理部37で、図27に示すように、第二範囲110Bの情報量を50%低減させる。そして、制御部30は、表示制御部40で、表示映像データ410をリヤビューモニタ3に表示させる。表示映像データ410は、情報量が低減されていない第一範囲410Aと、情報量が50%低減された第二範囲410Bとを含む。
For example, when the vehicle speed is 40 km / h, in step S37, the reduction processing unit sets the reduction rate of the information amount in the
例えば、車速が80km/hの場合、ステップS35において、低減処理部37で、第二範囲110Bの情報量の低減率が100%に設定される。そして、制御部30は、低減処理部37で、図28に示すように、第二範囲110Bの情報量を100%低減させる。そして、制御部30は、表示制御部40で、表示映像データ420をリヤビューモニタ3に表示させる。表示映像データ420は、情報量が低減されていない第一範囲420Aと、情報量が100%低減され、情報量がゼロで非表示の第二範囲420Bとを含む。
For example, when the vehicle speed is 80 km / h, in step S35, the reduction processing unit 37 sets the reduction rate of the information amount in the
上述したように、本実施形態は、車速に応じて表示映像データ110の第二範囲110Bの情報量の低減率を変化させる。そして、設定された情報量の低減率に応じて、第二範囲110Bの情報量低減処理を行い、表示映像データ400または表示映像データ410または表示映像データ420がリヤビューモニタ3に表示される。本実施形態では、車速が速くなるにつれて、情報量の低減率が拡大される。このため、リヤビューモニタ3には、運転者が容易に認識できる情報量の表示映像データ400または表示映像データ410または表示映像データ420が表示される。このように、本実施形態によれば、車速に応じて、運転者が認識し判断するのに、適切な情報量を運転者に提供することができる。このようにして、本実施形態によれば、運転者が得られる情報量が多くなり過ぎることを抑制するので、運転者の負担を軽減することができる。本実施形態によれば、運転者は、車両周辺の確認を適切に行うことができる。
As described above, the present embodiment changes the reduction rate of the information amount of the
図示した車両用表示システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
The constituent elements of the
車両用表示システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
The configuration of the
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily conceived by those skilled in the art and those that are substantially the same. Furthermore, the configurations described above can be appropriately combined. In addition, various omissions, substitutions, or changes in the configuration are possible without departing from the scope of the present invention.
1 車両用表示システム
10 車両用表示制御装置
30 制御部
31 表示映像データ生成部
32 映像データ取得部
33 切出部
34 情報取得部
35 範囲設定部
36 映像処理部
37 低減処理部
40 表示制御部
2 後方カメラ
3 リヤビューモニタ(表示装置)
100 撮影映像データ
110 表示映像データ
110A 第一範囲
110B 第二範囲
DESCRIPTION OF
100 photographed
Claims (7)
前記表示映像データに対して、第一範囲と、前記第一範囲の両側のそれぞれに配置され、前記表示映像データの両側部に位置する第二範囲とを設定する範囲設定部と、
前期範囲設定部で範囲が設定された前期第二範囲の映像データに対して、特徴点を抽出するとともに、運転者が得られる情報量を低減する情報量低減処理として、前記第二範囲の映像データに重畳または置き換えて特徴点を表示する処理を行う映像処理部と、
前記第二範囲に対して前記情報量低減処理を行った前記表示映像データを、前記表示装置に表示させる表示制御部と
を備えることを特徴とする車両用表示制御装置。 A display video data generation unit that acquires captured video data from a rear camera that captures the rear of the vehicle and generates display video data to be displayed on a display device that displays the rear video of the vehicle,
With respect to the display video data, a first range, and a range setting unit arranged on each of both sides of the first range and setting a second range located on both sides of the display video data,
The image of the second range is used as information amount reduction processing for extracting feature points from the image data of the second range of the previous period whose range has been set by the range setting unit of the previous period and reducing the amount of information that the driver can obtain. A video processing unit that performs processing of displaying characteristic points by superimposing or replacing the data,
A display control unit for causing the display device to display the display video data obtained by performing the information amount reduction processing on the second range.
前記映像処理部は、前記第二範囲の映像データに対する前記情報量低減処理として、前記第二範囲の映像データに重畳または置き換えて、認識した車両を示すアイコンを表示する処理を行う請求項1に記載の車両用表示制御装置。 When the image processing unit recognizes a vehicle as a feature point from the image data of the second range,
The image processing unit performs a process of displaying an icon indicating a recognized vehicle by superimposing or replacing the image data of the second range as the information amount reduction process on the image data of the second range. The display control device for a vehicle described.
前記映像処理部は、前記情報取得部が取得した車速情報が所定速度以上の車速を示しているときに、前記第二範囲の映像データに対して前記情報量低減処理を行う請求項1または2に記載の車両用表示制御装置。 An information acquisition unit for acquiring vehicle speed information of the vehicle,
The image processing unit performs the information amount reduction process on the image data in the second range when the vehicle speed information acquired by the information acquisition unit indicates a vehicle speed equal to or higher than a predetermined speed. The display control device for a vehicle according to item 1.
少なくとも前記第一範囲および前記第二範囲を表示可能な表示幅を備える前記表示装置、前記後方カメラのうち少なくともいずれかとを備える車両用表示システム。 A vehicle display control device according to any one of claims 1 to 4,
A vehicle display system comprising at least one of the display device having a display width capable of displaying at least the first range and the second range, and the rear camera.
前記表示映像データの第一範囲の両側のそれぞれに配置され、前記表示映像データの両側部に位置する第二範囲の映像データに対して、特徴点を抽出するとともに、運転者が得られる情報の量を低減する情報量低減処理として、前記第二範囲の映像データに重畳または置き換えて特徴点を表示する処理を行う映像処理ステップと、
前記第二範囲に対して前記情報量低減処理を行った前記表示映像データを、前記表示装置に表示させる表示制御ステップと
を含むことを特徴とする、車両用表示制御方法。 A display image data generation step of obtaining image data captured from a rear camera that captures the rear of the vehicle and generating display image data to be displayed on a display device that displays the rear image of the vehicle;
The feature points are extracted from the video data of the second range, which is arranged on both sides of the first range of the display video data and is located on both sides of the display video data, and the information of information obtained by the driver is obtained. As an information amount reduction process for reducing the amount, a video processing step of performing a process of displaying feature points by superimposing or replacing the video data in the second range,
A display control step of causing the display device to display the display video data obtained by performing the information amount reduction processing on the second range.
前記表示映像データの第一範囲の両側のそれぞれに配置され、前記表示映像データの両側部に位置する第二範囲の映像データに対して、特徴点を抽出するとともに、運転者が得られる情報の量を低減する情報量低減処理として、前記第二範囲の映像データに重畳または置き換えて特徴点を表示する処理を行う映像処理ステップと、
前記第二範囲に対して前記情報量低減処理を行った前記表示映像データを、前記表示装置に表示させる表示制御ステップと
を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。
A display image data generation step of obtaining image data captured from a rear camera that captures the rear of the vehicle and generating display image data to be displayed on a display device that displays the rear image of the vehicle;
The feature points are extracted from the video data of the second range, which is arranged on both sides of the first range of the display video data and is located on both sides of the display video data, and the information of information obtained by the driver is obtained. As an information amount reduction process for reducing the amount, a video processing step of performing a process of displaying feature points by superimposing or replacing the video data in the second range,
A display control step of displaying the display video data, which has been subjected to the information amount reduction processing on the second range, on the display device, a program for causing a computer operating as a vehicle display control device to execute the display control step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016188A JP6856149B2 (en) | 2020-02-03 | 2020-02-03 | Vehicle display control device, vehicle display system, vehicle display control method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016188A JP6856149B2 (en) | 2020-02-03 | 2020-02-03 | Vehicle display control device, vehicle display system, vehicle display control method and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016089784A Division JP6658270B2 (en) | 2016-04-27 | 2016-04-27 | VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY SYSTEM, VEHICLE DISPLAY CONTROL METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020078084A true JP2020078084A (en) | 2020-05-21 |
JP6856149B2 JP6856149B2 (en) | 2021-04-07 |
Family
ID=70724541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020016188A Active JP6856149B2 (en) | 2020-02-03 | 2020-02-03 | Vehicle display control device, vehicle display system, vehicle display control method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6856149B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008094292A (en) * | 2006-10-13 | 2008-04-24 | Nissan Motor Co Ltd | Vehicle display device and information display method |
JP2010095086A (en) * | 2008-10-15 | 2010-04-30 | Nissan Motor Co Ltd | Vehicular display device and display method |
JP2012212338A (en) * | 2011-03-31 | 2012-11-01 | Honda Motor Co Ltd | Image processing determination device |
WO2014129026A1 (en) * | 2013-02-21 | 2014-08-28 | 本田技研工業株式会社 | Driving assistance device and image processing program |
-
2020
- 2020-02-03 JP JP2020016188A patent/JP6856149B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008094292A (en) * | 2006-10-13 | 2008-04-24 | Nissan Motor Co Ltd | Vehicle display device and information display method |
JP2010095086A (en) * | 2008-10-15 | 2010-04-30 | Nissan Motor Co Ltd | Vehicular display device and display method |
JP2012212338A (en) * | 2011-03-31 | 2012-11-01 | Honda Motor Co Ltd | Image processing determination device |
WO2014129026A1 (en) * | 2013-02-21 | 2014-08-28 | 本田技研工業株式会社 | Driving assistance device and image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP6856149B2 (en) | 2021-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5689872B2 (en) | Vehicle periphery monitoring device | |
US9123179B2 (en) | Surrounding image display system and surrounding image display method for vehicle | |
US20170113612A1 (en) | Vehicle display device | |
US20190082123A1 (en) | Display control apparatus, method, program, and system | |
WO2018047400A1 (en) | Vehicle display control device, vehicle display system, vehicle display control method, and program | |
JP7077616B2 (en) | Display control device and display control method | |
US20180249066A1 (en) | In-vehicle display control device, in-vehicle display system, in-vehicle display control method, and program | |
JP2014109958A (en) | Photographed image display device, and photographed image display method | |
JP2018121287A (en) | Display control apparatus for vehicle, display system for vehicle, display control method for vehicle, and program | |
JP6658270B2 (en) | VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY SYSTEM, VEHICLE DISPLAY CONTROL METHOD, AND PROGRAM | |
US20220242433A1 (en) | Saliency-based presentation of objects in an image | |
US20190275956A1 (en) | Display control device, vehicle surroundings display system and recording medium | |
JP2018013386A (en) | Display control unit for vehicle, display system for vehicle, display control method for vehicle, and program | |
JP6856149B2 (en) | Vehicle display control device, vehicle display system, vehicle display control method and program | |
JP6766433B2 (en) | Vehicle display control device, vehicle display system, vehicle display control method and program | |
US20230137121A1 (en) | Vehicle display control device | |
US10650562B2 (en) | Display control device | |
JP2021024402A (en) | Display control device for vehicle and display system for vehicle | |
JP6658329B2 (en) | VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY SYSTEM, VEHICLE DISPLAY CONTROL METHOD, AND PROGRAM | |
JP2019036924A (en) | Electronic mirror system | |
US11124128B2 (en) | Vehicle periphery display system, display control device, and recording medium | |
WO2022190166A1 (en) | Image processing device, image processing method, and image processing program | |
JP6754993B2 (en) | In-vehicle image display device, in-vehicle image display method, and program | |
JP2017200035A (en) | Vehicle display control device, vehicle display system, vehicle display control method, and program | |
CN114167613A (en) | Control method, device and equipment of head-up display and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6856149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |