JP2016195301A - 画像処理装置、および、電子ミラーシステム - Google Patents

画像処理装置、および、電子ミラーシステム Download PDF

Info

Publication number
JP2016195301A
JP2016195301A JP2015073528A JP2015073528A JP2016195301A JP 2016195301 A JP2016195301 A JP 2016195301A JP 2015073528 A JP2015073528 A JP 2015073528A JP 2015073528 A JP2015073528 A JP 2015073528A JP 2016195301 A JP2016195301 A JP 2016195301A
Authority
JP
Japan
Prior art keywords
image
display target
target range
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015073528A
Other languages
English (en)
Inventor
輝光 末永
Terumitsu Suenaga
輝光 末永
隆 大河平
Takashi Ogahira
隆 大河平
元信 内村
Motonobu Uchimura
元信 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015073528A priority Critical patent/JP2016195301A/ja
Priority to US15/549,664 priority patent/US20180037165A1/en
Priority to PCT/JP2016/001423 priority patent/WO2016157766A1/ja
Publication of JP2016195301A publication Critical patent/JP2016195301A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Abstract

【課題】運転手が距離感を掴みやすくするとともに、運転手が後方確認を行う場合により多くの情報を提示して安全運転に寄与すること。【解決手段】撮像部５が撮像する車両の後方画像に対して画像処理を行い、画像処理の結果得られた画像を表示部８２に出力する画像処理装置８５であって、物体検知部８５ａが、車両の後方の所定範囲内に物体が接近したことを検知し、圧縮部８５ｄが、物体検知部８５ａにより物体が車両の後方の所定範囲内に接近したことが検知された場合に、後方画像中の表示対象範囲の一部を圧縮した圧縮画像を生成し、表示対象範囲は、物体の接近が検知された場合に、物体が所定範囲外にある場合の第１の表示対象範囲の下端を下方に移動させた第２の表示対象範囲とされ、圧縮部８５ｄが、第２の表示対象範囲にある後方画像の一部を上下方向に圧縮する。【選択図】図３

Description

本発明は、車両に設けられる画像処理装置、および、電子ミラーシステムに関する。
近年、車両には、後続車などを確認することができるように、車両の後方の画像を撮影し、撮影した画像を表示する装置を備えたものがある。
このような装置の一例として、特許文献１には、車両の天井に設けられた開閉収納式の後席用ディスプレイが開状態にあるとき、後席用ディスプレイの一部が車両前方に設けられたインサイドミラーに映り込むことを防止する後方確認装置が開示されている。
この後方確認装置では、インサイドミラーのミラー面にマジックミラーを用い、その背面にカメラが撮影した後方画像を表示する液晶ディスプレイが配置される。そして、後席用ディスプレイがインサイドミラーに一部映り込む角度で開いている場合に、車室の後端部に設置されたカメラが撮影した後方画像を液晶ディスプレイに表示させ、後方画像がマジックミラーを透過して見えるようにする。
特許第３９８５３３３号公報
しかしながら、上述した特許文献１の従来技術では、カメラがインサイドミラーから離れた車室の後端に設置されるため、単にカメラで撮影した画像を液晶ディスプレイに表示させると後続車が大きく表示され、運転手が距離感を掴みにくいと感じる場合がある。
また、自車に後続車が近づきすぎると方向指示器が見えなくなるが、これを改善し、運転手がより安全に運転できるよう運転手により多くの情報を提供したいという要望もある。
本発明は、このような課題を解決するためになされたものであり、運転手が距離感を掴みやすくするとともに、後方確認を行う運転手により多くの情報を提示して安全運転に寄与することができる画像処理装置、および、電子ミラーシステムを提供することを目的とする。
本発明の画像処理装置は、撮像部が撮像する車両の後方画像に対して画像処理を行い、画像処理の結果得られた画像を表示部に出力する画像処理装置であって、車両の後方の所定範囲内に物体が接近したことを検知する物体検知部と、物体検知部により物体が車両の後方の所定範囲内に接近したことが検知された場合に、後方画像中の表示対象範囲の一部を圧縮した圧縮画像を生成する圧縮部と、を備え、表示対象範囲は、物体の接近が検知された場合に、物体が所定範囲外にある場合の第１の表示対象範囲の下端を下方に移動させた第２の表示対象範囲とされ、圧縮部は、第２の表示対象範囲にある後方画像の一部を上下方向に圧縮する。
本発明の画像処理装置は、上記画像処理装置と、上記表示部と、上記撮像部と、車両と物体との間の距離を示す信号を出力する測距センサとを備え、物体検知部は、測距センサから出力された信号に基づいて車両の後方の所定範囲内に物体が接近したことを検知する。
本発明によれば、運転手が距離感を掴みやすくするとともに、後方確認を行う運転手により多くの情報を提示して安全運転に寄与することができる。
本実施の形態１に係る電子ミラーシステムを搭載した車両の一例を示す図 図１に示した画像表示装置の構成の一例を示す図 本実施の形態１に係る画像処理装置の機能構成の一例を示すブロック図 図３に示した物体検知部による距離の判定処理について説明するための図 第１の表示対象範囲の一例を示す図 撮像部が撮像した後方画像に対して行われる画像処理の一例を示す図 画像処理の結果得られる表示画像の一例を示す図 本実施の形態１に係る画像処理の処理手順の一例を示すフローチャート 本実施の形態２に係る画像処理装置の機能構成の一例を示すブロック図 本実施の形態２に係る画像処理の処理手順の一例を示すフローチャート 撮像部が撮像した後方画像に対して行われる画像処理の一例を示す図 画像処理の結果得られる表示画像の一例を示す図 本実施の形態３に係る画像処理の処理手順の一例を示すフローチャート 本実施の形態４に係る画像処理の処理手順の一例を示すフローチャート
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。
（実施の形態１）
図１は、本実施の形態１に係る電子ミラーシステムを搭載した車両１の一例を示す図である。車両１の内部２の前方には前席（運転席と助手席）３が配置され、後方には後席４が配置されている。
また、後席４の後方には、車両１の後方を撮像する撮像部５、および、車両１から車両１の後方に接近する後続車などの物体までの距離を検出し、その距離を示す信号を出力する測距センサ６が設置されている。なお、以下の説明では、車両１の後方に接近する物体が後続車であるものとする。
さらに、前席３の前方のルームミラーの取り付け位置において、取付部７に対して取付角度を調整可能に画像表示装置８が取り付けられている。画像表示装置８は、撮像部５で撮像された車両１の後方画像などを表示する装置である。なお、画像表示装置８は、撮像部５、測距センサ６との間で、有線通信、または、無線通信を行う。画像表示装置８、撮像部５、測距センサ６は、電子ミラーシステムを構成する。
図２は、図１に示した画像表示装置８の構成の一例を示す図である。図２に示すように、画像表示装置８は、前席３側に開口部を有する本体ケース８１と、本体ケース８１に表示面が前席３側となるように収容された液晶ディスプレイなどの表示部８２と、表示部８２の前席３側に設けられた調光フィルタ８３と、表示部８２をＯＮ状態、または、ＯＦＦ状態にする操作部８４と、画像処理装置８５と、を備えている。
調光フィルタ８３は、電圧を印加することによりその透過率と反射率とを可変に制御することができ、少なくとも光反射状態と光透過状態との２つの状態を実現可能なデバイスである。このような調光フィルタは、例えば特開２０１２−１８１３８９号公報等に詳細に記載されている。
操作部８４の操作によって表示部８２がＯＦＦ状態にされると、画像表示装置８は、調光フィルタ８３を反射率５０％以上（好ましくは反射率８０％以上）の光反射状態にする。この状態では、調光フィルタ８３は、ミラーとしての役割を果たす。これにより、運転手は、調光フィルタ８３に映った像により後方を確認することができる。
一方、操作部８４の操作によって表示部８２がＯＮ状態にされると、画像表示装置８は、調光フィルタ８３を透過率５０％以上（好ましくは透過率８０％以上）の光透過状態にする。この状態では、調光フィルタ８３は、表示部８２に表示された画像を透過する。このとき、運転手は、表示部８２に表示された車両１の後方画像により後方を確認することができる。
なお、調光フィルタ８３に代えて、ハーフミラーを用いても良い。表示部８２がＯＮ状態のとき、運転手は、表示部８２に表示される後方画像をハーフミラー越しに確認することができる。一方、表示部８２がＯＦＦ状態のとき、運転手は、ハーフミラーに映った像により後方を確認することができる。また、調光フィルタ、ハーフミラーの何れも設けず、後方確認する際は常時表示部８２をＯＮ状態にする電子ミラーシステムに本発明を適用することとしてもよい。
画像処理装置８５は、撮像部５が撮像する車両１の後方画像に対して画像処理を行い、画像処理の結果得られた画像を表示部８２に出力する装置である。次に、この画像処理装置８５の構成の一例について説明する。
図３は、本実施の形態１に係る画像処理装置８５の機能構成の一例を示すブロック図である。画像処理装置８５は、例えばＬＳＩ回路として、または、車両１を制御する電子制御ユニット（Electronic Control Unit ：ＥＣＵ）の一部として実現可能である。
画像処理装置８５は、物体検知部８５ａ、消失点算出部８５ｂ、画像切り出し部８５ｃ、圧縮部８５ｄ、描画部８５ｅ、制御部８５ｆ、を有する。
物体検知部８５ａは、測距センサ６から出力された距離の検出結果を示す信号に基づいて、車両１の後方の所定範囲内に後続車が接近したことを検知する。
図４は、図３に示した物体検知部８５ａによる距離の判定処理について説明するための図である。例えば、上述した所定範囲とは、車両１の後端からの距離が、車両１の後端から表示部８２の搭載位置までの水平距離Ｄに相当する距離以内の範囲である。なお、所定範囲はこれに限定されず、任意に設定されてもよい。
ここで、後続車９が車両１に接近し、車両１と後続車９との間の距離がＤより短くなると、後続車９が撮像部５の撮影範囲内（図４の例では５０°の画角）に収まらなくなり、表示部８２に表示される像は、ミラーとして機能する調光フィルタ８３に映る像と大きく異なることになる。そのため、運転手は後続車９との間の距離感を掴みにくくなる。
このような課題を解決するため、画像処理装置８５は、撮像部５が撮像する車両１の後方画像に対して所定の画像処理を行う。
なお、図１では、測距センサ６が撮像部５の位置に設置されることとしたが、他の位置に設置されてもよい。測距センサ６が他の位置に設置される場合、その設置位置に応じて物体検知部８５ａは、車両１と後続車９との間の距離が適切に検出できるように調整される。
以下、図５〜７を参照しつつ、消失点算出部８５ｂ、画像切り出し部８５ｃ、圧縮部８５ｄ、および、描画部８５ｅについて説明する。
図５は、第１の表示対象範囲аの一例を示す図である。図６は、撮像部５が撮像した後方画像に対して行われる画像処理の一例を示す図である。図７は、画像処理の結果得られる表示画像の一例を示す図である。
図３に示す消失点算出部８５ｂは、撮像部５により撮像された画像の消失点１０（図５を参照）の位置を算出する。なお、画像中の消失点１０の算出は、オプティカルフローや道路の境界線、車道の外側線などを利用する従来の技術を用いて決定することができる。
画像切り出し部８５ｃは、撮像部５が撮像した後方画像の一部を切り出して切り出し画像を生成する。撮像部５が撮像した後方画像には、図５に示した第１の表示対象範囲ａよりも広い範囲の画像が含まれている。そのため、画像切り出し部８５ｃは、第１の表示対象範囲ａに収まるように画像を切り出す処理などを行う。
また、画像切り出し部８５ｃは、物体検知部８５ａにより後続車９が車両１の後方の所定範囲内に接近したことが検知された場合に、その後続車９が所定範囲外にある場合の表示対象範囲（図５に示す第１の表示対象範囲ａ）上部の所定範囲ｂよりも消失点１０が下方にあるか否かを判定する。
ここで、所定範囲ｂの上下方向の長さは、例えば、第１の表示対象範囲аの上下方向の長さの１／５とされる。この場合、表示部８２の解像度が横９００ピクセル、縦２５０ピクセルであれば、所定範囲ｂの上下方向の長さは５０ピクセルに相当する長さとなる。なお、この長さは、任意に設定されてもよい。
所定範囲ｂよりも消失点１０が下方にある場合（図５に示す例の場合）、画像切り出し部８５ｃは、第１の表示対象範囲ａよりも上端、および、下端を下方に移動させた表示対象範囲（図６に示す範囲ｃと範囲ｄとを合わせた範囲）の画像を撮像部５が撮像した後方画像から切り出す。
所定範囲ｂよりも消失点１０が下方にない場合、画像切り出し部８５ｃは、第１の表示対象範囲ａよりも下端のみ下方に移動させた表示対象範囲の画像を撮像部５が撮像した後方画像から切り出す。
以下では、第１の表示対象範囲ａよりも上端、および、下端を下方に移動させた表示対象範囲、また、第１の表示対象範囲ａよりも下端のみ下方に移動させた表示対象範囲を第２の表示対象範囲ｅと呼ぶ。
図５の例では、消失点１０は、第１の表示対象範囲ａの上部の所定範囲ｂよりも下方にある。この場合、消失点１０から離れている所定範囲ｂには、それほど重要な情報は含まれていないと考えられる。そのため、画像切り出し部８５ｃは、第１の表示対象範囲ａの上端を下方に移動させ、所定範囲ｂを表示対象から排除する。
具体的には、画像切り出し部８５ｃは、上端を下方に移動させる場合、消失点１０が第２の表示対象範囲ｅから外れない範囲で上端を移動させる。
また、図６における範囲ｃの上下方向の長さは、第１の表示対象範囲ａの上下方向の長さに等しいので、第２の表示対象範囲ｅの上下方向の長さは、第１の表示対象範囲ａの上下方向の長さよりも範囲ｄの分だけ長くなる。また、範囲ｄの上下方向の長さは、運転者等により適宜設定される。
これにより、例えば後続車９が車両１に接近した場合、後続車９が接近していない場合よりも、後続車９の下方の部分が広く含まれた画像を得ることができ、運転手に後続車９の方向指示器などの情報を提供することができる。
図３に示す圧縮部８５ｄは、物体検知部８５ａにより後続車９が車両１の後方の所定範囲内に接近したことが検知された場合に、撮像部５により撮像された車両１の後方画像の一部を圧縮した圧縮画像を生成する。
例えば、圧縮部８５ｄは、第２の表示対象範囲ｅにある後方画像の下部ｆを上下方向に圧縮した画像（図７に示す画像）を圧縮画像として生成する。ここで、図７に示す範囲ｇの上下方向の長さは、図５に示す第１の表示対象範囲ａの上下方向の長さに等しい。
例えば、圧縮部８５ｄは、バイリニア法やバイキュービック法を用いて後方画像の下部ｆを圧縮する。これにより、車両１の大きさが上下方向に小さくなるので、圧縮前は表示されなかった後続車９の方向指示器などの情報を運転手に効果的に提供することができる。
よって、運転手が後続車９と自車両との距離感を掴みやすくなる。また、第２の表示対象範囲ｅの一部が圧縮されるため、圧縮画像中には圧縮されていない領域が残る。よって、運転手が後続車９との距離を誤認識することを防止できる。特に本実施形態では、第２の表示対象範囲ｅの下部ｆを圧縮するため、消失点が含まれる領域は、圧縮されずに残る。よって、距離の誤認識をより効果的に防止できる。
ここで、圧縮部８５ｄは、後方画像の下部ｆの上下方向の長さが圧縮前の３分の２以上となるよう圧縮することが好ましい。これにより、後方画像の下部ｆが小さくなり過ぎ、下部ｆが認識しにくくなることを抑制できる。
また、図７に示した範囲ｈの画像の面積は、範囲ｇの画像の面積の半分以下であることが好ましい。このように圧縮される画像の面積に制限を加えることにより、運転手に違和感を覚えさせることを抑制できる。
描画部８５ｅは、圧縮画像に対し、圧縮された領域と圧縮されていない領域との間の境界を示す境界線１１（図７を参照）を重畳する。これにより、運転手は、どの範囲が圧縮された範囲なのかを容易に把握することができる。
なお、ここでは、境界を境界線１１で示すこととしたが、境界線１１の代わりに矢印などの他の画像で境界を示すこととしてもよい。
制御部８５ｆは、撮像部５、物体検知部８５ａ、消失点算出部８５ｂ、画像切り出し部８５ｃ、圧縮部８５ｄ、描画部８５ｅ、および、表示部８２と接続され、各部間での情報の授受を司る。
次に、本実施の形態１に係る画像処理の処理手順の一例について説明する。図８は、本実施の形態１に係る画像処理の処理手順の一例を示すフローチャートである。
まず、測距センサ６は、後続車９までの距離を検出する（ステップＳ１）。そして、物体検知部８５ａは、車両１の後方の所定距離Ｄ内に後続車９が接近したか否か、すなわち、車両１から後続車９までの距離が所定距離Ｄより小さいか否かを判定する（ステップＳ２）。
車両１から後続車９までの距離が所定距離Ｄより小さくない場合（ステップＳ２においてＮＯの場合）、画像切り出し部８５ｃは、撮像部５が撮像した画像を図５に示した第１の表示対象範囲ａで切り出し、切り出された画像を出力する通常処理を行い（ステップＳ３）、この画像処理は終了する。この画像処理が施された画像は、表示部８２により表示される。
ステップＳ２において、車両１から後続車９までの距離が所定距離Ｄより小さい場合（ステップＳ２においてＹＥＳの場合）、消失点算出部８５ｂは、撮像部５により撮像された画像の消失点１０の位置を算出する（ステップＳ４）。
そして、画像切り出し部８５ｃは、図５に示したように、第１の表示対象範囲ａ上部の所定範囲ｂよりも消失点１０が下方にあるか否かを判定する（ステップＳ５）。
所定範囲ｂよりも消失点１０が下方にある場合（ステップＳ５においてＹＥＳの場合）、画像切り出し部８５ｃは、消失点１０が、表示対象範囲の上部の所定範囲に含まれるように第１の表示対象範囲ａの上端を下方に移動する（ステップＳ６）。図６に示した第２の表示対象範囲ｅの上端は、このようにして決定されたものである。
ステップＳ６の処理の後、または、所定範囲ｂよりも消失点１０が下方にない場合（ステップＳ５においてＮＯの場合）、画像切り出し部８５ｃは、図５に示した第１の表示対象範囲ａの上下方向の長さよりも上下方向の長さが長くなるよう第１の表示対象範囲ａの下端を下方に移動する（ステップＳ７）。図６に示した第２の表示対象範囲ｅの下端は、このようにして決定されたものである。
そして、圧縮部８５ｄは、上端、および、下端を下方に移動した表示対象範囲、または、下端のみを下方に移動した表示対象範囲の画像の下部を圧縮する（ステップＳ８）。図７には、このようにして下部が圧縮されることにより生成された圧縮画像が示されている。
その後、描画部８５ｅは、圧縮画像に対し、圧縮された領域と圧縮されていない領域との間の境界を示す境界線１１（図７を参照）を重畳し（ステップＳ９）、この画像処理は終了する。この画像処理が施された画像は、表示部８２により表示される。
以上のように、本実施の形態１によれば、運転手が距離感を掴みやすくするとともに、後方確認を行う場合に運転手により多くの情報を提示して安全運転に寄与することができる。
（実施の形態２）
上述した実施の形態１では、画像切り出し部８５ｃが、第１の表示対象範囲ａよりも上端、および、下端を下方に移動させた表示対象範囲の画像、または、第１の表示対象範囲ａよりも下端のみ下方に移動させた表示対象範囲の画像を撮像部５が撮像した後方画像から切り出すこととした。
本実施の形態２では、表示対象範囲の上端や下端を下方に移動させるため、撮像部５の撮像方向を下方向にする場合について説明する。
まず、本実施の形態２に係る画像処理装置８５の機能構成の一例について説明する。図９は、本実施の形態２に係る画像処理装置８５の機能構成の一例を示すブロック図である。
図３に示した画像処理装置８５と異なり、本実施の形態２に係る画像処理装置８５は、方向制御部８５ｇをさらに備える。方向制御部８５ｇは、撮像部５の撮像方向を制御する。
具体的には、方向制御部８５ｇは、撮像部５の撮像方向を変えるモーター等（図示せず）を制御して、表示対象範囲の上端や下端を下方に移動させる。
これにより、図５に示した第１の表示対象範囲ａの上端や下端を、図６に示した範囲ｃのように下方に移動させることができる。なお、図６における第２の表示対象範囲ｅでは、下端が範囲ｄの分だけさらに下方に移動しているが、これは画像切り出し部８５ｃにおける画像の切り出し範囲を下方向に広く設定することにより実現できる。
なお、第１の表示対象範囲ａから第２の表示対象範囲ｅへ表示対象範囲を変化させる際の方法は、上記の方法に限られない。まず、第１の表示対象範囲ａの下端が範囲ｄの下端になるまで、撮像部５の撮像方向を変え、次に、表示対象範囲の上端が第２の表示対象範囲ｅの上端になるまで、画像切り出し部８５ｃにおける画像の切り出し範囲を上方向に広く設定してもよい。すなわち、撮像部５の撮像方向の変更と、画像切り出し部８５ｃにおける画像の切り出し範囲の変更の双方によって、第１の表示対象範囲ａから第２の表示対象範囲ｅへの表示対象範囲の変更が行われていればよい。
次に、本実施の形態２に係る画像処理の処理手順の一例について説明する。図１０は、本実施の形態２に係る画像処理の処理手順の一例を示すフローチャートである。
ここで、ステップＳ１１〜ステップＳ１５、ステップＳ１７〜ステップＳ１９の処理は、それぞれ図８に示したステップＳ１〜ステップＳ５、ステップＳ７〜ステップＳ９の処理と同様のものである。
ただし、本画像処理では、ステップＳ１６において、方向制御部８５ｇは、消失点１０が、表示対象範囲の上部の所定範囲に含まれるように図５に示した第１の表示対象範囲ａの上端を下方に移動するため、撮像部５の撮像方向を下向きにする。これにより、図６に示した例のように、範囲ｃの上端および下端を決定することができる。
以上のように、本実施の形態２によれば、撮像部５の撮像方向を調整することにより、撮像部５により撮像された画像における表示対象範囲を容易に決定することができる。
（実施の形態３）
上述した実施の形態１、２では、圧縮部８５ｄが、表示対象範囲の画像の下部を圧縮することとしたが、表示対象範囲の画像の上部を圧縮することとしてもよい。そこで、本実施の形態３では、圧縮部８５ｄが、表示対象範囲の画像の上部を圧縮する場合について説明する。
図１１は、撮像部５が撮像した後方画像に対して行われる画像処理の一例を示す図である。図１２は、画像処理の結果得られる表示画像の一例を示す図である。
なお、本実施の形態における画像処理装置８５の機能構成は、圧縮部８５ｄを除いて図３に示した機能構成と同様のものである。
本実施の形態では、実施の形態１と同様、画像切り出し部８５ｃは、図５に示した第１の表示対象範囲ａよりも上端、および、下端を下方に移動させた表示対象範囲（図１１に示す範囲ｃと範囲ｄとを合わせた範囲）の画像を撮像部５が撮像した後方画像から切り出す。
この場合も、図６に示した場合と同様に、第２の表示対象範囲ｅは、第１の表示対象範囲ａよりも上端、および、下端を下方に移動させた表示対象範囲、または、第１の表示対象範囲ａよりも下端のみ下方に移動させた表示対象範囲である。
ここで、図１１における範囲ｃの上下方向の長さは、図５に示した第１の表示対象範囲ａの上下方向の長さに等しいので、第２の表示対象範囲ｅの上下方向の長さは、第１の表示対象範囲ａの上下方向の長さよりも範囲ｄの分だけ長くなる。
そして、圧縮部８５ｄは、第２の表示対象範囲ｅにある後方画像の上部ｉを上下方向に圧縮した画像（図１２に示す画像）を圧縮画像として生成する。ここで、図１２に示す範囲ｊの上下方向の長さは、図５に示す第１の表示対象範囲ａの上下方向の長さに等しい。
また、図１２に示した範囲ｋの画像の面積は、範囲ｊの画像の面積の半分以下であることが好ましい。このように圧縮される画像の面積に制限を加えることにより、運転手に違和感を覚えさせることを抑制できる。
次に、本実施の形態３に係る画像処理の処理手順の一例について説明する。図１３は、本実施の形態３に係る画像処理の処理手順の一例を示すフローチャートである。
ここで、ステップＳ２１〜ステップＳ２７、ステップＳ２９の処理は、それぞれ図８に示したステップＳ１〜ステップＳ７、ステップＳ９の処理と同様のものである。
ただし、本実施の形態では、ステップＳ２８において、圧縮部８５ｄは、図１１で説明したように、上端、および、下端を下方に移動した表示対象範囲、または、下端のみを下方に移動した表示対象範囲の画像の上部を圧縮する。
図１２には、このようにして上部が圧縮されることにより生成され、描画部８５ｅにより圧縮された領域と圧縮されていない領域との間の境界を示す境界線１１が重畳された圧縮画像が示されている。
以上のように、本実施の形態３によれば、運転手が距離感を掴みやすくするとともに、後方確認を行う場合に運転手により多くの情報を提示して安全運転に寄与することができる。また、表示対象範囲の画像の上部を圧縮し、下部を圧縮しないことにより、車両の下部の画像を見やすくすることができる。
（実施の形態４）
上述した実施の形態３では、実施の形態１と同様に、画像切り出し部８５ｃが、第１の表示対象範囲ａよりも上端、および、下端を下方に移動させた表示対象範囲の画像、または、第１の表示対象範囲ａよりも下端のみ下方に移動させた表示対象範囲の画像を撮像部５が撮像した後方画像から切り出すこととしている。
本実施の形態４では、表示対象範囲の上端や下端を下方に移動させるため、撮像部５の撮像方向を下方向にする場合について説明する。ここで、本実施の形態４に係る画像処理装置８５の機能構成は、図９を用いて説明した本実施の形態２に係る画像処理装置８５の機能構成と同様である。
具体的には、本実施の形態における方向制御部８５ｇは、撮像部５の撮像方向を変えるモーター等（図示せず）を制御して、表示対象範囲の上端や下端を下方に移動させる。
これにより、図５に示した第１の表示対象範囲ａの上端や下端を、図６に示した範囲ｃのように下方に移動させることができる。なお、図６における第２の表示対象範囲ｅでは、下端が範囲ｄの分だけさらに下方に移動しているが、これは画像切り出し部８５ｃにおける画像の切り出し範囲を下方向に広く設定することにより実現できる。
なお、第１の表示対象範囲ａから第２の表示対象範囲ｅへ表示対象範囲を変化させる際の方法は、上記の方法に限られない。まず、第１の表示対象範囲ａの下端が範囲ｄの下端になるまで、撮像部５の撮像方向を変え、次に、表示対象範囲の上端が第２の表示対象範囲ｅの上端になるまで、画像切り出し部８５ｃにおける画像の切り出し範囲を上方向に広く設定してもよい。すなわち、撮像部５の撮像方向の変更と、画像切り出し部８５ｃにおける画像の切り出し範囲の変更の双方によって、第１の表示対象範囲ａから第２の表示対象範囲ｅへの表示対象範囲の変更が行われていればよい。
次に、本実施の形態４に係る画像処理の処理手順の一例について説明する。図１４は、本実施の形態４に係る画像処理の処理手順の一例を示すフローチャートである。
ここで、ステップＳ３１〜ステップＳ３７、ステップＳ３９の処理は、それぞれ図１０に示したステップＳ１１〜ステップＳ１７、ステップＳ１９の処理と同様のものである。
ただし、本実施の形態では、ステップＳ３８において、圧縮部８５ｄは、図１１で説明したように、上端、および、下端を下方に移動した表示対象範囲、または、下端のみを下方に移動した表示対象範囲の画像の上部を圧縮する。このような画像処理により図１２に示した画像と同様の圧縮画像を得ることができる。
以上のように、本実施の形態４によれば、運転手が距離感を掴みやすくするとともに、後方確認を行う場合により多くの情報を運転手に提示して安全運転に寄与することができる。また、表示対象範囲の画像の上部を圧縮し、下部を圧縮しないことにより、車両の下部の画像を見やすくすることができる。
また、撮像部５の撮像方向を調整することにより、撮像部５により撮像された画像における表示対象範囲を容易に決定することができる。
なお、実施の形態１〜４では、圧縮部８５ｄは、上端、および、下端を下方に移動した表示対象範囲、または、下端のみを下方に移動した表示対象範囲の画像の下部、または、上部を圧縮することとしたが、表示対象範囲の中央部のみを圧縮し、画像の下部、または、上部を圧縮しないこととしてもよい。
本発明に係る画像処理装置、および、電子ミラーシステムは、撮像部が撮像する車両の後方画像に対して画像処理を行い、画像処理の結果得られた画像を表示部に出力する画像処理装置、および、電子ミラーシステムに適用するのに好適である。
１ 車両
２ 内部
３ 前席
４ 後席
５ 撮像部
６ 測距センサ
７ 取付部
８ 画像表示装置
８１ 本体ケース
８２ 表示部
８３ 調光フィルタ
８４ 操作部
８５ 画像処理装置
８５ａ 物体検知部
８５ｂ 消失点算出部
８５ｃ 画像切り出し部
８５ｄ 圧縮部
８５ｅ 描画部
８５ｆ 制御部
８５ｇ 方向制御部
９ 後続車
１０ 消失点
１１ 境界線

Claims (12)

  1. 撮像部が撮像する車両の後方画像に対して画像処理を行い、該画像処理の結果得られた画像を表示部に出力する画像処理装置であって、
    前記車両の後方の所定範囲内に物体が接近したことを検知する物体検知部と、
    前記物体検知部により前記物体が前記車両の後方の所定範囲内に接近したことが検知された場合に、前記後方画像中の表示対象範囲の一部を圧縮した圧縮画像を生成する圧縮部と、
    を備え、
    前記表示対象範囲は、前記物体の接近が検知された場合に、前記物体が前記所定範囲外にある場合の第１の表示対象範囲の下端を下方に移動させた第２の表示対象範囲とされ、
    前記圧縮部は、前記第２の表示対象範囲にある前記後方画像の一部を上下方向に圧縮する、
    画像処理装置。
  2. 前記第２の表示対象範囲は、前記第１の表示対象範囲よりも上端を下方に移動させて得られる範囲であり、前記第２の表示対象範囲の上下方向の長さは、前記第１の表示対象範囲の上下方向の長さよりも長い請求項１に記載の画像処理装置。
  3. 前記後方画像の消失点の位置を算出する消失点算出部をさらに備え、前記消失点は、前記第２の表示対象範囲に含まれる請求項２に記載の画像処理装置。
  4. 前記圧縮画像に対し、圧縮された領域と圧縮されていない領域との間の境界を示す画像を重畳する描画部をさらに備える請求項１に記載の画像処理装置。
  5. 前記後方画像の一部を前記表示対象範囲として切り出す画像切り出し部をさらに備え、
    前記第１の表示対象範囲の下端の移動は、前記画像切出し部が切り出し範囲を下方に移動することにより行われる、請求項１に記載の画像処理装置。
  6. 前記撮像部の撮像方向を制御する方向制御部をさらに備え、
    前記第１の表示対象範囲の下端の移動は、前記撮像方向の制御により行われる、請求項１または５に記載の画像処理装置。
  7. 前記所定範囲とは、前記車両の後端からの距離が、該車両の後端から前記表示部の搭載位置までの水平距離に相当する距離以内の範囲である請求項１に記載の画像処理装置。
  8. 前記圧縮部は、前記後方画像の一部の上下方向の長さが圧縮前の３分の２以上となるよう該後方画像の一部を上下方向に圧縮する請求項１に記載の画像処理装置。
  9. 前記画像処理の結果得られた画像における圧縮された範囲の画像の面積は、前記画像処理の結果得られた画像の半分以下である請求項１に記載の画像処理装置。
  10. 前記圧縮部は、前記第２の表示対象範囲の後方画像の下部を上下方向に圧縮する請求項１に記載の画像処理装置。
  11. 前記圧縮部は、前記第２の表示対象範囲の後方画像の上部を上下方向に圧縮する請求項１に記載の画像処理装置。
  12. 請求項１に記載の画像処理装置と、前記表示部と、前記撮像部と、前記車両と前記物体との間の距離を示す信号を出力する測距センサとを備え、前記物体検知部は、前記測距センサから出力された信号に基づいて前記車両の後方の所定範囲内に物体が接近したことを検知する電子ミラーシステム。
JP2015073528A 2015-03-31 2015-03-31 画像処理装置、および、電子ミラーシステム Pending JP2016195301A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015073528A JP2016195301A (ja) 2015-03-31 2015-03-31 画像処理装置、および、電子ミラーシステム
US15/549,664 US20180037165A1 (en) 2015-03-31 2016-03-14 Image processing device and electronic mirror system
PCT/JP2016/001423 WO2016157766A1 (ja) 2015-03-31 2016-03-14 画像処理装置、および、電子ミラーシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015073528A JP2016195301A (ja) 2015-03-31 2015-03-31 画像処理装置、および、電子ミラーシステム

Publications (1)

Publication Number Publication Date
JP2016195301A true JP2016195301A (ja) 2016-11-17

Family

ID=57004088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015073528A Pending JP2016195301A (ja) 2015-03-31 2015-03-31 画像処理装置、および、電子ミラーシステム

Country Status (3)

Country Link
US (1) US20180037165A1 (ja)
JP (1) JP2016195301A (ja)
WO (1) WO2016157766A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109291853A (zh) * 2017-07-24 2019-02-01 拉碧斯半导体株式会社 图像处理装置
WO2019163564A1 (ja) * 2018-02-20 2019-08-29 株式会社東海理化電機製作所 車両用視認装置、及び車両用視認装置の撮影部の画角設定方法
JP2019161559A (ja) * 2018-03-15 2019-09-19 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
WO2019187283A1 (ja) * 2018-03-28 2019-10-03 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019036926A (ja) * 2017-08-21 2019-03-07 株式会社東海理化電機製作所 車両用視認装置
US11735614B2 (en) * 2018-07-31 2023-08-22 Sony Semiconductor Solutions Corporation Stacked light-receiving sensor and electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0948283A (ja) * 1995-08-08 1997-02-18 Mazda Motor Corp 車両の後方監視装置
JP2000285394A (ja) * 1999-01-26 2000-10-13 Mazda Motor Corp 車両の表示装置
JP2005328181A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 周囲確認装置
JP2010081245A (ja) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd 車両用表示装置および表示方法
US20150085125A1 (en) * 2013-09-24 2015-03-26 Mekra Lang Gmbh & Co. Kg Visual System

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0948283A (ja) * 1995-08-08 1997-02-18 Mazda Motor Corp 車両の後方監視装置
JP2000285394A (ja) * 1999-01-26 2000-10-13 Mazda Motor Corp 車両の表示装置
JP2005328181A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 周囲確認装置
JP2010081245A (ja) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd 車両用表示装置および表示方法
US20150085125A1 (en) * 2013-09-24 2015-03-26 Mekra Lang Gmbh & Co. Kg Visual System

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109291853A (zh) * 2017-07-24 2019-02-01 拉碧斯半导体株式会社 图像处理装置
JP2019023804A (ja) * 2017-07-24 2019-02-14 ラピスセミコンダクタ株式会社 画像処理装置
JP7141817B2 (ja) 2017-07-24 2022-09-26 ラピスセミコンダクタ株式会社 画像処理装置
WO2019163564A1 (ja) * 2018-02-20 2019-08-29 株式会社東海理化電機製作所 車両用視認装置、及び車両用視認装置の撮影部の画角設定方法
JP2019161559A (ja) * 2018-03-15 2019-09-19 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
JP7113348B2 (ja) 2018-03-15 2022-08-05 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
WO2019187283A1 (ja) * 2018-03-28 2019-10-03 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法
JP2019175133A (ja) * 2018-03-28 2019-10-10 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法

Also Published As

Publication number Publication date
WO2016157766A1 (ja) 2016-10-06
US20180037165A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
WO2016157766A1 (ja) 画像処理装置、および、電子ミラーシステム
US10166922B2 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
JP5099451B2 (ja) 車両周辺確認装置
JP6081570B2 (ja) 運転支援装置、および画像処理プログラム
US10752177B2 (en) Vehicular visual recognition device and vehicular visual recognition image display method
US20190100156A1 (en) System and method for controlling a display
JP6081034B2 (ja) 車載カメラ制御装置
JP5966513B2 (ja) 車両の後側方撮影装置
EP3547021A1 (en) Image pickup device, display system, and display method
JP2010208359A (ja) 車両用表示装置
JP2019116220A (ja) 車両用視認装置
JP2007290570A (ja) 車両用表示装置
CN111186375B (zh) 车辆用电子镜系统
JP5083137B2 (ja) 運転支援装置
JP5831331B2 (ja) 車両の後側方撮影装置
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
US10414339B2 (en) Method for operating a camera system, camera system and motor vehicle
CN113370896B (zh) 车辆用电子镜系统
JP2019217970A (ja) 電子ミラー装置及び画像表示方法
JP2019180074A (ja) 運転支援システム、画像処理装置及び画像処理方法
JP7353109B2 (ja) 車外モニタ装置
JP4285229B2 (ja) 車両用表示装置
JP5825091B2 (ja) 撮影領域明示装置
JP2019140469A (ja) 車両用視認装置
JP2020088678A (ja) 車両の安全発進支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190903

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018