JP6890288B2 - 画像処理装置、画像表示システムおよび画像処理方法 - Google Patents

画像処理装置、画像表示システムおよび画像処理方法 Download PDF

Info

Publication number
JP6890288B2
JP6890288B2 JP2018062600A JP2018062600A JP6890288B2 JP 6890288 B2 JP6890288 B2 JP 6890288B2 JP 2018062600 A JP2018062600 A JP 2018062600A JP 2018062600 A JP2018062600 A JP 2018062600A JP 6890288 B2 JP6890288 B2 JP 6890288B2
Authority
JP
Japan
Prior art keywords
image
vehicle
image processing
face position
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018062600A
Other languages
English (en)
Other versions
JP2019175133A5 (ja
JP2019175133A (ja
Inventor
直史 吉田
直史 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018062600A priority Critical patent/JP6890288B2/ja
Priority to DE112018007360.2T priority patent/DE112018007360T5/de
Priority to PCT/JP2018/039984 priority patent/WO2019187283A1/ja
Publication of JP2019175133A publication Critical patent/JP2019175133A/ja
Publication of JP2019175133A5 publication Critical patent/JP2019175133A5/ja
Priority to US16/992,691 priority patent/US11034305B2/en
Application granted granted Critical
Publication of JP6890288B2 publication Critical patent/JP6890288B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/658—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the instruments being ergonomically adjustable to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、車両に配置された撮像装置から得られた画像を画像処理する画像処理装置、画像表示システムおよび画像処理方法に関する。
特許文献１には、画像表示用ディスプレイが設けられたルームミラー上に定義された座標系におけるユーザの視点座標を検出し、検出した視点座標に基づいて画像表示用ディスプレイでの画像表示形態を制御する画像表示装置が開示されている。
特開２００５−３３５４１０号公報
しかしながら、特許文献１に記載の技術では、ユーザは、車両の後方が撮像された画像と、当該画像の車両との位置関係を把握しにくいという課題があった。
そこで、本発明は、車両との位置関係を把握しやすい、車両の後方を撮像した画像を出力することができる画像処理装置、画像表示システムおよび画像処理方法を提供する。
本発明の一態様に係る画像処理装置は、車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、運転手の顔位置を検出する位置検出部と、前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、を備え、前記画像処理部は、前記位置検出部が検出した前記顔位置が前記車両の左右方向の一方側に移動していた場合、前記対象画像から前記第２画像を切り出す範囲を前記顔位置が移動する前の範囲よりも前記車両の左右方向の他方側に移動させ、前記位置画像を重畳させる位置を前記顔位置が移動する前の位置よりも前記車両の左右方向の一方側に移動させる。
本発明の他の一態様に係る画像処理装置は、車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、運転手の顔位置を検出する位置検出部と、前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、を備え、前記位置画像は、前記第２画像よりも小さい画像であり、前記運転手よりも後ろの位置にある前記車両の装備品を示す模式図である。
本発明の他の一態様に係る画像処理装置は、車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、運転手の顔位置を検出する位置検出部と、前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、前記車両から所定の距離以内の位置に後続車両が位置するか否かを判定する判定部と、を備え、前記画像処理部は、前記所定の距離以内の位置に前記後続車両が位置したと前記判定部により判定された場合、前記画像処理において前記位置画像の重畳をしない。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の画像処理装置などは、車両との位置関係を把握しやすい、車両の後方の撮像した画像を出力することができる。
図１は、実施の形態に係る車両の一例を示す模式図である。 図２は、実施の形態に係る画像表示システムの機能構成の一例を示すブロック図である。 図３は、実施の形態に係る撮像装置により撮像される車両後方における撮像範囲を説明するための図である。 図４は、実施の形態に係る画像処理装置による画像処理前後、および、画像処理過程の画像を示す説明図である。 図５は、通常の運転中における顔位置で画像処理部が画像を切り出す範囲を説明するための図である。 図６は、移動した後の顔位置で画像処理部が画像を切り出す範囲を説明するための図である。 図７は、顔位置が移動する前後における画像処理部による画像処理の違いについて説明するための図である。 図８は、実施の形態に係る画像表示システムの動作の一例を示すシーケンス図である。 図９は、実施の形態に係る画像処理装置における画像処理の一例を示すフローチャートである。 図１０は、変形例２に係る画像表示システムの機能構成の一例を示すブロック図である。 図１１は、変形例２に係る画像処理装置における画像処理の一例を示すフローチャートである。
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、画像表示装置に関し、以下の問題が生じることを見出した。
特許文献１に記載の画像表示装置では、カメラで取得した画像情報に基づいてリアウィンドウ方向の景観を画像表示用ディスプレイに表示させ、かつ、死角となって見通し不能な景観をワイヤーフレームなどを用いて表示させることが開示されている。しかしながら、特許文献１のように、リアウィンドウ方向の景観と、死角となって見通し不能な景観とを両方表示させてしまうと、画像が煩雑になるため、ユーザは、車両と車両の周囲の画像との位置関係、および、表示されている画像における車両後方を把握しにくいという課題があった。
以上の課題を解決するために、本発明者は、鋭意検討の上、下記の構成の画像処理装置、画像表示システムおよび画像処理方法を見出すに至った。
本発明の一態様に係る画像処理装置は、車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、運転手の顔位置を検出する位置検出部と、前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、を備える。
これによれば、検出された運転手の顔位置に応じて、撮像装置により撮像された画像を含む対象画像から切り出す画像の範囲の位置と、第２画像に重畳させる位置画像の位置とを決定している。このため、車両の後方を撮像した画像を含む対象画像から運転手の顔位置に応じた適切な範囲で画像を切り出すことができ、かつ、切り出した画像の、顔位置に応じた適切な位置に位置画像を重畳させることができる。よって、車両との位置関係を把握しやすい、車両の後方を撮像した画像を出力することができる。これにより、運転手は、例えば、ルームミラーの代用として設けられた表示装置において表示された画像を見ることで、より少ない違和感で車両の後方の状況を把握することができる。
また、前記画像処理部は、前記車両の車室内に配置されている表示装置の表示面をミラーと仮定したときに、当該表示面を介して、前記位置検出部により検出された前記顔位置において前記運転手が見ることができると推定される範囲を、前記対象画像から切り出してもよい。
このように、画像処理装置は、ルームミラーを運転手が見ていると仮定したときに見えると推定される範囲を対象画像から切り出すため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
また、前記画像処理部は、前記位置検出部が検出した前記顔位置が前記車両の左右方向の一方側に移動していた場合、前記対象画像から前記第２画像を切り出す範囲を前記顔位置が移動する前の範囲よりも前記車両の左右方向の他方側に移動させ、前記位置画像を重畳させる位置を前記顔位置が移動する前の位置よりも前記車両の左右方向の一方側に移動させてもよい。
このように、画像処理装置は、顔位置が左右方向の一方側に移動したときには、切り出す範囲を他方側に移動させ、かつ、位置画像を重畳させる位置を一方側に移動させる。これは、顔位置が左右方向の一方側に移動したときには、ルームミラーには移動前よりも他方側の範囲が映り込むと推定されるからである。同様に、顔位置が左右方向の一方側に移動したときにはルームミラーを介した視線方向は他方側に移動するため、車両の車室内の装備品は反対側の一方側に移動すると推定されるからである。上記のように、画像処理装置は、切り出す範囲および位置画像を重畳する位置を決定するため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
また、前記画像処理部は、前記顔位置が移動した場合に、前記位置画像を重畳させる位置を移動させる第１距離を、前記第２画像を前記対象画像から切り出す前記範囲を移動させる第２距離よりも長くしてもよい。
撮像装置により撮像された画像の撮像対象は、車両の外部にあり、位置画像が示す車両の内部の装備品の位置よりも運転手からは遠い位置にある。このため、運転手が顔位置を左右方向に移動させてルームミラーを見た場合、運転手は、近い位置にある装備品の方が遠い位置にある車両の外部の対象よりも移動する距離が大きくなる。よって、上記のように、第１距離を第２距離よりも長くすることで、撮像装置により撮像された画像を含む対象画像から切り出す画像の範囲の位置と、第２画像に重畳させる位置画像の位置とを、ルームミラーを見ているときと同様に決定することができる。このため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
また、前記位置画像は、前記第２画像よりも小さい画像であり、前記運転手よりも後ろの位置にある前記車両の装備品を示す模式図であってもよい。
このように、位置画像は、切り出された画像よりも小さい画像であるため、重畳後の画像が煩雑になることを低減することができる。また、位置画像は、車両の装備品を示す模式図であるため、運転手は、画像を見ることで、車両の周囲の画像と車両との位置関係、および、表示されている画像における車両後方を直感的に把握することができる。
また、前記画像処理部は、所定の入力に応じて前記位置画像の透明度を変更してもよい。
このため、例えば、運転手の好み、車室内の明るさなどに応じて透明度が変更された位置画像が重畳された画像を提供することができる。
また、さらに、前記車両周辺の照度を検出する照度センサを備え、前記所定の入力は、前記照度センサにより検出された前記照度であり、前記画像処理部は、前記照度が小さいほど前記透明度を大きくしてもよい。
これによれば、車両の外部の対象を撮像した画像が暗くて外部の対象を視認しにくいと推定される場合、位置画像の透明度を小さくする。透明度位置画像が表示されることで、車両１の外部の対象の視認性が低下することを低減することができる。
また、さらに、互いに異なる複数種類の前記位置画像を記憶している記憶部を備え、前記画像処理部は、前記記憶部に記憶されている前記複数種類の位置画像のうちの、予め選択された１以上の位置画像を前記第２画像に重畳してもよい。
このため、運転手の好みに応じた画像を提供することができる。
また、さらに、前記車両から所定の距離以内の位置に後続車両が位置するか否かを判定する判定部を備え、前記画像処理部は、前記所定の距離以内の位置に前記後続車両が位置したと前記判定部により判定された場合、前記画像処理において前記位置画像の重畳をしなくてもよい。
これによれば、後続車両が近づいて画像内に大きく映り込んでいる場合、画像処理部は、位置画像を重畳しないため、画像に写り込んでいる後続車両のサイズと位置画像のサイズとの差が大きくなることで運転手に与える違和感を低減することができる。
本発明の一態様に係る画像表示システムは、上記の画像処理装置と、前記撮像装置と、前記画像処理装置により出力された前記第３画像を表示する表示装置と、を備える。
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る画像処理装置、画像表示システムおよび画像処理方法について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
実施の形態に係る画像表示システムについて説明する。
［１．構成］
図１は、実施の形態に係る車両の一例を示す模式図である。図２は、実施の形態に係る画像表示システムの機能構成の一例を示すブロック図である。図３は、実施の形態に係る撮像装置により撮像される車両後方における撮像範囲を説明するための図である。図４は、実施の形態に係る画像処理装置による画像処理前後、および、画像処理過程の画像を示す説明図である。
これらの図に示されるように、車両１は、画像表示システム１００を備える。画像表示システム１００は、画像処理装置１０と、撮像装置１２、１３及び１４と、表示装置４０とを備える。なお、以降の説明において特に断らない場合には、前後左右の方向は、車両１の進行方向を前方とした場合の方向とし、これは車両１のユーザにとっての前後左右の方向ともいえる。
撮像装置１２は、車両１の左側ドア付近に固定され、車両１の左側後方の撮像範囲Ｒ１を撮影するカメラである。撮像装置１２は、車両１の左側後方の撮像範囲Ｒ１を撮影して画像５１を生成する。撮像装置１２が生成した画像５１を左側後方画像ともいう。
撮像装置１３は、車両１の右側ドア付近に固定され、車両１の右側後方の撮像範囲Ｒ２を撮影するカメラである。撮像装置１３は、車両１の右側後方の撮像範囲Ｒ２を撮影して画像５２を生成する。撮像装置１３が生成した画像５２を右側後方画像ともいう。
撮像装置１４は、車両１のリアバンパー又はトランクフード付近に固定され、車両１の中央後方の撮像範囲Ｒ３を撮影するカメラである。撮像装置１４は、車両１の中央後方の撮像範囲Ｒ３を撮影して画像５３を生成する。撮像装置１４が生成した画像５３を中央後方画像ともいう。
このように、撮像装置１２〜１４のそれぞれは、車両１の後方を撮像する向きで車両１に配置されている。撮像装置１２〜１４により撮像範囲Ｒ１〜Ｒ３が撮像されるため、各撮像範囲Ｒ１〜Ｒ３よりも広い撮像範囲Ｒ１０が、撮像装置１２〜１４により撮像されることとなる。
撮像装置１２及び１４の撮像範囲Ｒ１およびＲ３の一部が重なっており、撮像装置１３及び１４の撮像範囲Ｒ２およびＲ３の一部が重なっている。そのため、左側後方画像と中央後方画像との一部には共通の対象が映っている。また、右側後方画像と中央後方画像との一部には共通の対象が映っている。
撮像装置１２、１３及び１４のそれぞれは、互いに異なる撮影条件の下で撮像することで画像を生成する。具体的には、撮像装置１２、１３及び１４のそれぞれは、互いに異なる位置に配置され、また、互いに異なる方向を向いて配置されており、例えば６０ｆｐｓで画像を取得する。また、撮像装置１２、１３及び１４のそれぞれの光学系の光学特性は異なっていてもよい。
画像処理装置１０は、各撮像装置１２〜１４から画像５１〜５３を取得し、取得した画像５１〜５３に基づいて、表示装置４０に表示させるための位置画像８０を出力する。具体的には、画像処理装置１０は、取得した画像５１〜５３から得られる広い撮像範囲Ｒ１０の合成画像５０のうち、運転手の顔位置に応じて、表示装置４０の表示面をルームミラーと仮定したときにルームミラーを介して運転手が見ることができると推定される範囲の画像５４を切り出して、切り出した画像５４に基づく画像６０を出力する。画像処理装置１０の詳細な説明は、後述する。
表示装置４０は、車両１の後方が映った画像である画像６０を表示する表示装置である。表示装置４０は、画像処理装置１０により出力された画像６０を表示する。表示装置４０は、画像処理装置１０により出力された画像６０を表示するため、車両１の後方を、光の反射を利用して映す従来のルームミラーの代用として用いられ得る。表示装置４０は、車両１の天井の前側中央部付近に配置されている。
図２を用いて、画像処理装置１０の機能的な構成について説明する。
画像処理装置１０は、取得部１０１と、位置検出部１０２と、画像処理部１０３と、記憶部１０４とを備える。
取得部１０１は、撮像装置１２〜１４によりそれぞれ撮像された画像５１〜５３を、各撮像装置１２〜１４から取得する。取得部１０１は、異なる複数のタイミング（例えば６０ｆｐｓ）で撮像装置１２〜１４のそれぞれにおいて撮像された画像を取得する。
位置検出部１０２は、運転手の顔位置を検出する。位置検出部１０２は、具体的には、表示装置４０に配置され、表示装置４０の表示面側（つまり表示装置４０の運転手側または後方）を撮像する撮像部３０を有し、撮像部３０により撮像された画像について顔認識処理を実行することで表示装置４０に対する運転手の顔位置を特定する。これにより、位置検出部１０２は、表示装置４０の基準位置から顔位置まで方向を特定することができる。なお、基準位置は、撮像部３０が配置されている表示装置４０の位置であってもよいし、表示装置４０の水平方向における中心位置であってもよい。また、撮像部３０は、例えば、カメラである。なお、位置検出部１０２は、運転手の目の位置を検出してもよいし、運転手の頭部の位置を検出することで運転手の顔位置を推定してもよい。
画像処理部１０３は、上述したように、画像５１〜５３を合成することで、合成画像５０を生成する。画像処理部１０３は、位置検出部１０２により検出された運転手の顔位置に応じて、対象画像としての合成画像５０のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた画像６０の顔位置に対応する位置に車両１の位置を示す位置画像８０を重畳する画像処理を行う。そして、画像処理部１０３は、画像処理後の画像６０を出力する。
画像処理部１０３は、位置検出部１０２が検出した運転手の顔位置が車両１の左右方向の一方に移動した場合、合成画像５０から画像を切り出す範囲を顔位置が移動する前の範囲よりも車両１の左右方向の他方側に移動させ、かつ、位置画像８０を重畳させる位置を顔位置が移動する前の位置よりも車両１の左右方向の一方側に移動させる。例えば、運転手の顔位置が右方向に移動した場合の例について図５〜図７を用いて説明する。
図５は、通常の運転中における顔位置で画像処理部が画像を切り出す範囲を説明するための図である。図６は、移動した後の顔位置で画像処理部が画像を切り出す範囲を説明するための図である。図７は、顔位置が移動する前後における画像処理部による画像処理の違いについて説明するための図である。
なお、図５および図６における（ａ）は、車両１の車室内の前側を上側から見た平面図であり、（ｂ）は、車両１を上側から見た平面図において撮像装置１２〜１４により撮像された撮像範囲Ｒ１０のうち表示装置４０に表示される画像の範囲を示す図である。図７の（ａ１）および（ａ２）は、図５の状態における画像処理部１０３による画像処理を説明するための図であり、（ａ１）は、合成画像５０から画像５４を切り出す処理例を示し、（ａ２）は、切り出した画像５４に位置画像８０を重畳させる処理例を示す図である。図７の（ｂ１）および（ｂ２）は、図６の状態における画像処理部１０３による画像処理を説明するための図であり、（ｂ１）は、合成画像５０から画像５５を切り出す処理例を示し、（ｂ２）は、切り出した画像５５に位置画像８０を重畳させる処理例を示す図である。図５および図６における一点鎖線Ｘは、車両１の前後方向を示す。
顔位置が移動する前として、図５の（ａ）に示されるように、例えば、運転手Ｕ１がステアリングホイール２２を握って通常の運転を行っており、運転手Ｕ１は、車両１の運転席２１の左右方向の中央に着座しているものとする。この場合、運転手Ｕ１が通常の運転中の顔位置Ｐ１において、表示装置４０をルームミラーと仮定した場合に運転手Ｕ１に視認されるルームミラー越しの視界の中心の方向Ｄ１が車両１の後方となる画像が表示装置４０に表示されるように、画像処理部１０３が切り出す範囲が調整されているものとする。つまり、この場合、図５の（ｂ）に示されるように、画像処理部１０３は、車両１の表示装置４０の中心位置（左右方向の中心位置）を起点とし、かつ、広い撮像範囲Ｒ１０のうちの方向Ｄ１を中心とする角度範囲θ１０に対応する範囲７１が画像を切り出す範囲として決定。角度範囲θ１０は、表示装置４０の中心位置を起点とし、方向Ｄ１を中心とする左右それぞれの角度範囲θ１１を合わせた角度範囲である。
なお、この場合の表示装置４０は、表示装置４０の表示面がルームミラーとした場合に、表示面を顔位置Ｐ１にある運転手Ｕ１が見た場合に、車両１の真後ろの範囲が表示面に反射される角度となるように、角度が調整されている。つまり、運転手Ｕ１の顔位置Ｐ１から表示装置４０の左右方向の中心の位置Ｐ３までの線と表示装置４０の表示面とがなす角の角度は、方向Ｄ１と表示装置４０の表示面とがなす角の角度と略等しい。
これにより、図７の（ａ１）に示されるように、画像処理部１０３は、合成画像５０から、決定された範囲７１を切り出すことにより画像５４を得る。そして、図７の（ａ２）に示されるように、画像処理部１０３は、切り出した画像５４の左右方向の中心の位置Ｐ１１に位置画像８０を重畳させ、重畳させることにより得られた画像６０を表示装置４０に出力する。なお、画像６０は、運転手が顔位置を移動させる前において画像処理部１０３により画像処理された後に出力される画像の一例である。
次に、顔位置が移動した場合について図６を用いて説明する。
図６の（ａ）に示されるように、顔位置が移動した後の場合として、例えば、運転手Ｕ１が運転席２１の右側に顔を移動させた場合を考える。この場合、運転手Ｕ１の顔位置Ｐ２において、表示装置４０をルームミラーと仮定した場合に運転手Ｕ１に視認されるルームミラー越しの視界の中心の方向Ｄ２は、方向Ｄ１よりも左よりの方向となる。この場合、図６の（ｂ）に示されるように、車両１の表示装置４０の中心位置（左右方向の中心位置）を起点とし、かつ、広い撮像範囲Ｒ１０のうちの方向Ｄ２を中心とする角度範囲θ２０に対応する範囲７２が画像を切り出す範囲として決定される。角度範囲θ２０は、表示装置４０の中心位置を起点とし、方向Ｄ２を中心とする左右それぞれの角度範囲θ１１を合わせた角度範囲である。
なお、この場合、運転手Ｕ１の顔位置Ｐ２から表示装置４０の中心の位置Ｐ３までの線と表示装置４０の表示面とがなす角の角度は、方向Ｄ２と表示装置４０の表示面とがなす角の角度と略等しい。
これにより、図７の（ｂ１）に示されるように、画像処理部１０３は、合成画像５０から、決定された範囲７２を切り出すことにより画像５５を得る。そして、図７の（ｂ２）に示されるように、画像処理部１０３は、顔位置Ｐ１の場合に位置画像８０を重畳させた位置Ｐ１１よりも第１距離ｄ１だけ右側の位置Ｐ１２に位置画像８０を重畳させ、重畳させることにより得られた画像６１を表示装置４０に出力する。このときに、画像処理部１０３は、顔位置Ｐ１から顔位置Ｐ２に顔位置が移動した場合に、位置画像８０を重畳させる位置を移動させる第１距離ｄ１を、画像６１を合成画像５０から切り出す範囲７１を移動させる第２距離ｄ２よりも長くする。つまり、画像６１は、運転手が顔位置を移動させた後において画像処理部１０３により画像処理された後に出力される画像の一例である。
ここで、第１距離ｄ１は、画像６１上における距離であり、例えば、画素数により表される。第２距離ｄ２は、画像６１上における距離であり、例えば、画像６１のうち運転手の顔位置が移動する前に切り出しが行われていた範囲７１の左右方向の他方側の端部の位置Ｐ２１と、運転手の顔位置が移動した後の画像６１の他方側の端部の位置Ｐ２２との間の画素数である。また、第２距離ｄ２は、合成画像５０上における距離であり、合成画像５０のうちの切り出す範囲７１と同サイズの画像を画像６１と同じ解像度に合成画像５０を対応させた画像における画素数により表されてもよい。
なお、図５〜図７を用いて、運転手Ｕ１の顔が右側に移動する場合を例に説明したが、左側に移動する場合も同様に説明できる。この場合、切り出す範囲は、右側に移動することとなり、位置画像８０を重畳する位置は左側に移動することとなる。
なお、画像処理部１０３は、上述した画像処理の他に、撮像装置１２〜１４の三次元空間におけるカメラの位置及び姿勢を示す外部パラメータと、カメラの焦点距離、収差、画像中心等の光学系の特性を示す内部パラメータとを調整する処理（つまり、校正）を行ってもよい。
記憶部１０４は、位置画像８０を記憶している。位置画像８０は、切り出した画像５４、５５よりも小さい画像であり、運転手Ｕ１よりも後ろの位置にある車両１の装備品を示す模式図（例えばＣＧ）である。記憶部１０４は、互いに異なる複数種類の位置画像を記憶していてもよい。この場合、画像処理部１０３は、記憶部１０４に記憶されている複数種類の位置画像８０のうちの、予め選択された１以上の位置画像を切り出した画像５４、５５に重畳する。画像処理部１０３により重畳される位置画像には、ユーザにより予め選択された画像を用いてもよいし、画像処理装置１０が工場出荷時の初期設定において選択された画像を用いてもよい。位置画像８０は、図７に示されるように、車両１のシートの模式図が用いられてもよいし、車両１のリアワイパー、リアスピーカ、リアピラーなどの他の装備品の模式図が用いられてもよい。
［２．動作］
次に、画像表示システム１００の動作について説明する。
図８は、実施の形態に係る画像表示システム１００の動作の一例を示すシーケンス図である。図９は、実施の形態に係る画像処理装置における画像処理の一例を示すフローチャートである。
画像表示システム１００では、図８に示すように、撮像装置１２〜１４のそれぞれは、撮像により得られた画像を出力する（Ｓ１〜Ｓ３）。
画像処理装置１０では、位置検出部１０２が運転手Ｕ１の顔位置を検出し（Ｓ４）、撮像装置１２〜１４により得られた画像に対して、画像処理部１０３が検出された顔位置に応じた画像処理を実行し（Ｓ５）、画像処理後の画像を出力する。なお、ステップＳ５の画像処理の詳細は後述する。
表示装置４０は、画像処理装置１０から出力された画像を取得して、当該画像を表示する（Ｓ６）。
画像表示システム１００では、ステップＳ１〜Ｓ６の処理を繰り返し実行することで、リアルタイムに、同じタイミングで撮像装置１２〜１４で撮像された３枚の画像を、検出した顔位置に応じて画像処理し、画像処理後の画像を表示装置４０に表示する。
次に、画像処理装置１０における画像処理について図９を用いて説明する。
画像処理において、画像処理装置１０では、取得部１０１は、撮像装置１２〜１４により撮像された３枚の画像５１〜５３を取得する（Ｓ１１）。
次に、画像処理部１０３は、３枚の画像５１〜５３を合成し、合成画像５０を得る（Ｓ１２）。
そして、画像処理部１０３は、検出された顔位置に応じて、合成画像５０のうち顔位置に対応する範囲７１の画像５４を切り出す（Ｓ１３）。
画像処理部１０３は、切り出した画像５４の顔位置に対応する位置に位置画像８０を重畳する（Ｓ１４）。
画像処理部１０３は、位置画像８０を重畳した後の画像６０（または画像６１）を表示装置４０に出力する（Ｓ１５）。
なお、顔位置を検出する処理を実施する頻度は、画像処理の頻度よりも少なくてもよい。車両１が走行中においては、車両１の周囲の景色は変化し続けるため撮像装置１２〜１４により得られた最新の画像を使用する必要があるが、顔位置が移動する頻度は少なく、また、顔位置が移動する速度は、車両１が走行する速度よりも遅いためである。
［３．効果など］
本実施の形態に係る画像処理装置１０は、取得部１０１と、位置検出部１０２と、画像処理部１０３とを備える。取得部１０１は、車両１の後方を撮像する向きで車両１に配置されている撮像装置１２〜１４により撮像された画像５１〜５３を撮像装置１２〜１４から取得する。位置検出部１０２は、運転手Ｕ１の顔位置を検出する。画像処理部１０３は、位置検出部１０２により検出された顔位置に応じて、画像５１〜５３を合成した合成画像５０のうち当該顔位置Ｐ１に対応する範囲７１を切り出すと共に、切り出すことにより得られた画像５４の顔位置Ｐ１に対応する位置Ｐ１１に車両１の位置を示す位置画像８０を重畳する画像処理を行い、画像処理後の画像６０（または画像６１）を出力する。
つまり、画像処理装置１０では、検出された運転手Ｕ１の顔位置Ｐ１に応じて、撮像装置１２〜１４により撮像された画像５１〜５３を含む合成画像５０から切り出す画像５４の範囲７１の位置Ｐ２１と、画像５４に重畳させる位置画像８０の位置Ｐ１１とを決定している。このため、車両１の後方を撮像した画像５１〜５３を含む合成画像５０から運転手Ｕ１の顔位置Ｐ１に応じた適切な範囲７１で画像５４を切り出すことができ、かつ、切り出した画像５４の、顔位置Ｐ１に応じた適切な位置Ｐ１１に位置画像８０を重畳させることができる。よって、車両１との位置関係を把握しやすい、車両１の後方を撮像した画像６０（または画像６１）を出力することができる。これにより、運転手Ｕ１は、例えば、ルームミラーの代用として設けられた表示装置４０において表示された画像を見ることで、より少ない違和感で車両１の後方の状況を把握することができる。
また、本実施の形態に係る画像処理装置１０において、画像処理部１０３は、車両１の車室内に配置されている表示装置４０の表示面をミラーと仮定したときに、当該表示面を介して、位置検出部１０２により検出された顔位置Ｐ１、Ｐ２において運転手Ｕ１が見ることができると推定される範囲７１、７２を、合成画像５０から切り出す。このように、画像処理装置１０は、ルームミラーを運転手が見ていると仮定したときに見えると推定される範囲を対象画像から切り出すため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
また、本実施の形態に係る画像処理装置１０において、画像処理部１０３は、位置検出部１０２が検出した顔位置Ｐ２が車両１の左右方向の一方側（例えば右側）に移動していた場合、合成画像５０から画像５４を切り出す範囲７２を顔位置が移動する前の範囲７１よりも車両１の左右方向の他方側（例えば左側）に移動させ、位置画像８０を重畳させる位置Ｐ１２を顔位置が移動する前の顔位置Ｐ１よりも車両１の左右方向の一方側（例えば右側）に移動させる。
このように、画像処理装置１０は、図６に示すように顔位置が左右方向の一方側（例えば右側）に移動したときには、図７に示すように、切り出す範囲を他方側（例えば左側）に移動させ、かつ、位置画像を重畳させる位置を一方側（例えば右側）に移動させる。これは、顔位置が左右方向の一方側（例えば右側）に移動したときには、ルームミラーには移動前よりも他方側（例えば左側）の範囲が映り込むと推定されるからである。同様に、顔位置が左右方向の一方側（例えば右側）に移動したときには、図６に示すように、ルームミラーを介した視線方向は他方側（例えば左側）に移動するため、車両の車室内の装備品は他方側とは反対側の一方側（例えば右側）に移動すると推定されるからである。上記のように、画像処理装置１０は、切り出す範囲および位置画像を重畳する位置を決定するため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
また、本実施の形態に係る画像処理装置１０において、画像処理部１０３は、検出された顔位置が移動した場合に、位置画像８０を重畳させる位置を移動させる第１距離ｄ１を、画像を合成画像５０から切り出す範囲を移動させる第２距離ｄ２よりも長くする。
撮像装置１２〜１４により撮像された画像の撮像対象は、車両１の外部にあり、位置画像８０が示す車両１の内部の装備品の位置よりも運転手Ｕ１からは遠い位置にある。このため、運転手Ｕ１が顔位置を左右方向に移動させてルームミラーを見た場合、運転手Ｕ１は、近い位置にある装備品の方が遠い位置にある車両１の外部の対象よりも移動する距離が大きくなる。よって、上記のように、第１距離ｄ１を第２距離ｄ２よりも長くすることで、撮像装置により撮像された画像を含む対象画像から切り出す画像の範囲の位置と、第２画像に重畳させる位置画像の位置とを、ルームミラーを見ているときと同様に決定することができる。このため、ルームミラーに慣れ親しんだ運転手に対しても違和感が少ない画像を提供することができる。
また、本実施の形態に係る画像処理装置１０において、位置画像８０は、切り出された画像５４、５５よりも小さい画像であり、運転手Ｕ１よりも後ろの位置にある車両１の装備品を示す模式図である。このように、位置画像８０は、切り出された画像５４、５５よりも小さい画像であるため、重畳後の画像６０、６１が煩雑になることを低減することができる。また、位置画像８０は、車両１の装備品を示す模式図であるため、運転手Ｕ１は、画像６０、６１を見ることで、車両１の周囲の画像５４、５５と車両１との位置関係、および、表示されている画像６０、６１における車両後方を直感的に把握することができる。
［４．変形例］
［４−１．変形例１］
変形例１に係る画像処理装置について説明する。
変形例１に係る画像処理装置は、実施の形態の構成と同様であるが、画像処理部１０３がさらに下記の処理を実行する点が異なる。
具体的には、画像処理部１０３は、さらに、所定の入力に応じて位置画像８０の透明度を変更してもよい。つまり、画像処理部１０３は、切り出された画像５４、５５に重畳させる位置画像８０の透明度を調整し、調整後の位置画像８０を重畳してもよい。
画像処理部１０３は、例えば、所定の入力としてユーザにより設定された値を用いて位置画像８０の透明度を調整してもよい。
また、画像処理部１０３は、例えば、所定の入力として照度センサにより検出された照度を用いて位置画像８０の透明度を調整してもよい。この場合、画像処理部１０３は、照度センサにより検出された照度が小さいほど位置画像８０の透明度を大きくする。なお、この場合の照度センサは、車両１に設けられ、車両１周辺の照度を検出するセンサである。照度センサは、車両１の内部に配置されていてもよいし、車両１の外部に配置されていてもよい。照度センサの検出結果を用いて、車両１の外部の照度を推定できればどの位置に配置されていてもよい。
変形例１に係る画像処理装置１０では、画像処理部１０３は、所定の入力に応じて位置画像８０の透明度を変更する。このため、例えば、運転手の好み、車室内の明るさなどに応じて透明度が変更された位置画像が重畳された画像を提供することができる。
また、変形例１に係る画像処理装置１０では、画像処理部１０３は、照度センサにより検出された照度が小さいほど透明度を大きくする。このため、車両１の外部の対象を撮像した画像が暗くて外部の対象を視認しにくいと推定される場合、位置画像８０の透明度を大きくすることで、車両１の外部の対象の視認性が低下することを低減することができる。
［４−２．変形例２］
変形例２に係る画像処理装置について説明する。
図１０は、変形例２に係る画像表示システムの機能構成の一例を示すブロック図である。
図１０に示されるように、変形例２に係る画像表示システム１００Ａは、実施の形態に係る画像表示システム１００と比較して、画像処理装置１０Ａがさらに判定部１０５を備える点と、画像処理部１０３Ａによる処理とが異なる。変形例２に係る画像表示システム１００Ａのその他の構成は、実施の形態に係る画像表示システム１００と同様であるので説明を省略する。
判定部１０５は、車両１から所定の距離以内の位置に後続車両が位置するか否かを判定する。判定部１０５は、例えば、撮像装置１４により得られた画像を画像解析することにより、後続車両が所定の距離以内の位置に位置するか否かを判定してもよい。判定部１０５は、車両１が後方の物体との距離を検出する距離センサを有している場合には、距離センサの検出結果を用いて上記の判定を行ってもよい。
画像処理部１０３Ａは、判定部１０５により、所定の距離以内の位置に後続車両が位置したと判定した場合、実施の形態で説明した画像処理において、検出された顔位置に応じて、合成画像５０のうち当該顔位置に対応する範囲を切り出し、かつ、位置画像８０の重畳をしない。
図１１は、変形例２に係る画像処理装置における画像処理の一例を示すフローチャートである。
変形例２に係る画像処理は、実施の形態に係る画像処理と比較して、ステップＳ２１およびＳ２２が追加されている点が異なる。実施の形態に係る画像処理と同様の処理の説明は、省略する。
まず、実施の形態と同様にステップＳ１１〜Ｓ１３が行われる。
ステップＳ１３の後に、判定部１０５は、車両１から所定の距離以内の位置に後続車両が位置するか否かを判定する（Ｓ２１）。
画像処理部１０３は、判定部１０５により、車両１から所定の距離以内の位置に後続車両が位置すると判定された場合（Ｓ２１でＹｅｓ）、位置画像８０を重畳せずに、重畳しない、切り出した後の画像を出力する（Ｓ２２）。
一方で、画像処理部１０３は、判定部１０５により、車両１から所定の距離以内の位置に後続車両が位置しないと判定された場合（Ｓ２１でＮｏ）、ステップＳ１４、Ｓ１５を行う。
これによれば、後続車両が近づいて画像内に大きく映り込んでいる場合、画像処理部１０３は、位置画像８０を重畳しないため、画像に写り込んでいる後続車両のサイズと位置画像８０のサイズとの差が大きくなることで運転手Ｕ１に与える違和感を低減することができる。
［４−３．変形例３］
上記実施の形態およびその変形例１、２に係る画像表示システム１００、１００Ａは、複数の撮像装置１２〜１４を備える構成としたが、これに限らずに、１つの撮像装置を備える構成としてもよい。
［４−４．変形例４］
上記実施の形態では、位置検出部１０２は、撮像部３０を有し、撮像部３０により得られた画像に顔認識処理を実行することで表示装置４０に対する運転手の顔位置を特定するとしたが、これに限るものではない。例えば、位置検出部は、デプスセンサを有し、デプスセンサが検出した結果を用いて運転手の顔位置を特定してもよい。また、位置検出部は、サーモグラフィを有し、サーモグラフィが検出した結果を用いて運転手の顔位置を特定してもよい。
なお、上記各実施の形態において、画像処理装置１０の各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得し、運転手の顔位置を検出し、検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理方法を実行させる。
以上、本発明の一つまたは複数の態様に係る画像処理装置、画像表示システムおよび画像処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、車両との位置関係を把握しやすい、車両の後方の撮像した画像を出力することができる画像処理装置、画像表示システムおよび画像処理方法などとして有用である。
１ 車両
１０、１０Ａ 画像処理装置
１２〜１４ 撮像装置
２１ 運転席
２２ ステアリングホイール
３０ 撮像部
４０ 表示装置
５０ 合成画像
５１〜５５、６０、６１ 画像
７１、７２ 範囲
８０ 位置画像
１００、１００Ａ 画像表示システム
１０１ 取得部
１０２ 位置検出部
１０３、１０３Ａ 画像処理部
１０４ 記憶部
１０５ 判定部
Ｄ１、Ｄ２ 方向
ｄ１ 第１距離
ｄ２ 第２距離
Ｐ１、Ｐ２、Ｐ３、Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２ 位置
Ｒ１、Ｒ２、Ｒ３、Ｒ１０ 撮像範囲
Ｕ１ 運転手
θ１０、θ１１、θ２０ 角度範囲

Claims (12)

  1. 車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、
    運転手の顔位置を検出する位置検出部と、
    前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、を備え、
    前記画像処理部は、前記位置検出部が検出した前記顔位置が前記車両の左右方向の一方側に移動していた場合、前記対象画像から前記第２画像を切り出す範囲を前記顔位置が移動する前の範囲よりも前記車両の左右方向の他方側に移動させ、前記位置画像を重畳させる位置を前記顔位置が移動する前の位置よりも前記車両の左右方向の一方側に移動させる
    画像処理装置。
  2. 前記画像処理部は、前記車両の車室内に配置されている表示装置の表示面をミラーと仮定したときに、当該表示面を介して、前記位置検出部により検出された前記顔位置において前記運転手が見ることができると推定される範囲を、前記対象画像から切り出す
    請求項１に記載の画像処理装置。
  3. 前記画像処理部は、前記顔位置が移動した場合に、前記位置画像を重畳させる位置を移動させる第１距離を、前記第２画像を前記対象画像から切り出す前記範囲を移動させる第２距離よりも長くする
    請求項１に記載の画像処理装置。
  4. 車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、
    運転手の顔位置を検出する位置検出部と、
    前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、を備え、
    前記位置画像は、前記第２画像よりも小さい画像であり、前記運転手よりも後ろの位置にある前記車両の装備品を示す模式図である
    画像処理装置。
  5. 前記画像処理部は、所定の入力に応じて前記位置画像の透明度を変更する
    請求項１から４のいずれか１項に記載の画像処理装置。
  6. さらに、
    前記車両周辺の照度を検出する照度センサを備え、
    前記所定の入力は、前記照度センサにより検出された前記照度であり、
    前記画像処理部は、前記照度が小さいほど前記透明度を大きくする
    請求項５に記載の画像処理装置。
  7. さらに、
    互いに異なる複数種類の前記位置画像を記憶している記憶部を備え、
    前記画像処理部は、前記記憶部に記憶されている前記複数種類の位置画像のうちの、予め選択された１以上の位置画像を前記第２画像に重畳する
    請求項１から６のいずれか１項に記載の画像処理装置。
  8. 車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得する取得部と、
    運転手の顔位置を検出する位置検出部と、
    前記位置検出部により検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、画像処理後の第３画像を出力する画像処理部と、
    前記車両から所定の距離以内の位置に後続車両が位置するか否かを判定する判定部と、を備え、
    前記画像処理部は、前記所定の距離以内の位置に前記後続車両が位置したと前記判定部により判定された場合、前記画像処理において前記位置画像の重畳をしない
    画像処理装置。
  9. 請求項１から８のいずれか１項に記載の画像処理装置と、
    前記撮像装置と、
    前記画像処理装置により出力された前記第３画像を表示する表示装置と、を備える
    画像表示システム。
  10. 車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得し、
    運転手の顔位置を検出し、
    検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳し、
    前記顔位置が前記車両の左右方向の一方側に移動していた場合、前記対象画像から前記第２画像を切り出す範囲を前記顔位置が移動する前の範囲よりも前記車両の左右方向の他方側に移動させ、前記位置画像を重畳させる位置を前記顔位置が移動する前の位置よりも前記車両の左右方向の一方側に移動させる画像処理を行い、
    画像処理後の第３画像を出力する
    画像処理方法。
  11. 車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得し、
    運転手の顔位置を検出し、
    検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像であって、前記第２画像よりも小さい画像であり、前記運転手よりも後ろの位置にある前記車両の装備品を示す模式図である前記位置画像を重畳する画像処理を行い、
    画像処理後の第３画像を出力する
    画像処理方法。
  12. 車両の後方を撮像する向きで前記車両に配置されている撮像装置により撮像された第１画像を前記撮像装置から取得し、
    運転手の顔位置を検出し、
    検出された前記顔位置に応じて、前記第１画像を含む対象画像のうち当該顔位置に対応する範囲を切り出すと共に、切り出すことにより得られた第２画像の前記顔位置に対応する位置に前記車両の位置を示す位置画像を重畳する画像処理を行い、
    前記車両から所定の距離以内の位置に後続車両が位置するか否かを判定し、
    前記画像処理では、前記所定の距離以内の位置に前記後続車両が位置したと判定された場合、前記画像処理において前記位置画像の重畳をしない
    画像処理方法。
JP2018062600A 2018-03-28 2018-03-28 画像処理装置、画像表示システムおよび画像処理方法 Active JP6890288B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018062600A JP6890288B2 (ja) 2018-03-28 2018-03-28 画像処理装置、画像表示システムおよび画像処理方法
DE112018007360.2T DE112018007360T5 (de) 2018-03-28 2018-10-26 Bildverarbeitungsvorrichtung, Bildanzeigesystem und Bildverarbeitungsverfahren
PCT/JP2018/039984 WO2019187283A1 (ja) 2018-03-28 2018-10-26 画像処理装置、画像表示システムおよび画像処理方法
US16/992,691 US11034305B2 (en) 2018-03-28 2020-08-13 Image processing device, image display system, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018062600A JP6890288B2 (ja) 2018-03-28 2018-03-28 画像処理装置、画像表示システムおよび画像処理方法

Publications (3)

Publication Number Publication Date
JP2019175133A JP2019175133A (ja) 2019-10-10
JP2019175133A5 JP2019175133A5 (ja) 2020-05-21
JP6890288B2 true JP6890288B2 (ja) 2021-06-18

Family

ID=68061066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018062600A Active JP6890288B2 (ja) 2018-03-28 2018-03-28 画像処理装置、画像表示システムおよび画像処理方法

Country Status (4)

Country Link
US (1) US11034305B2 (ja)
JP (1) JP6890288B2 (ja)
DE (1) DE112018007360T5 (ja)
WO (1) WO2019187283A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
JP7484722B2 (ja) * 2018-12-11 2024-05-16 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理システム
US20200294194A1 (en) * 2019-03-11 2020-09-17 Nvidia Corporation View synthesis using neural networks
CN110956134B (zh) * 2019-11-29 2023-08-25 华人运通(上海)云计算科技有限公司 人脸识别方法、装置、设备以及计算机可读存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP4364471B2 (ja) * 2001-12-28 2009-11-18 株式会社エクォス・リサーチ 車両の画像処理装置
JP4323377B2 (ja) * 2004-05-24 2009-09-02 オリンパス株式会社 画像表示装置
JP4855158B2 (ja) * 2006-07-05 2012-01-18 本田技研工業株式会社 運転支援装置
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP5118605B2 (ja) * 2008-10-30 2013-01-16 クラリオン株式会社 車両周辺画像表示システム
JP2010128794A (ja) * 2008-11-27 2010-06-10 Aisin Seiki Co Ltd 車両周辺認知支援装置
EP2789505B1 (en) * 2011-12-09 2017-06-28 Nissan Motor Company, Limited Video display mirror and video display mirror system
JP5321711B2 (ja) 2012-04-23 2013-10-23 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP6364702B2 (ja) 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP5562498B1 (ja) * 2014-03-04 2014-07-30 サカエ理研工業株式会社 ルームミラー及びそのルームミラーを用いた車両死角支援装置並びにそのルームミラー又は車両死角支援装置の表示画像の調整方法
JP6586090B2 (ja) * 2014-08-07 2019-10-02 株式会社半導体エネルギー研究所 運転支援システム
DE102015002923B4 (de) * 2015-03-06 2023-01-12 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für ein Fahrzeug insbesondere Nutzfahrzeug
JP2016195301A (ja) * 2015-03-31 2016-11-17 パナソニックＩｐマネジメント株式会社 画像処理装置、および、電子ミラーシステム
EP3246664A3 (en) * 2016-05-19 2018-02-14 Ricoh Company, Ltd. Information processing system and information display apparatus
US10654422B2 (en) * 2016-08-29 2020-05-19 Razmik Karabed View friendly monitor systems
JP6643969B2 (ja) * 2016-11-01 2020-02-12 矢崎総業株式会社 車両用表示装置
JP6626817B2 (ja) * 2016-11-30 2019-12-25 京セラ株式会社 カメラモニタシステム、画像処理装置、車両及び画像処理方法
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
JP6665819B2 (ja) * 2017-03-17 2020-03-13 トヨタ自動車株式会社 車載表示装置
WO2019017198A1 (ja) * 2017-07-19 2019-01-24 株式会社デンソー 車両用表示装置及び表示制御装置
US20200210733A1 (en) * 2017-08-22 2020-07-02 Seeing Machines Limited Enhanced video-based driver monitoring using phase detect sensors
US11645840B2 (en) * 2017-08-31 2023-05-09 Sony Corporation Information processing apparatus, information processing method, program, and moving body
JP2019067220A (ja) * 2017-10-02 2019-04-25 シャープ株式会社 駐車位置表示処理装置、駐車位置表示方法、およびプログラム
JP7283059B2 (ja) * 2018-11-28 2023-05-30 株式会社アイシン 周辺監視装置

Also Published As

Publication number Publication date
US20200369207A1 (en) 2020-11-26
US11034305B2 (en) 2021-06-15
WO2019187283A1 (ja) 2019-10-03
JP2019175133A (ja) 2019-10-10
DE112018007360T5 (de) 2021-01-14

Similar Documents

Publication Publication Date Title
JP6890288B2 (ja) 画像処理装置、画像表示システムおよび画像処理方法
WO2017069191A1 (ja) キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
US9025819B2 (en) Apparatus and method for tracking the position of a peripheral vehicle
JP6095985B2 (ja) 再生装置、再生システム、再生方法及びプログラム
JP5093611B2 (ja) 車両周辺確認装置
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6730614B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2010287163A (ja) 車載用画像表示装置および画像のトリミング方法
US11794667B2 (en) Image processing apparatus, image processing method, and image processing system
JP2006044596A (ja) 車両用表示装置
US20230191994A1 (en) Image processing apparatus, image processing method, and image processing system
US11987182B2 (en) Image processing apparatus, image processing method, and image processing system
KR101964864B1 (ko) 차량의 어라운드 뷰 영상의 왜곡 보정 방법
JP5299101B2 (ja) 周辺表示装置
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
US20220030178A1 (en) Image processing apparatus, image processing method, and image processing system
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
JP4945315B2 (ja) 運転支援システム及び車両
JP2020113066A (ja) 映像処理装置、映像処理方法、およびプログラム
JP2009006968A (ja) 車両用表示装置
JP4696825B2 (ja) 車両用死角映像表示装置
JPH0963000A (ja) 車両搭載用映像装置
JP6136748B2 (ja) ２次元３次元表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210506

R151 Written notification of patent or utility model registration

Ref document number: 6890288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03