JP2021510221A - 仮想カメラを自動車両のルームミラーに向けてシフトすることにより周囲環境の表示を生成するための方法、ならびにカメラ装置 - Google Patents

仮想カメラを自動車両のルームミラーに向けてシフトすることにより周囲環境の表示を生成するための方法、ならびにカメラ装置 Download PDF

Info

Publication number
JP2021510221A
JP2021510221A JP2020537604A JP2020537604A JP2021510221A JP 2021510221 A JP2021510221 A JP 2021510221A JP 2020537604 A JP2020537604 A JP 2020537604A JP 2020537604 A JP2020537604 A JP 2020537604A JP 2021510221 A JP2021510221 A JP 2021510221A
Authority
JP
Japan
Prior art keywords
image
vehicle
virtual
viewpoint
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020537604A
Other languages
English (en)
Other versions
JP7009637B2 (ja
Inventor
アルトゥーロ、クレスポ、デ、ラ、ビーナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Publication of JP2021510221A publication Critical patent/JP2021510221A/ja
Application granted granted Critical
Publication of JP7009637B2 publication Critical patent/JP7009637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本発明は、車両(1)の周囲環境(U)の表示を生成するための方法であって、第1カメラ(2)および第2カメラ(2)により各画像を捕捉するステップと、画像から仮想カメラ(3)の仮想画像(31)を生成するステップと、を含み、少なくとも車両(1)の周囲環境(U)が俯瞰的視点から第1仮想カメラ位置(33)に対して表示される第1視点と、車両(1)の周囲環境(U)の、車両(1)に対して後方の領域のみが仮想カメラ(3)の第2仮想カメラ位置(44)に対して表示される第2視点とが、仮想画像に対して選択可能である方法に関する。より優れた全体的視野を可能とするように、仮想画像(31)による周囲環境(U)の表示は、切り替え時に仮想カメラ(3)の車両(1)のルームミラー(8)に向けたシフトに適合し、且つルームミラー(8)の鏡面への到達時に仮想カメラ(3)の回転に適合する。

Description

本発明は、車両の周囲環境の表示を生成するための方法に関する。本発明の第2態様は、前述の方法を実施するのに適したプログラムコード手段を有するコンピュータプログラム製品に関する。また、本発明は、上述のプログラムコード手段が格納されたコンピュータ読取可能な媒体に関する。本発明の第4態様は、車両の周囲環境の表示を生成するためのカメラ装置に関する。
カメラシステムによる車両の周囲環境を表示することが従来技術から知られている。例えば、カメラシステムは、車両およびその周囲環境を俯瞰的視点から表示する(周囲ビューシステムとも称される)、または車両に対して後方領域を表示する(リバースカメラ)ように構成され得る。俯瞰的視点(周囲ビューとも称される)から表示を提供するように、車両は複数のカメラ、通常4つのカメラを備えている。複数のカメラの各画像は、奥行きが歪んで合成される。特に、複数のカメラの各画像は処理されて、仮想カメラの仮想画像となる。ここで、仮想カメラは、車両に対して俯瞰的視点に特に配置されている。換言すれば、仮想カメラにより捕捉されたような画像に適合した仮想画像が、複数のカメラの各画像を処理することにより生成される。リバースカメラを提供するように、車両の後部の単一のカメラが通常採用され、その画像は周囲環境を表示するように直接表示され得る。
両システム、すなわち周囲ビューおよびリバースカメラの両方が車両において一般的に使用されている場合がある。この場合、車両のユーザ、特にドライバーは、2つのシステムを切り替えることができる。或いは、DE 10 2015 000 794 A1は、2つのシステム間での自動切り替えを開示している。
俯瞰的視点からの周囲環境の表示、またはリバースカメラによる周囲環境の表示は、車両のスクリーン上でユーザ、特にドライバーに表示され得る。このようにして、特に重要な運転操作および/または駐車操作において、車両に対するドライバーの全体的視野が改善され得る。したがって、周囲ビューシステムおよびリバースカメラは、車両およびその周囲環境の全体的視野を改善するためのドライバー支援システムであり得る。
従来的に、俯瞰的視点とリバースカメラとが切り替わり、ユーザまたはドライバーが方向性を失うことが生じ得る。特に、ユーザまたはドライバーは、最初に、スクリーン上の周囲環境の表示を、各切り替え操作後に見える車両の周囲環境に関連付ける必要がある。その後でないと、全体的視野を改善するように周囲環境の表示を再び利用することができない。
本発明は、車両の周囲環境を適切に表示することにより全体的視野を改善可能にするという目的に基づいている。
本発明によるこの課題は、独立請求項の主題により解決される。更なる発展を伴う有利な実施形態は、従属請求項の主題である。
本発明の第1態様は、車両(1)の周囲環境(U)の表示を生成するための方法であって、第1カメラにより第1画像を捕捉するステップと、第2カメラにより第2画像を捕捉するステップと、前記第1画像および前記第2画像から仮想カメラの仮想画像を生成するステップと、を備え、少なくとも前記仮想カメラの第1仮想カメラ位置に対する第1視点と前記仮想カメラの第2仮想カメラ位置に対する第2視点とが、前記仮想画像に対して選択可能である方法に関する。前記第1視点においては、前記車両の前記周囲環境が俯瞰視点から表示され、前記第2視点においては、前記車両の前記周囲環境の、前記車両に対して後方の領域のみが表示される。第1視点は、車両及びその周囲環境の俯瞰的視点、すなわち透視ビューであり得る。換言すれば、第1視点による周囲環境の表示は、周囲ビューシステムに適合する。第2視点は、リバースカメラの視点であり得る。いくつか実施形態において、第1カメラはリバースカメラとして構成され、第2視点の仮想画像は第1画像に対応する。
ここで、ユーザまたはドライバーの全体的視野を改善可能とすべく、前記仮想画像の前記第1視点から前記第2視点への切り替え時に、前記周囲環境の表示は前記第1視点から前記第2視点に連続的に移行し、これにより、前記仮想画像による前記周囲環境の表示は、切り替え時に前記仮想カメラの前記車両のルームミラーへのシフトに適合し、且つ前記ルームミラーの鏡面への到達時に前記仮想カメラの回転に適合する。換言すれば、仮想画像の視点は、第1視点から第2視点に直ちに切り替えられるのではなく、仮想画像の視点は第1視点から第2視点に連続的にシフトするのである。特に、第1視点から第2視点への移行は、連続アニメーションで表示される。これにより、車両の周囲環境の表示も同様に、切り替え中及び切り替え直後において非常に理解しやすく、結果としてユーザに対する周囲環境の全体的視野が改善される。
本件出願に関して、「画像」という用語は、特に、デジタルまたはアナログ画像、またはビデオ信号等の画像信号も意味する。画像は、個々の画像、画像シーケンス、または動画、特にビデオであり得る。
一発展形態において、切り替え中に、更なる仮想カメラに対する更なる仮想画像が、前記第1画像および前記第2画像から生成されるとともに、前記仮想画像に画像内画像表示として統合されてもよい。今、本発明は、2台のカメラと関連する2つの画像に基づいて説明されている。これは、異なる視点を表示可能な最小構成に対応している。しかしながら、本発明は、2台のカメラの画像の使用に限定されるものでは全くない。同様に、本発明による方法は、3、4、5又はそれ以上のカメラを用いて実施可能である。この場合、仮想画像は、3、4、5又はそれ以上のカメラの各画像から合成される。通常、周囲ビューシステムは、4台のカメラから構成される。特に、仮想画像の第1視点及び第2視点は、カメラの個数に依存しない。好適には、本方法は、4台のカメラを用いて実施される。例えば、第1カメラは、好適にはリバースカメラとして車両の後部に配置され、第2カメラは、車両の前方領域に配置され、第3カメラおよび第4カメラは、側方に配置される。第2カメラは、車両の前方領域に配置され得る。第3及び第4カメラは、車両の側方に、例えば外部ミラーに配置され得る。カメラは、先行技術から知られる特に周囲ビューシステムのカメラである。
一発展形態において、切り替え中に、更なる仮想カメラに対する更なる仮想画像が、前記第1画像および前記第2画像から生成されるとともに、前記仮想画像に画像内画像表示として統合されてもよい。更なる仮想画像は、仮想画像とは異なる車両の周囲環境に対する視点を有し得る。したがって、仮想画像が2、3、4、5又はそれ以上の画像から合成される場合、更なる仮想画像も同じ2、3、4、5又はそれ以上のカメラの各画像のうち2、3の画像から合成され得る。更なる仮想画像により、周囲環境に対する全体的視野が更に改善され得る。
一発展形態によれば、切り替え中に、前記更なる仮想画像の視点は、前記仮想画像の視点の反対側にあってもよい。特に、第1視点から第2視点への切り替え中に、車両に対して前方の周囲環境の領域が、仮想画像により実質的に表示されてもよい。この場合、車両に対して少なくとも実質的に後方の周囲環境の少なくとも実質的に一領域が、切り替え中に更なる仮想画像により表示されてもよい。特に、仮想画像の視点の更なる仮想画像が、シフト中に、したがって仮想カメラのシフトの視覚化の間に、ルームミラーの鏡面への到達時に、仮想画像の視点の反対側にあってもよい。鏡面への到達時に、仮想カメラの回転を視覚化するように、仮想画像は更なる仮想画像と同じ視点を取り得る。例えば、更なる仮想画像の視点は、仮想画像の第2の視点に対応する。換言すれば、仮想画像の第2視点は、切り替え中に既に更なる仮想画像として仮想画像に統合され得る。これにより、周囲環境の表示が一層改善され得る。
一発展形態によれば、前記車両の前記周囲環境の、前記車両に対して後方の前記領域の反射が、前記更なる仮想画像により前記ルームミラーに表示されてもよい。換言すれば、切り替え中に、ルームミラーが配置された領域が仮想画像により省略される。更なる仮想画像は、この省略された領域において、画像内画像表示として仮想画像に統合される。これにより、実カメラの実画像においてルームミラーで見えるような車両に対して後方の周囲環境の領域の反射が視覚化され得る。これにより、仮想カメラのルームミラーへのシフトを視覚化するために、ルームミラーを実際に捕捉する画像がないという問題が解決される。これは、特に、カメラ、特に第1及び第2カメラが車両の外側又は外部にあるためである。したがって、後方領域の反射の光学的インプレッションが、切り替え中にルームミラーにおいて生成され得る。仮想画像の視点がルームミラーに到達すると直ちに、換言すれば、仮想カメラがミラーに到達すると直ちに、更なる仮想画像が仮想画像全体を占め得る。したがって、車両に対して後方の周囲環境の領域のみが表示される。
一発展形態において、前記第2仮想カメラ位置にある前記仮想カメラの捕捉範囲が、前記ルームミラーの前記捕捉範囲に適合してもよい。換言すれば、仮想画像は、ルームミラーの位置にある仮想カメラの画像を表示する。しかしながら、仮想画像は、車両の周囲環境のみが表示されて、車両の内部の表示が省略されるようなものであってもよい。したがって、車両の周囲環境の後方領域が、車両が透明であるルームミラーの態様において仮想画像により表示され得る。このようにして、後方領域が通常の視点からドライバーに表示され得ると同時に、高度な全体的視野が提供され得る。
一発展形態において、前記仮想画像の前記第1視点から前記第2視点への切り替え時に、前記仮想画像の視点は、前記車両の外部から前記車両のリアウインドウを介して前記ルームミラーに向けてシフトし、これにより、前記仮想画像の表示は、前記仮想カメラの前記車両の外部から前記車両の前記リアウインドウを介して前記ルームミラーに向けた切り替え時のシフトに適合してもよい。換言すれば、第1視点から第2視点への切り替え時に、ルームミラーは、仮想カメラの仮想空間アプローチによる表示において次第に拡大される。特に、これは、仮想画像の領域においてルームミラーが配置された後方領域の画像内画像と組み合わされる。このようにして、ルームミラーの反射を利用してルームミラーにズームインすることにより、仮想画像を、俯瞰的視点、すなわち仮想画像の第1視点における車両の視点の表示から第2視点に導くことができる。
前記ルームミラー(8)の前記鏡面への到達時に、前記仮想カメラ(3)は、160°乃至200°、好適には170°乃至190°、特に180°回転し得る。これにより、仮想カメラが最初にルームミラーに向かって移動し、そして鏡面への到達時にルームミラーの捕捉範囲に適合することが視覚化され得る。
切り替え中に、前記車両の内部を表示する領域が、前記仮想画像においてアニメーションで生成され得るとともに、前記車両の前記周囲環境を表示する前記仮想画像の領域のみが、前記第1画像および前記第2画像から生成され得る。換言すれば、車両の内部領域を表示する仮想画像の領域、および選択的に更なる仮想画像の領域は、第1画像または第2画像から生成されるのではなく、アニメーション化される。基礎となるアニメーションは、例えば、記憶ユニットに記録され、これから検索され得る。このように、車両の内部領域を画像の1つによって捕捉する必要はない。
特に、切り替え中に、前記車両のウインドウを表示する前記仮想画像の領域のみが、前記第1画像および前記第2画像から生成される。切り替え中に仮想画像が車両内にある間、車両のウインドウを表示する仮想画像の領域のみが、特に第1及び第2画像から生成される。換言すれば、切り替え中に、車両内の仮想カメラに適合した仮想画像の視点に対して車両のウインドウを介して見える車両の周囲環境の領域が、第1および第2画像から生成される。
本発明の第2態様は、コンピュータ読取可能な媒体に格納されたプログラムコード手段を有するコンピュータプログラム製品であって、前記コンピュータプログラム製品が電子制御ユニットのプロセッサで処理されるときに、先行請求項のいずれか一項に記載の車両の周囲環境の表示を生成するための方法を実施するコンピュータプログラム製品に関する。
本発明の第3態様は、プログラムコード手段が格納された特にコンピュータ読取可能なフロッピーディスク、CD、DVD、メモリカード、USB記憶ユニット等の形態にあるコンピュータ読取可能な媒体であって、前記プログラムコード手段が電子制御ユニットのメモリにロードされ前記電子制御ユニットのプロセッサで処理されるときに、車両の周囲環境の表示を生成するための方法を実施するコンピュータ読取可能な媒体に関する。
本発明の第4態様は、第1画像を捕捉するための第1カメラと、第2画像を捕捉するための第2カメラと、前記第1画像および前記第2画像から仮想カメラの仮想画像を生成するための演算ユニットと、を備える車両の周囲環境の表示を生成するためのカメラ装置であって、少なくとも前記仮想カメラの第1仮想カメラ位置に対する第1視点と前記仮想カメラの第2仮想カメラ位置に対する第2視点とが、前記仮想画像に対して選択可能であり、前記演算ユニットは、前記第1視点においては、前記車両の前記周囲環境を俯瞰視点から表示し、前記第2視点においては、前記車両の前記周囲環境の、前記車両に対して後方の領域のみを表示するように構成されるカメラ装置に関する。本発明による課題を解決するように、前記演算ユニットは、前記仮想画像の前記第1視点から前記第2視点への切り替え時に、前記周囲環境の表示を前記第1視点から前記第2視点に連続的に移行させるように構成され、これにより、前記仮想画像による前記周囲環境の表示は、切り替え時に前記仮想カメラの前記車両のルームミラーへのシフトに適合し、且つ前記ルームミラーの鏡面への到達時に前記仮想カメラの回転に適合することができる。換言すれば、仮想画像による表示は、仮想カメラのルームミラーに向けたシフト、ならびにその後の仮想カメラの特に180°の回転に適合する。
本発明による第5態様は、前記カメラ装置を備える車両に関する。特に、車両は、好適には自動車、例えば乗用車又はトラック等の自動車両として構成される。車両は、燃焼駆動装置および/または電気駆動装置を備え得る。
上述の方法の有利な実施形態および発展形態は、本発明によるカメラ装置にも同様に適用される。明確性及び簡潔性を期して、本明細書において個々の発展形態および利点については再度説明しない。
本発明の更なる特徴は、特許請求の範囲、図面および図面の説明から明らかである。上述の特徴および特徴の組み合わせ、ならびに図の説明において以下に言及する、および/または図に示す特徴および特徴の組み合わせは、それぞれ特定された組み合わせだけでなく、本発明の範囲から逸脱せずに他の組み合わせにおいても利用可能である。したがって、図面に明示されず説明もされないが説明した実施例とは別の特徴の組み合わせから生じ且つ生成され得る実施例も、本発明に包含され且つ開示されているとみなされる。したがって、独立請求項に元々記載の特徴の全てを備えない実施例および特徴の組み合わせもまた開示されているとみなされる。更に、請求項に関連して記載された特徴の組み合わせを超える又は逸脱する上述の実施例による実施例および特徴の組み合わせも開示されているとみなされる。
複数のカメラを有する車両であって、車両およびその周囲環境の透視ビューがカメラの各画像から生成される車両の概略側面図。 図1による透視ビューから車両に対して後方を向くビューへの仮想画像の視点のシフトを示す同様の概略側面図。 仮想画像が仮想カメラの別の仮想カメラ位置に対する第2視点を用いて生成される、図1の車両を示す図。 仮想カメラ画像および更なる仮想カメラ画像に対する画像内画像表示の例を示す図。
図1は、複数のカメラ2を含むカメラ装置9を有する車両1を概略側面図で示している。カメラ2のうち第1のものは、車両1の後部に配置され、その捕捉範囲は、車両に対して後方を向いている。カメラ2のうち第2のものは、車両1の前方領域に配置され、その捕捉範囲は前方を向いている。カメラ2のうち第3のものと第4のものは、車両1の左右の外部ミラーにそれぞれ配置され、それらの捕捉範囲は、車両1に対してそれぞれ左下および右下を向いている。仮想画像31が、カメラ2の画像から生成される。カメラ2の各画像は、トリミングされ、引き伸ばされ、圧縮され、合成され、および/または任意の他の方法で処理され得る。
カメラ装置9は、演算ユニット10を更に備えている。演算ユニット10は、カメラ2の各画像から仮想画像31を生成するように構成されている。仮想画像31は、第1視点からの車両1の周囲環境Uを表示する。今、第1視点は、車両1の俯瞰的視点、すなわち斜視背面ビューである。第1視点の仮想画像は、第1仮想カメラ位置33にある仮想カメラ3の画像である仮想画像31に適合している。したがって、第1視点の仮想画像31は、第1仮想カメラ位置33での捕捉範囲30を表示する。換言すれば、第1視点の仮想画像31は、第1仮想カメラ位置33にある仮想カメラ3であって、捕捉範囲30を有する仮想カメラ3の画像に適合している。これは、俯瞰的視点から周囲環境Uを表示するためのシステムであり得る。このようなシステムは、「周囲ビューシステム」とも称される。また、これに関連する視点は「周囲ビュー」とも称される。
従来技術から、車両1のユーザまたはドライバーの全体的視野を改善するように、車両1の後方に配置されたリバースカメラ21の画像を表示することが知られている。例えば、車両1はスクリーン8を備え、このスクリーン8に、第1視点の仮想画像、すなわち周囲ビュー、またはリバースカメラ21の画像を選択的に表示することができる。例えば、ユーザまたはドライバーは、周囲環境Uの表示を両方の間で変更したり、周囲環境Uの表示のうちの一方を選択したりすることがそれぞれできる。周囲環境Uの全体的視野を改善し、例えば第1視点から第2視点への切り替え時にドライバーが方向性を失うことがないように、仮想画像31の第1視点は仮想画像31の第2視点に、以下のように切り替えられる。仮想画像31の第2視点において、車両1に対して後方の車両1の周囲環境Uの領域のみが表示される。
図2aおよび図2bによれば、仮想画像31の視点は、車両1のルームミラー5に向けてシフトしている。仮想画像31の視点のシフトが実施されることにより、視点のシフトは、仮想カメラの仮想カメラ位置の第1仮想カメラ位置33からルームミラー5に向けたシフトに適合する。今、仮想画像31の視点は、車両1のリアウインドウを介してルームミラー5に向けてシフトしている。これにより、仮想カメラ3が車両1のリアウインドウを介してルームミラー5に向けてシフトしているときに、仮想カメラ3の画像に適合しているような仮想画像31が得られる。図2aによれば、仮想画像31の視点は、切り替え中ベクトル35に沿った仮想カメラ3のシフトに適合している。換言すれば、仮想画像31の視点は、車両1の外部から内部へとシフトしている。
図4は、図2aによる仮想カメラ3の仮想カメラ位置に対する仮想画像31を例示的に示している。仮想画像31は、車両1の内部に配置された仮想カメラ3の画像に適合している。
図4によれば、車両1の外部の領域6および車両1内の領域7の両方が、仮想画像31の一部として表されている。車両1内の領域7は、例えば、A、B、Cピラー、ダッシュボードおよびシートに関する。仮想画像31のこのような領域7は、車両1の内部のアニメーションにより生成される。例えば、領域7は、車両1の記憶装置に格納された既成のビデオキャプチャーから取得される。或いは、領域7は、車両1の内部のコンピュータシミュレーションにより視覚化され得る。コンピュータアニメーションの場合、有利には、領域7の視覚化を、車両1の設置内部設計(例えば、シート、設置ハンドル、設置マニュアル変速機または自動変速機の材料や色、)に適合させることが可能である。
領域6、特に車両1のウインドウ領域は、カメラ2の各画像から生成され得る。今、領域6は、仮想画像31の領域および選択的に更なる仮想画像41の領域であって、車両1のウインドウを表示している領域である。換言すれば、領域6は、車両1のウインドウを介して周囲環境Uが見えるような領域であり得る。特に、周囲環境Uを表示する仮想画像31の領域6は、カメラ2の各画像をトリミングし、引き伸ばし、圧縮し、および合成することにより生成される。
更なる仮想画像41が、画像内画像表示による仮想画像31の一部として表示されている。今、更なる仮想画像は、ルームミラー5での反射を表示する役割を果たしている。更なる仮想画像41は、更なる仮想カメラ4により生成される画像に適合している。今、更なる仮想画像41の視点は、仮想画像31の視点の反対側にある。したがって、更なる仮想カメラ4の捕捉範囲40は、仮想カメラ3の捕捉範囲30の反対側にある。更なる仮想画像41は、仮想画像31と同様に生成することができる。特に、更なる仮想画像41は、周囲環境Uを表示する領域と、車両1の内部を表示する領域の両方を備えている。車両1の内部を表示する更なる仮想画像41の領域は、アニメーションにより生成され得る。周囲環境Uを表示する更なる仮想画像41の領域は、カメラ2の各画像から生成され得る。特に、周囲環境Uを表示する更なる仮想画像41の領域は、カメラ2の各画像をトリミングし、引き伸ばし、圧縮し、および合成することにより生成される。
ルームミラー5での反射をより良好に視覚化するように、更なる仮想画像41の視点を、仮想カメラ4の画像に適合させ得る。仮想カメラ4のカメラ位置は、仮想カメラ3の仮想カメラ位置を鏡に映すことにより決定される。これを、図2aおよび図2bに示す。更なる仮想カメラ4の仮想カメラ位置は、仮想カメラ3の仮想カメラ位置をルームミラー5の鏡面に映すことにより設定されている。したがって、更なる仮想カメラ4は、仮想カメラ3の反対側にシフトしている。
仮想画像31の視点を、図4に関連するルームミラー5の表面に向けて更にシフトする。これも同様に図2aおよび図2bに示されている。図2bにおいて、ミラー5の仮想カメラ3は、ルームミラー5の表面に接触している。仮想カメラは、ベクトル36により図2aと図2bとの間でシフトしている。ベクトル36に従うシフトは、仮想画像31の視点のシフトに加えて、仮想画像31においても、更なる仮想画像41の画像内画像表示が、仮想画像31において連続的に拡大されるように、同様に視覚化される。仮想カメラ3がルームミラー5の鏡面に到達すると、更なる仮想画像41が仮想画像31の全領域を占める。したがって、仮想画像31の視点は、特に180°だけ回転させ得る。
図3に、この視点の回転を示す。この視点の180°の回転は、仮想カメラ3の180°の回転に適合している。回転後、仮想カメラ3は、第2仮想カメラ位置44にある。第2視点の仮想カメラ画像は、第2仮想カメラ位置44にある仮想カメラ3の仮想カメラ画像に適合する。したがって、車両1に対して後方の領域が、第2視点の仮想画像により表示される。好適には、車両1に対して後方の周囲環境Uの領域は、第2視点における車両1の内部を表示することなく表示される。換言すれば、周囲環境Uの後方領域の表示が生成されるが、この表示では車両1の内部は表示されていない。したがって、ルームミラー5による後方領域Uの表示に適合した周囲環境Uの後方領域の表示が得られる。ここでは、車両1は透過的に表示されている。更に換言すれば、車両1に対する周囲環境Uの後方領域の表示は、車両の後部を透過するルームミラー5の視点から得られる。

Claims (12)

  1. 車両(1)の周囲環境(U)の表示を生成するための方法であって、
    第1カメラ(2)により第1画像を捕捉するステップと、
    第2カメラ(2)により第2画像を捕捉するステップと、
    前記第1画像および前記第2画像から仮想カメラ(3)の仮想画像(31)を生成するステップと、を備え、
    少なくとも前記仮想カメラ(3)の第1仮想カメラ位置(33)に対する第1視点と前記仮想カメラ(3)の第2仮想カメラ位置(44)に対する第2視点とが、前記仮想画像に対して選択可能であり、
    前記第1視点においては、前記車両(1)の前記周囲環境(U)が、俯瞰視点から表示され、前記第2視点においては、前記車両(1)の前記周囲環境(U)の、前記車両(1)に対して後方の領域のみが表示され、
    前記仮想画像(31)の前記第1視点から前記第2視点への切り替え時に、前記周囲環境(U)の表示は前記第1視点から前記第2視点に連続的に移行し、これにより、前記仮想画像(31)による前記周囲環境(U)の表示は、切り替え時に前記仮想カメラ(3)の前記車両(1)のルームミラー(8)へのシフトに適合し、且つ前記ルームミラー(8)の鏡面への到達時に前記仮想カメラ(3)の回転に適合する、
    ことを特徴とする方法。
  2. 切り替え中に、更なる仮想カメラ(4)に対する更なる仮想画像(41)が、前記第1画像および前記第2画像から生成されるとともに、前記仮想画像(31)に画像内画像表示として統合される、
    ことを特徴とする請求項1に記載の方法。
  3. 切り替え中に、前記更なる仮想画像(41)の視点は、前記仮想画像の視点の反対側にある、
    ことを特徴とする請求項2に記載の方法。
  4. 前記車両(1)の前記周囲環境(U)の、前記車両(1)に対して後方の前記領域の反射が、前記更なる仮想画像(41)により前記ルームミラーに表示される、
    ことを特徴とする請求項2または3に記載の方法。
  5. 前記第2仮想カメラ位置(44)にある前記仮想カメラ(3)の捕捉範囲(30)が、前記ルームミラー(8)の前記捕捉範囲に適合する、
    ことを特徴とする請求項1乃至4のいずれか一項に記載の方法。
  6. 前記仮想画像(31)の前記第1視点から前記第2視点への切り替え時に、前記仮想画像(31)の視点は、前記車両(1)の外部から前記車両(1)のリアウインドウを介して前記ルームミラー(8)に向けてシフトし、これにより、前記仮想画像(31)の表示は、前記仮想カメラ(3)の前記車両(1)の外部から前記車両(1)の前記リアウインドウを介して前記ルームミラー(8)に向けた切り替え時のシフトに適合する、
    ことを特徴とする請求項1乃至5のいずれか一項に記載の方法。
  7. 前記ルームミラー(8)の前記鏡面への到達時に、前記仮想カメラ(3)は、160°乃至200°、好適には170°乃至190°、特に180°回転する、
    ことを特徴とする請求項1乃至6のいずれか一項に記載の方法。
  8. 切り替え中に、前記車両(1)の内部を表示する領域(7)が、前記仮想画像(31)においてアニメーションで生成され、前記車両(1)の前記周囲環境(U)を表示する前記仮想画像(31)の領域(6)のみが、前記第1画像および前記第2画像から生成される、
    ことを特徴とする請求項1乃至7のいずれか一項に記載の方法。
  9. 切り替え中に前記仮想カメラ(3)が前記車両(1)内にある場合、前記車両(1)のウインドウを表示する前記仮想画像(31)の領域のみが、前記第1画像および前記第2画像から生成される、
    ことを特徴とする請求項8に記載の方法。
  10. コンピュータ読取可能な媒体に格納されたプログラムコード手段を有するコンピュータプログラム製品であって、前記コンピュータプログラム製品が演算ユニット(10)のプロセッサで処理されるときに、請求項1乃至9のいずれか一項に記載の車両(1)の周囲環境(U)の表示を生成するための方法を実施する、コンピュータプログラム製品。
  11. プログラムコード手段が格納された特にコンピュータ読取可能なフロッピーディスク、CD、DVD、メモリカード、USB記憶ユニット等の形態にあるコンピュータ読取可能な媒体であって、前記プログラムコード手段が演算ユニット(10)のメモリにロードされ前記演算ユニット(10)のプロセッサで処理されるときに、請求項1乃至9のいずれか一項に記載の車両(1)の周囲環境(U)の表示を生成するための方法を実施する、コンピュータ読取可能な媒体。
  12. 車両の周囲環境の表示を生成するためのカメラ装置(9)であって、
    第1画像を捕捉するための第1カメラ(2)と、
    第2画像を捕捉するための第2カメラ(2)と、
    前記第1画像および前記第2画像から仮想カメラ(3)の仮想画像(31)を生成するための演算ユニット(10)と、を備え、
    少なくとも前記仮想カメラ(3)の第1仮想カメラ位置(33)に対する第1視点と前記仮想カメラの第2仮想カメラ位置(44)に対する第2視点とが、前記仮想画像(31)に対して選択可能であり、
    前記演算ユニット(10)は、前記第1視点においては、前記車両(1)の前記周囲環境(U)を俯瞰視点から表示し、前記第2視点においては、前記車両(1)の前記周囲環境の、前記車両(1)に対して後方の領域のみを表示するように構成され、
    前記演算ユニット(10)は、前記仮想画像(31)の前記第1視点から前記第2視点への切り替え時に、前記周囲環境(U)の表示を前記第1視点から前記第2視点に連続的に移行させるように構成され、これにより、前記仮想画像(31)による前記周囲環境(U)の表示は、切り替え時に前記仮想カメラ(3)の前記車両(1)のルームミラー(8)へのシフトに適合し、且つ前記ルームミラー(8)の鏡面への到達時に前記仮想カメラ(3)の回転に適合する、
    ことを特徴とするカメラ装置(9)。
JP2020537604A 2018-01-08 2018-12-20 仮想カメラを自動車両のルームミラーに向けてシフトすることにより周囲環境の表示を生成するための方法、ならびにカメラ装置 Active JP7009637B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018100211.4A DE102018100211A1 (de) 2018-01-08 2018-01-08 Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
DE102018100211.4 2018-01-08
PCT/EP2018/086050 WO2019134838A1 (en) 2018-01-08 2018-12-20 Method for generating a representation of an environment by shifting a virtual camera towards an interior mirror of a motor vehicle; as well as camera device

Publications (2)

Publication Number Publication Date
JP2021510221A true JP2021510221A (ja) 2021-04-15
JP7009637B2 JP7009637B2 (ja) 2022-01-25

Family

ID=65009716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020537604A Active JP7009637B2 (ja) 2018-01-08 2018-12-20 仮想カメラを自動車両のルームミラーに向けてシフトすることにより周囲環境の表示を生成するための方法、ならびにカメラ装置

Country Status (7)

Country Link
US (1) US11044395B2 (ja)
EP (1) EP3738101A1 (ja)
JP (1) JP7009637B2 (ja)
KR (2) KR102623156B1 (ja)
CN (1) CN111699516B (ja)
DE (1) DE102018100211A1 (ja)
WO (1) WO2019134838A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020213473A1 (de) 2020-10-27 2022-04-28 Continental Automotive Gmbh Kamerasystem sowie Verfahren zur Anzeige von Widgets für ein Kamerasystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010274814A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
WO2011001642A1 (ja) * 2009-06-29 2011-01-06 パナソニック株式会社 車載用映像表示装置
JP2012039341A (ja) * 2010-08-06 2012-02-23 Fujitsu Ten Ltd 画像表示システム、画像生成装置、及び、画像表示方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
EP2512133B1 (en) * 2009-12-07 2018-07-18 Clarion Co., Ltd. Vehicle periphery image display system
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
DE102011087901A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
CN103802725B (zh) * 2012-11-06 2016-03-09 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
JP6310652B2 (ja) 2013-07-03 2018-04-11 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法
DE112014004305B4 (de) * 2013-09-19 2020-09-10 Fujitsu Ten Limited Bildgenerierungsvorrichtung; Bildanzeigesystem; Bildgenerierungsverfahren und Bildanzeigeverfahren
DE102015000794A1 (de) 2015-01-23 2015-08-20 Daimler Ag Verfahren zum Anzeigen einer Umgebung eines Fahrzeugs und Rundumsicht-Anzeigevorrichtung für ein Fahrzeug
FR3044274B1 (fr) 2015-11-27 2017-11-24 Renault Sas Systeme multimedia de vehicule automobile
JP6768412B2 (ja) * 2016-08-26 2020-10-14 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010274814A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
WO2011001642A1 (ja) * 2009-06-29 2011-01-06 パナソニック株式会社 車載用映像表示装置
JP2012039341A (ja) * 2010-08-06 2012-02-23 Fujitsu Ten Ltd 画像表示システム、画像生成装置、及び、画像表示方法

Also Published As

Publication number Publication date
DE102018100211A1 (de) 2019-07-11
US20200336658A1 (en) 2020-10-22
KR20200106069A (ko) 2020-09-10
CN111699516A (zh) 2020-09-22
EP3738101A1 (en) 2020-11-18
KR20230084605A (ko) 2023-06-13
KR102623156B1 (ko) 2024-01-09
US11044395B2 (en) 2021-06-22
JP7009637B2 (ja) 2022-01-25
WO2019134838A1 (en) 2019-07-11
CN111699516B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
US9706175B2 (en) Image processing device, image processing system, and image processing method
JP6617688B2 (ja) 車両用ミラーシステム
JP5658507B2 (ja) 画像表示システム、画像生成装置、及び、画像表示方法
JP6084097B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2002019556A (ja) 監視システム
US20120105642A1 (en) Vehicle-mounted video display device
WO2011078183A1 (ja) 画像処理装置、画像処理システム、および画像処理方法
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP7009637B2 (ja) 仮想カメラを自動車両のルームミラーに向けてシフトすることにより周囲環境の表示を生成するための方法、ならびにカメラ装置
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
CN111669543A (zh) 用于停车解决方案的车辆成像系统和方法
JP7217090B2 (ja) 情報提供装置及び情報提供方法
US20180316868A1 (en) Rear view display object referents system and method
JP6370833B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
WO2017217422A1 (ja) 画像生成装置及びプログラム
CN115923660A (zh) 车辆用显示装置、车辆用显示方法以及计算机可读介质
US11188767B2 (en) Image generation device and image generation method
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP2016082329A (ja) 映像処理装置、及び車載映像処理システム
US20210287445A1 (en) Image synthesis apparatus
JP2022101751A (ja) 車両用後方画像表示装置
JP2021150838A (ja) 画像処理装置
JP2006151086A (ja) 車体撮像表示システム、それに関連する装置、方法及びシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220112

R150 Certificate of patent or registration of utility model

Ref document number: 7009637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150