JP2021000984A - 自動車用のカメラ監視システム - Google Patents

自動車用のカメラ監視システム Download PDF

Info

Publication number
JP2021000984A
JP2021000984A JP2020109191A JP2020109191A JP2021000984A JP 2021000984 A JP2021000984 A JP 2021000984A JP 2020109191 A JP2020109191 A JP 2020109191A JP 2020109191 A JP2020109191 A JP 2020109191A JP 2021000984 A JP2021000984 A JP 2021000984A
Authority
JP
Japan
Prior art keywords
image
camera
vehicle
display device
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020109191A
Other languages
English (en)
Other versions
JP2021000984A5 (ja
Inventor
リュイス・ギベール・カストロベルデ
Gibert Castroverde Lluis
ナタリア・カノーザ・ペレス
Canosa Perez Natalia
ノエリア・ロドリゲス・イバニェス
Rodriguez Ibaniez Noelia
ブレンダ・メザ・ガルシア
Meza Garcia Brenda
ジョルディ・テナス・マルティネス
Tenas Martinez Jordi
ザビエル・ビオスカ・ユステ
Biosca Yuste Xavier
ダニエル・ゲラ・ファグンデス
Guerra Fagundez Daniel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ficosa Adas SL
Original Assignee
Ficosa Adas SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ficosa Adas SL filed Critical Ficosa Adas SL
Publication of JP2021000984A publication Critical patent/JP2021000984A/ja
Publication of JP2021000984A5 publication Critical patent/JP2021000984A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1284Mirror assemblies combined with other articles, e.g. clocks with communication systems other than radio-receivers, e.g. keyless entry systems, navigation systems; with anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4048Field of view, e.g. obstructed view or direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】機械式アクチュエータなしでリアビューミラーの視野を変更するインテリジェントリアビューミラーシステムを監視する制御システムを提供する。【解決手段】自動車用のカメラ監視システム(CMS)は、外部環境からの画像をキャプチャするための、外部リアビューミラー(110,111)に関連付けられ、後方を向き、車両の外側にある画像キャプチャ手段(1102,1112)と、キャプチャ画像から、キャプチャ画像より小さく、キャプチャ画像内を移動可能な画像領域を選択するように構成されたECU(500)と、車両内部にあるスクリーンを有するディスプレイ装置(100,101,102)と、を備える。ディスプレイ装置のスクリーンは、タッチスクリーンとすることができ、CMSはさらに、ドライバのタッチでタッチスクリーン中又はディスプレイ装置の他の追加スクリーン中に表示の画像領域を移動するように構成される。【選択図】図6

Description

本発明は、電子的な(内部及び/又は外部)のリアビューミラー(rear-view mirror)アセンブリを備える自動車の制御システム内での用途を有する。
本発明は、車両の1つ又は複数のリアビューミラー(バックミラー)に表示される視野を管理するカメラ監視システム(CMS: camera monitoring system)に関連する。
タッチスクリーンは、当該技術分野において良く知られている。タッチスクリーンは、ディスプレイ表面に関連した空間分解センサを有し、そのセンサは、特に、指による正確な位置での少なくとも1つの接触を検出し、その結果として、ユーザと表示されたタッチスクリーンコンテンツとの間の相互作用が可能となる。
US20130128047A1は、タッチ型ミラーを開示し、そのミラーは、ユーザからの第1信号を入力するタッチパネルと、タッチパネルの裏面側に配置された感光性のパネルと、感光性のパネルの裏面側に配置されてタッチパネルに入力された第1信号を処理する信号処理部を含むディスプレイと、を備える。ここで、信号の電子処理装置(ECU: electronic processing unit)は、角度調整可能なリアビューカメラに接続されており、また、タッチパネルに入力される第2信号に従って角度調整可能なリアビューカメラの撮影角度を調整する。したがって、外部のリアビューカメラの位置(撮影角度)を変更するために機械式アクチュエータが含まれる。ここで、機械式アクチュエータは、ECUからの信号に基づき、そのカメラのアクティブ化/非アクティブ化を担当し、次に、ECUは、タッチパネルに接続し、ドライバは、スクリーンのタッチを介してリアビューを所望位置に入れることができる。
従来技術の問題は、機械式アクチュエータが必要であることであり、これは、コストと複雑さと時間経過による故障の可能性とを意味する。
したがって、機械式アクチュエータなしでリアビューミラーの視野を変更するインテリジェントリアビューミラーシステムを監視する制御システムを備える自動車の提供が非常に望ましい。
本発明は、前述のような問題を解決し、前に説明した技術水準での動作制限を自動車用のカメラ監視システムの提供によって克服する。自動車用のカメラ監視システムは、自動車の(外部及び/又は内部)のリアビューミラーからキャプチャされた画像を自動車の内部に配置された制御表面(例えば、ドライバが視認可能である、ドアの内部表面に配置されたスクリーン上)に表示するように構成される。提案するカメラ監視システム(CMS)は、画像をキャプチャする手段(例えば、リアビューミラーのカメラ)の視野(FOV: field of view)を管理することができ、また、機械式アクチュエータなしで、少なくともこの視野を変更することができる。
提案するCMSは、リアビューミラーのカメラのFOVを、例えば、リアビューミラーによって提供されるディスプレイのスクリーンを汚すことなく、制御表面(操作面)をタッチすることによって、管理することができる。CMSは、任意のタッチ検出技術を使用しながら、制御表面は、ユーザが画像キャプチャ手段(例えば、カメラ)の視野を表面のタッチで管理できる任意の表面(例えば、他のディスプレイ、ディスプレイ内の他の部分、など)とすることができる。
更に、提案するCMSは、制御表面をタッチすることなく(すなわち、タッチレススクリーンを介して)、例えば、任意のジャスチャー検出技術を使用することによって、リアビューミラーのカメラのFOVを管理することができる。タッチレスの制御表面は、例えば、(i)(カメラを使用しないで)スクリーンの感度性能を増加させること、(ii)画像分類器に基づくカメラを使用すること、のような、異なる手法で実施してもよい。
表示のFOVの変更は、所定条件でのみCMSによって実施してもよい。例えば、視野は、自動車が停止した(すなわち、移動していない)場合にのみ、変更することができる。車両が移動しているか否かを判断するために、CMSは、車両の通信バス(例えば、CAN)に接続される車両の電子制御装置(ECU: electronic control unit)を使用することができる。代替的には、自動車が移動しているか否かの判断は、複数のフレーム(画像)を取得する少なくとも1つのカメラと、それらのフレーム(現在のフレーム対以前のフレーム)を比較してフレーム間の差異が移動の決定に十分であるかどうかを判断する制御ユニットと、を使用することによっても、実行することができる。
本発明の態様は、自動車用のカメラ監視システムに関し、該システムは、以下の画像キャプチャ手段と、電子制御装置又はECUと、少なくとも1つのディスプレイ装置と、を備える。
- 画像キャプチャ手段(例えば、カメラ)は、少なくとも、車両の外部のリアビューミラーに関連する。本発明のコンテキストにおいて、外部のリアビューミラーは、画像キャプチャ手段が配置又はマウントされた、車両のエクステリア部分に配置されるマウントアセンブリ(例えば、ウイングレット(winglet)又はシャークフィン(sharkfin))を指す。画像キャプチャ手段は、車両の外部視野からの画像をキャプチャするように構成され、その視野(FOV)は、車両の外部で少なくとも側方および後方に広がり、車両のエクステリア部分(好ましくは、車両の外側横面にある部分または車両の側面)の一部を包含する。
- 電子制御装置又はECUは、画像キャプチャ手段に接続される。ECUは、画像キャプチャ手段によってキャプチャされた画像からの少なくとも画像領域(又は画像セクション)を選択するように、構成される。ECUによって選択される画像領域は、画像キャプチャ手段によってキャプチャされた画像よりも小さい。また、選択された画像領域は、キャプチャされた画像内で移動させることができる。
- 少なくとも1つのディスプレイ装置は、車両の内部に配置され、ECUに接続される。そのディスプレイ装置は、少なくとも1つのスクリーン(screen)(又は画面)を含む。ディスプレイ装置のその、少なくとも1つのスクリーンは、タッチスクリーンとすることができ、この場合、カメラ監視システムは、前記少なくとも1つのディスプレイ装置(そのディスプレイ装置の当該スクリーン又は他のスクリーン)に表示される画像領域を移動させるように構成されたタッチスクリーンに制御表面を、更に備える。加えて、又は、代替手段として、カメラ監視システムは、表示される画像領域を移動させるためのジャスチャー検出器を、更に備える。
本発明の他の態様は、上述の、2つのカメラ監視システム(CMS)に関し、1つのCMSは、(車両の左側の外部のリアビューミラーに関連する画像キャプチャ手段を備えて、)車両の左側に配置され、他のCMSは、(車両の右側の外部のリアビューミラーに関連する画像キャプチャ手段を備えて、)車両の右側に配置される。2つのカメラ監視システムは、内部のリアビューミラーシステムを、更に備え、車両のECUは、2つのカメラ監視システムと内部のリアビューミラーシステムとをすべて制御する1つの制御系であってもよい。
本発明は、従来技術に対して利点を有し、例えば以下のように要約できる。
- 本発明は、ユーザの設定情報及び/又は現在の運転情報に応じて、表示される画像を適合可能である車両視野システムを提供できる。
- 本発明は、車体に固定される外部カメラのFOV調整を実行できするときに、外部カメラのアクチュエータ又は機械的移動を不要とする。
- 側面「ミラー」のミラー要素が回避され、且つ、カメラが光を反射させるミラー表面全体よりも小さくできるので、本発明は、側面ミラーのサイズを小さくすることができる。また、スクリーン(ディスプレイ)の位置が外部から内部に変更できる(スクリーンは、車の内部に、好ましくは、例えばドアに、配置される)ので、外部のスクリーンが回避される。
- 本発明は、ジェスチャを検出するように適合されたマルチタッチ感知ディスプレイを使用して、制御を実行できる。次に、制御のアクションは、表示画面の頂上にあるデジタルボタン(オーバーレイ)を押す代わりに、或いは、(画面を汚す)指でのディスプレイをタッチする代わりに、ドライバのジェスチャによってトリガーされて、また、広範囲のアクションを提供できる。すなわち、ドライバは、小さな又は限られたサイズのスクリーン内ではなく、空中での(頭又は指を使った)関連のジェスチャを実行できる。
これらの利点及び他の利点は、発明の詳細な説明からも、明らかになるであろう。
本発明の特徴の理解を助ける目的で、好ましい実用的な実施形態に従い、また、説明を補足するために、以下の図面は、例示的で非限定的な役割を持って、添付される。
本発明の可能な実施形態に従って、2つの外部のリアビューミラー又はウイングレットと3つの内部ディスプレイとを使用するカメラ監視システム(CMS)を備えた自動車を示す。 本発明の可能な実施形態に従って、CMS用のECUによってディスプレイのうちの1つのディスプレイ内のタッチスクリーンが2つの部分に分割されたことを表す概略図に示す。 本発明の可能な他の実施形態に従って、タッチスクリーンとフレームカバーとを備えたディスプレイの分解図を示す。 本発明の可能な更なる別の実施形態に従って、タッチスクリーン及びタッチレススクリーンと、両方のスクリーンを覆うフレームと、を備えたディスプレイの分解図を示す。 カメラ監視用のスクリーン印刷されたボタンのあるフレームを示す。 本発明の好ましい実施形態による、CMSコンポーネントを表すブロック図を示す。 本発明の可能な実施形態による、左外部ウイングレットおよび関連する内部ディスプレイを示す。 図8〜図13は、本発明の可能な実施形態による、表示される画像の、CMSによって制御される、異なる画像セクションの概略図を示す。 図8〜図13は、本発明の可能な実施形態による、表示される画像の、CMSによって制御される、異なる画像セクションの概略図を示す。 図8〜図13は、本発明の可能な実施形態による、表示される画像の、CMSによって制御される、異なる画像セクションの概略図を示す。 図8〜図13は、本発明の可能な実施形態による、表示される画像の、CMSによって制御される、異なる画像セクションの概略図を示す。 図8〜図13は、本発明の可能な実施形態による、表示される画像の、CMSによって制御される、異なる画像セクションの概略図を示す。 図8〜図13は、本発明の可能な実施形態による、表示される画像の、CMSによって制御される、異なる画像セクションの概略図を示す。 車両の外部カメラによってキャプチャされた異なる視野を備えた自動車を示す。
この詳細な説明で定義された事項は、本発明の包括的な理解を助けるために提供されている。したがって、当業者は、本明細書に記載された実施形態のバリエーションの変更および修正が、本発明の範囲および精神から逸脱することなく行われ得ることを認識するであろう。また、よく知られている機能と要素の説明は、明確さおよび簡潔さのために省略されている。
もちろん、本発明の実施形態は、様々なアーキテクチャプラットフォーム、オペレーティングシステム、サーバーシステム、デバイス、システム、またはアプリケーションで実装することができる。本明細書に提示される特定のアーキテクチャのレイアウトまたは実装は、例示および理解の目的でのみ提供されており、本発明の態様を限定することを意図していない。
図1は、カメラ監視システム(CMS: camera monitoring system)を備えた自動車(10)を示し、カメラ監視システムは、画像をキャプチャするように構成された画像キャプチャ手段(例えば、カメラ)を備えている。ここで、画像キャプチャ手段は、外部のマウントアセンブリ(例えば、ウイングレット(winglet)又はシャークフィン(sharkfin))に関連付けられており、そのマウントアセンブリは、自動車(10)(の車体側)のエクステリア部分に配置されている。画像キャプチャ手段は、車両(10)の外部に配置して、固定することもできる。画像キャプチャ手段は、自動車(10)の外部視野から画像を取り込むように構成され、その視野は、車両(10)の外部で少なくとも側方および後方に広がっている。また、視野は、マウントアセンブリが配置される、車両(10)のボディのエクステリア部分の一部を包含している。好ましくは、画像キャプチャ手段は、少なくとも20メートル後方および4メートル側方に延びる視野をキャプチャすることができる。
例えば、図1は、自動車(10)の両側にある2つの外部リアビューミラー(110, 111)と、内部リアビューミラー(112)と、を示している。外部リアビューミラー(110, 111)のいずれも、(機械的に)可動のウイングレットにすることもでき、或いは、固定する(可動しない)こともできる。固定される場合、1つの選択肢として、(i)拡張可能であるウイングレットを、又は、(ii)シャークフィン、具体的には、同じマウントアセンブリ内で2つのカメラ(トップビュー用の1つ及びCMS用の1つ)を有するシャークフィン、を使用することができる。図1に示される車両(10)のCMSは、外部に配置されて、且つ、外部リアビューミラー(110, 111)に関連した画像キャプチャ手段を備えおり、そこには、内部リアビューミラー(112)用の画像キャプチャ手段は、存在しない。
CMSは、画像キャプチャ手段に接続された電子制御装置すなわちECUを更に備え、画像キャプチャ手段によってキャプチャされた画像から画像領域を選択することができる。画像領域は、キャプチャされた画像よりも小さくなります。すなわち、画像領域は、画像キャプチャ手段からの画像をクロップ(crop)又はクロッピング(cropping)することによって得ることができる。
CMSは、例えば図1に示すように、自動車(10)の内部に配置され、電子制御装置(ECU)に接続された少なくとも1つの(第1の)ディスプレイ装置(100, 101, 102)を、更に備えている。ECUは、キャプチャされた画像全体を表示する代わりに、クロップされた画像として表示されるように、画像領域をディスプレイ装置(100, 101, 102)に入力することができる。すなわち、ECUは、キャプチャされた画像全体をディスプレイ装置(100, 101, 102)に入力しない。さらに、前記画像領域は、ユーザのアクションに応じて、キャプチャされた画像内で移動できます。アクションは、(i)ディスプレイ装置(100, 101, 102)の制御表面上のユーザのタッチ、及び/又は、(ii)前記ディスプレイ装置(100, 101, 102)内に実装されるジャスチャー検出器又は任意のジャスチャー検出技術を使用する他の装置に対してユーザによって行われるジャスチャーとすることができる。これにより、ドライバのさまざまな対話型オプションが有効になる。
制御表面は、(第1の)ディスプレイ装置(100, 101, 102)のタッチスクリーン(200)に実装することができ、(第1の)ディスプレイ装置(100, 101, 102)は、好ましくは、キャプチャされた画像内の画像領域を移動できるように、ユーザのタッチを受信するように構成されるマルチタッチ感知ディスプレイとして機能する。
好ましくは、タッチスクリーン(200)は、特に指によって、同時にタッチされた異なる場所を検出するように構成される。マルチタッチ感知ディスプレイは、1本の指で実行されただけでなく、2本以上の指での操作が必要な複雑な操作が実施された、画像とタッチの追跡を可能とする。特に有利な点として、マルチタッチ感知ディスプレイは、2本の指と接触中の指の間隔が調整可能な変化とを使用して画像領域の拡大をさらに提供できる。特に、パン(pan)又はパンニングI(panning)とともに、指の簡単な動きで、ズームレベル(ズームイン/ズームアウト)を含む所望の構図を簡単に調整することができる。したがって、CMSは、タッチスクリーン(200)の感知能力を高めることによって1つまたは複数の指の動き及び/又はタッチも検出するように構成された、関連のタッチスクリーンコントローラを、備えることができる。
図1に示すように、外部のリアビューミラー(110, 111)及び/又ウィングミラーの場合、自動車(10)の内部のタッチスクリーン(200)は、外部(またはウィング)リアビューミラー(110, 111)の1つのみに提供され得る。このタッチスクリーン(200)を通じて、1つの外部リアビューミラー(110, 111)の少なくとも1つのパラメータ、特に、外部カメラのピボットに関連する操作パラメータ、及び/又は、外部カメラでキャプチャされた画像の画像セクション若しくは画像領域のプレゼンテーション(presentation)パラメータ、を調整できます。
別の実施形態では、タッチスクリーン(200)は、自動車(10)のインテリア部分の内部リアビューミラー(112)のために追加的に配置することができる。典型的には、内部リアビューミラー(112)と外部リアビューミラー(110, 111)とは、車両(10)のECUを介して接続される。
ディスプレイ装置(100, 101, 102)のマルチタッチスクリーン(200)は、「タッチ専用」スクリーンとして構成することできる。つまり、「タッチアンドドラッグ(touch and drag)」スクリーンを備える代わりに、CMSは、タッチスクリーン(200)に2つの異なる部分を提供することができる。ここで、ECU(500)は、ユーザ/ドライバが表示された画像の「タッチアンドドラッグ」を実行することができないタッチスクリーン(200)である第1の部分と、ユーザ/ドライバが通常、マルチタッチ感知スクリーン(200)によって提供される「タッチアンドドラッグ」操作を実行できる第2の部分と、を区別することができる。
この例によれば、ユーザは、第1の部分で「タッチ」のみ、又は、第2の部分で「タッチ&ドラッグ」を実行することができる。そうすることの技術的な利点は、第1の部分が汚れないことです。この例では、第2の部分が受け取る光(画像)は、第1の部分と同じディスプレイの画像からのものです。
好ましくは、第1の部分は、第2の部分よりも大きい。好ましくは、第2の部分の面積は、第1の部分の面積の約30%である。好ましくは、第2の部分の長さは、第1の部分の長さの20%であり、長さは、X(水平)軸に沿って定義される。
したがって、車両(10)の両側(ドアの内側)にスクリーンがあり、スクリーン全体表面が「タッチアンドドラッグ」されているのではなく、可能な実施形態によれば、車両(10)の両側(各側)にある1つのタッチスクリーン(200)は、図2に示すように、タッチスクリーン(200)の第1の部分(2001)と第2の部分(2002)とを区別するECU(500)に接続されている。ECUは、タッチスクリーン(200)の第1の部分(2001)を非アクティブ化して、「タッチ専用」画面として機能している第1の部分(2001)でユーザが「タッチアンドドラッグ」を実行できないようにする一方、ECUは、第2の部分(2002)でのみ「タッチアンドドラッグ」をアクティブ化する。別の実施形態では、ECUは、タッチスクリーン(200)の第1の部分(2001)の「タッチ」機能全体を非アクティブ化することさえできる。ユーザは、第2の部分(2002)を使用して、第1の部分(2001)に表示された画像領域のFOV並びに明るさ及び/又はコントラスト及び/又は色のパラメータを調整することが可能である。
好ましい実施形態では、前述の2つの部分(2001, 2002)を第1のディスプレイ装置(100, 101, 102)に実装するために、CMSは、図3〜図4に示すように、第1のディスプレイ装置(100, 101, 102)を部分的に覆うフレーム(300)を、さらに備える。例えば、車両(10)のドアの内側には、ドアに又は車両(10)内のどこにでもコントローラまたはECU(500)とスクリーン(200)とフレーム(300)を固定するために、固定手段(610)と結合するように適合されたハウジング(600)があり得る。したがって、これらの異なる要素の配置の順序は次のとおりです。最初に、ハウジング(600)。第2に、ECU(500)。第3に、筐体に属する固定手段(610)。第4に、ディスプレイ装置(100, 101, 102)のスクリーン(200)又は複数のスクリーン(200, 400)。そして最後に、ディスプレイ装置全体をカバーし、ユーザが見ることができるスクリーンの部分を示すフレーム(300)。
このフレームは、タッチスクリーン(200)と同じ寸法か、少なくともタッチスクリーン全体(200)を覆うように大幅に大きくなっています。フレームは、好ましくはプラスチックまたはガラスでできた、カバーであり、タッチスクリーン(200)が比較的壊れやすいので、衝撃および損傷からディスプレイ装置(100, 101, 102)も保護することができる。フレームは部分的に着色されています。好ましくは、着色は、黒色である。前記フレームは、タッチスクリーン(200)によって放出されるすべての光が通過することを可能にしない。したがって、ドライバは、フレームが着色されているつまりシルクスクリーンされているディスプレイから発せられる光を見ることはありません。フレームは、例えばタッチスクリーン(200)の上に、配置されます。したがって、スクリーンとユーザとの間に配置されるため、ユーザが見るのは「フレーム」です。
前述のように、フレームは、部分的に着色することができます。より具体的には、フレームは、着色されていない(第1の)セクションを含み、フレームの残りの部分は、色付けされています。ディスプレイの光が出てユーザから見えるようになる、フレームの透明または色合いのない部分は、さまざまな形態をとることができます。したがって、ディスプレイから放出されるすべての画像ではなく、着色されていないフレーム(画像)のセクションのみがユーザに表示/認識されます。非限定的な例によれば、図3に示すように、フレームの(第1の)着色されていないセクションのサイズは、全スクリーン(200)の約60%であり、その形状(200)は矩形であることが好ましい。着色されていないセクションの外形は、純粋に美的です。
ECU(500)は、フレームの(第1の)着色されていない部分の特定の形状に従って、タッチスクリーン(200)の第1の部分を非アクティブ化する。
別の可能な実施形態によれば、第1のディスプレイ装置(100, 101, 102)は、マルチタッチ感知スクリーン(200)に加えて、追加の第2のスクリーン(400)を有する。図4に示すように2つのスクリーンがあるため、ECU(500)によって区別される第1の部分(2001)は、タッチレスで安価に実施し得る、第2のスクリーン(400)に実装することができる。タッチスクリーン(200)の第2の部分(2002)は、「タッチアンドドラッグ」を無効にする必要がない。また、タッチスクリーン(200)に実装されたこの第2の部分(2002)は、タッチレススクリーンよりも小さいことが好ましく、ユーザのタッチによって調整される追加のスクリーンの明るさ及び/又はコントラスト及び/又は色に関連するパラメータを表示できる。技術的な利点の1つは、非タッチ感知スクリーンのコストです。追加のスクリーン(400)は、画像キャプチャ手段によってキャプチャされた画像からECU(500)によって選択された画像領域のみを表示する。この場合、コントローラまたはECU(500)は、タッチスクリーン(200)による第2の部分(2002)で獲得されたデータまたは命令に基づいて、第2の部分(2001)で表示される画像領域の画像の動き(つまり「パン」)を管理できる。
さらなる可能な実施形態では、CMSは、(単一のタッチスクリーン(200)または前述の追加のスクリーンで実施される)第2の部分(2002)を利用して、ブラインドスポット検出(BSD: Blind Spot Detection)を示すことができる。つまり、対象物が死角で検出される場合、CMSは、第1のディスプレイ装置(100, 101, 102)の前記第2の部分(2001)内のインジケータ(三角形、感嘆符など)を点灯(オン)することができる。
CMSは、第1のディスプレイ装置(100, 101, 102)パラメータ、すなわちタッチスクリーン(200)の操作パラメータを表示するために、少なくとも1つの(第2の)ディスプレイ装置(別のタッチスクリーン)を追加的に備えることができる。第1のディスプレイ装置(100, 101, 102)自体も、調整するパラメータを表示できます。より具体的には、タッチスクリーン(200)により、ユーザは、自分のタッチを使用して、第1のディスプレイ装置(100, 101, 102)の明るさ及び/又はコントラスト及び/又は色のパラメータを調整することができる。したがって、パラメータは、ディスプレイに表示される画像表示パラメータの光学的印象に関して、ディスプレイ装置のタッチスクリーン上で直接に調整できる。ドライバは、画像を明るく又は暗くして、コントラストパラメータ及びその他の一般的なパラメータ、特に、タッチスクリーン(200)に表示される画像の色関連のパラメーターセットを選択できる。可能な実施形態では、CMSは、ディスプレイ装置上のプレゼンテーションパラメータ用のスライダバー(slider bar)を挿入または重ね合わせるように、設計されている。
さらに、CMSは、第1のディスプレイ装置(100, 101, 102)の少なくとも1つの動作パラメータを使用して、特に、車両(10)に設けられた運転者支援システム(例えば、車線変更支援システム、並びに/又は、死角支援システム、並びに/又は、駐車支援及び/又は後退支援システム)を介して、情報及び/又は警告(warning)の項目を出力できる。この情報及び/又は警告の出力は、タッチスクリーン(200)上の入力に応じて調整可能である。
さらに、追加情報の少なくとも1つの項目は、タッチスクリーン(200)に表示される画像に重ね合わせることができ、また、タッチスクリーン(200)内の追加情報の表示場所での相互作用によって移動できる。別の実施形態では、項目のコンテキスト感知メニューは、タッチスクリーン(200)によってアクティブ化され、ディスプレイ装置(100, 101, 102)に表示することができる。
ECU(500)または制御ユニットは、タッチスクリーン(200)の第2の部分(2002)に示される画像上にオーバーレイされるいくつかのデジタルボタンを提供することができる。例えば、メニュー及び/又は図示のコントロールを介して実行できる特定の調整の可能性を選択した後、したがって、スライダは、タッチスクリーン(200)の制御表面上に表示され、これは、例えばスライダの位置での接触によって、グリップすることができ、表示パラメータを調整するために操作することができる。もちろん、プレゼンテーションパラメータセットを作成する他の可能性も考えられます。例えば、表示エリア上にラベルされた「+」及び/又は「−」は、タッチが感知される場合(ズーム機能)、プレゼンテーションパラメータの増加又は減少に対応するオンスクリーン制御をトリガーすることができる。特に有利には、それは、タッチスクリーンスクリーン(200)がさらなるパラメータを設定するためにも使用され得るときでもある。制御ユニットは、スクリーン(200)上にタッチスクリーンメニューを形成するように構成することができる。これにより、メニューをタッチで選択すると、メニューを表示することができ、ウイングレットのパラメータを設定することができる。ドライバは、ラベルが付けられた複数のシンボルうちの1つにある画像部分を指(又はペン)でタッチし、設定メニューで画像部分の異なるオプション(又は追加情報)を開くことができます。したがって、オーバーレイされたシンボルは、表示パラメータ、特に、コントラスト、明るさ及び色のパラメータに関連する複数のメニュー項目を持つメニューとともに配置されます。コントロール/メニューの項目の外側に表示されているタッチスクリーンをタップすることで、デフォルトの表示に戻ることも考えられます。さらに、追加情報をタッチすると、車線変更アシスタントに関する設定(特に、車線変更アシスタントの操作パラメータ)を含む対応するメニューを表示することができる。
別の選択肢として、図5に示すように、フレーム(300)にボタン(310)を描画(又は着色)することでき、これにより、ユーザは、描画されたボタン(機械的なコンポーネントではないボタン)に触れてスクリーン(200)上のデジタルボタンをトリガーできる。
一例によれば、フレームとスクリーン(200)とは、一緒になって接触している。別の例によれば、フレームとスクリーン(200)との間にギャップがあり、好ましくはギャップは、0.5mm〜4mmの間である。さらなる例によれば、コンピュータ用の典型的なマウスボール(光学式ではない)を含むジョイスティック又は物理的な押しボタンを使用することができる。ジョイスティック及び/又は物理的な押しボタンは、運転中にドライバがアクセスできる場所であればどこにでも(例えば、ドア、ダッシュボード(中央コンソール)、ステアリングホイールなどに)配置することができる。押しボタンは、上/下/左/右に移動するために、十字型の分布を持つことができる。ジョイスティックには十字または円の動きがあり、ジョイスティックの動きに従って画像を動かすことができる。スイッチ又は補助押しボタンにより、ユーザは、異なるオプション(左のCMS又は右のCMSなど)を選択することができる。トラックボールを使用することもできる。トラックボールは、ボールの小さな動きを検出するため、画像の位置をより正確に調整できる。また、タッチパッドを使用することもできる。タッチパッドを押すことによってボタンの押下がシミュレートできるため、ユーザは、パッドの長さと幅を横切って指を動かして、画像の動きを決定することができる。例えばプラスチック材又はスマートテキスタイルなど、人間のタッチを感知できる他のタイプの要素も使用できる。上記のこれらの要素はすべて、車のさまざまな要素(これらに制限されない、ドア、運転席サイドパネル、センターコンソール、セントラルタワー(セントラルアームレスト)、ステアリングホイールなど)に配置することができる。
図6は、CMSが使用する画像キャプチャ手段を示し、画像キャプチャ手段は、外部環境をキャプチャするために、車両(10)の反対側(外側)に後ろ向きに配置された外部カメラ(1102, 1112)である。各CMSカメラ(1102, 1112)は、ウイングレットである外部リアビューミラー(110, 111)に固定され、好ましくは、ウイングレットは、車のドア(601, 602)の外側に固定される。さらに、車両(10)の両側にあるウイングレットには、それぞれトップビューカメラ(1101, 1111)が組み込まれていますが、CMSによって使用されるものはない。また、車両(10)は、フロントカメラ(1300)およびリアカメラ(1400)を有し、これらは、ECU(500)がステッチング(stitching)によってトップビューを行うために使用される。特定の例では、対応するウイングレットうちの1つ(ヨーロッパと米国では、左側の外部リアビューミラー(111)のみ)に関連付けられた1つのディスプレイ装置(101)のみが実際にドライバに届く。したがって、例えば左のディスプレイ装置(101)のタッチスクリーン(200)は、左のディスプレイ装置(101)の別のスクリーン/部分に表示される画像領域(例えば、視野調整)を制御することができる。
より具体的には、図7は、左のドア(601)の外側に固定されたウイングレットである、2つの固定カメラ(トップビュー用の下の1番目のカメラ(1111)およびCMS用の後ろに焦点を合わせた2番目のカメラ(1112))を組み込んだ左の外部リアビューミラー(110)を示している。左のディスプレイ装置(101)は、左のドア(601)のもう一方の側(内側)に固定されているので、通常、ドライバであるユーザは、タッチでCMSカメラのFOVを調整することができる。トップビューカメラ(1111)は通常、地面に対する垂線からの相対角度(例えば、おおよそ、2°〜20°)で配置され、この角度は、車両のモデル(車の長さ、車の高さ、マウントアセンブリハウジングが配置される場所の外面の形状(例えばドアの形状)など)によって異なる。
可能な実施形態では、CMSの右、左のウイングレットは、それぞれ、以下のa)、b)、c)を備えることができる。
a) 感知の後方に焦点を合わせたカメラ、いわゆる右、左のCMSカメラ(1102, 1112)。
b) 感知の下方に焦点を合わせたカメラ、右、左のトップビューカメラ(1101, 1111)。
c) 感知の前方に焦点を合わせたカメラ(例えばドライバが追い越しをするときに役立つ)。特に、ドライバが右前の車両を追い越す場合、前方にあるもの(例えば、車両の前に隣接する領域)は見えません。次に、この前面カメラのおかげで、前方の画像を第2の部分(2002)に表示でき、好ましくは第2のスクリーン(400)が表示に用いられている。
図8は、ドライバが通常使用する左のディスプレイ装置(101)のタッチスクリーン(200)を示している。図9は、右のディスプレイ装置(100)のタッチスクリーン(200)を示し、通常はコドライバ(co-driver)側に固定されています。タッチスクリーン(200)に実装されたディスプレイ装置(100, 101)の第2の部分は、それぞれの外部CMSカメラ(1102, 1112)によってキャプチャされた画像の画像領域(210, 211)を表示する。画像領域(210, 211)のズームレベルは、タッチスクリーン(200)上に2本の指を配置し、タッチしながら指の間の距離を変更することによって調整可能である。
任意選択で、左のディスプレイ装置(101)の第2の部分に表示される画像領域(211)は、図11に示されるように、ECU(500)によって取得される追加の画像セクション(232)をさらに含むことができる。ECU(500)は、図10に示すような、左の外部CMSカメラ(1112)によってキャプチャされた画像(231)の端部(中央から最も遠い側)を選択して、その幅を縮小することができる。したがって、図11に示される追加の画像セクション(232)は、図10に示される外端部側のキャプチャされた画像(231)の狭められた画像に対応し、これは、左の外部リアビューミラー(110)の非球面ビューミラーをシミュレートする左の外部CMSカメラ(1112)のFOVを大幅に増加させる。外側の非球面ミラーの同じ効果は、コドライバの右側の外側のリアビューミラー(100)でも実現でき、右の外部CMSカメラ(1102)によってキャプチャされた画像から、外端部側のより狭い画像に対応する第2の追加画像セクション(230)を表示することができる。
任意選択で、左のディスプレイ装置(101)及び右のディスプレイ装置(100)がそれぞれ図12及び図13に示されているように、タッチスクリーン(200)は、第3の追加画像セクション(240)を表示する。この第3の追加画像セクションには、リアカメラ(1400)によってキャプチャされた画像が表示され、第3の追加画像セクション(240)は、それぞれの外部CMS(1102, 1112)によってキャプチャされた画像の画像領域(210, 211)の反対側に表示される。この第3の追加画像セクション(240, 241)により、ドライバは、外部リアビューミラー(110, 111)に関連付けられたディスプレイ装置(100, 101)を通して車両の後ろを見ることができます。これにより、必要なディスプレイの数が最小限になります。さらなる例によれば、第3の追加の画像セクション(240)は、ディスプレイ装置の第2の部分(2002)上に示されている。また、ドライバは「サイドゾーンビュー」の隣接エリア(1222)を見ることができます。つまり、この隣接エリアは、ドライバのディスプレイ上の「単一」の画像内における、図14に示すように、「リアゾーン」(1220)と「サイドゾーン」(1221)の間のゾーンであって、典型的には、左の外部リアビューミラー(111)に関連付けられている。
前述の実施形態の変形によれば、背面カメラ(1400)が、ディスプレイ装置(100, 101)の第2の部分に表示される画像なしで残されている場合、ディスプレイ装置(100, 101)の対応するトップビューカメラ(1101, 1111)からの画像を撮ることができる。これは、画像領域(210, 211)が、キャプチャされた画像内で移動するように、キャプチャされた画像の端(外端部)に到達できる場合に便利です。この場合、画像領域(210, 211)は第1の部分(2001)に表示されるため、第2の部分(2002)に表示される画像はありません。しかしながら、これが起こると、ECU(500)はそれを検出し、第2の部分(2002)に示される「トップビュー」画像を選択する。ECU(500)は、(i)単一のCMSデバイスのトップビューカメラのトップビュー、又は、(ii)(左、右、前、および後のカメラからの4つのトップビュー画像の「ステッチ」を実行した後に)周辺ビューのトップビューを選択することができる。任意選択で、トップビューを表示する代わりに、リアカメラ(1400)によってキャプチャされた領域(1222)からの画像(つまり、すべてのリア画像ではなく、隣接する/補完的なリア画像の部分)を第2の部分(2002)又は第2のスクリーン(400)に表示することができる。
可能な実施形態では、ディスプレイ装置(100, 101, 102)は、例えばブルートゥース(登録商標)を介して、スマートフォン又はタブレットから、ユーザ(ドライバ又はコドライバ)によって制御することができる。CMSは、ドライバが以前に入力した設定(つまり、デバイス所有者のユーザ設定:デフォルトの位置、ビューなど)を自分のスマートフォン又はタブレットにECU(500)に自動的にロードすることができる。
さらなる実施形態では、CMSのコントローラ又はECU(500)はまた、車両運転情報及び/又はユーザ情報を受信および処理するように構成され、画像領域(210, 211)は、受信された前記情報に応じて、キャプチャされた画像内で移動する。車両運転情報は、少なくとも、前向き運転方向から後向き運転方向への運転方向の変化、その逆の運転方向の変化、所定の運転速度値に対する車速の増加若しくは減少、車線の変更、ステアリング角度の変化、ピッチ角度の変化、ロール角度の変化、道路監視情報の変化に対応することができる。
一例では、ECU(500)はさらに、以下の移動を実行するように構成される。
- 運転方向が前向き運転方向から逆方向の運転方向に変更されると、視野(FOV)が下向きの方向に垂直に移動するように、下向きの垂直方向の変位に対応した画像領域(210, 211)の移動。
- 運転方向が逆方向の運転方向から前向き運転方向に変更されると、視野(FOV)が上向きの方向に垂直に移動するように、上向きの垂直方向の変位に対応した画像領域(210, 211)の移動。
さらなる例では、ECU(500)は、ピッチ角値の変化から外部リアビューミラー(110, 111)の相対的な上方および下方への動きを決定するように構成され、ECU(500)はさらに、以下の移動を実行するように構成される。
- 外部リアビューミラー(110, 111)が下方向に移動すると、視野(FOV)が下向きの方向に垂直に移動するように、下向きの垂直方向の変位に対応した画像領域(210, 211)の移動。
- 外部リアビューミラー(110, 111)が上方向に移動すると、視野(FOV)が上向きの方向に垂直に移動するように、上向きの垂直方向の変位に対応した画像領域(210, 211)の移動。
さらなる例では、ECU(500)は、例えばステアリング角度値の変化によって、車両の横方向変位を受信するように構成され、ECU(500)はさらに、以下の移動を実行するように構成される。
- 左車線変更時に視野が左方向に横方向に変位するように、右方向の横変位に対応した画像領域(210, 211)の移動。
- 右車線変更時に視野が右方向に横方向に変位するように、左方向の横変位に対応した画像領域(210, 211)の移動。
さらなる例では、ECU(500)は、以下のズームの変化に応じて画像領域(210, 211)を移動するように構成される。表示された画像のズームは、運転速度が増加して運転速度の所定値を超えると増加する。一方、車速が事前定義された走行速度値を下回ると、画像領域の面積が減少します。したがって、キャプテンされた画像のより小さな部分が画像領域(210, 211)として選択され、次に、ECU(500)で速度超過が検出されると、拡大画像が表示されます。このようにして、ドライバは、関心のある領域をよりよく見ることができる。この場合、これは車両から最も遠い領域のより詳細なビューに対応することができる。
好ましくは、ECU(500)は、ウィンカーなどの起動信号を受信するように構成され、ECU(500)はさらに、前記起動信号を受信すると画像領域(210, 211)を移動させるように構成される。
さらなる実施形態では、CMSは、ECU(500)が通信するCAN又は別のネットワーク(例えば、イーサネット(登録商標)など)から得られる速度測定値又は他の測定値で(例えば、駐車状況においてリバースギア(バックギア)に入っている場合)、動作することができる。同じ測定速度信号を使用して、車両(10)内のシステム全体のFOVを調整でき、図1及び図6に示すように、車両(10)は、右左の外部リアビューミラー(110, 111)に関連付けられたカメラ又は画像処理手段(1102)に対応する「右のCMS」と、左の外部リアビューミラー(111)に関連付けられたカメラ又は画像処理手段(1112)に対応する「左のCMS」と、内部リアビューミラー(112)に関連付けられたインテリジェント内部リアビューミラーシステム(又はインテリジェントリアビュー監視システム(IRMS: intelligent rear-view monitoring system))と、を備えている。IRMS及びCMSは、同じECU(500)によって制御されている。ECU(500)は、(CANに物理的に接続できないワイヤレスカメラがあるために、又は、CANが破損しているか、CANを介して正しく送信されない値があるために、)CANが機能しない場合、「バックアップ」として機能するように、現在の画像と以前の画像と比較するように構成することができる。さらに、CMSは、事故が検出された場合に画像を保存することができる。ECU(500)は、車のCAN、又は、それ自身で事故の有無を決定するCANに接続することができる。代替的に、ECU(500)も、事故検出手段を備えることができる。一般に、前記事故検出手段は、加速度計を含む。この加速度計は、車又はブレーキの最大加速度でジャンプすることはないが、ショックが発生したときに減速が大きくなるように、構成されている。いずれの場合でも、画像は、デジタルボタンのオーバーレイで非表示になることはない。
ドライバは、好ましくはCMSディスプレイ装置(100, 101, 102)の第2の部分(2002)によって提供される、「タッチ&ドラッグ」を介してIRMSのFOVを調整することができる。ドライバが車の左側にいて後ろの物を見たいので、従来の中央のリアビューミラーは傾いていますが、ドライバにリアカメラ(1400)の画像を示すディスプレイを提供するIRMSの内部ルームミラーは、中央にあります。IRMSにはリアビューミラーを回転させるオプションはありませんが、ドライバは、第2の部分(2002)の「タッチ&ドラッグ」機能により、リアカメラの「クロップ&パン」を実行することができる。IRMSの「クロップ&パン」機能では、リアカメラ(1400)が画像をキャプチャし、ここで、コントローラ(車両の単一のECU、CMSの任意のECU(500)、又は、IRMSのECU)は、IRMSディスプレイに表示される画像の一部又は「画像領域」を選択します。
別の好ましい実施形態によれば、CMSは、タッチスクリーンの制御表面に基づく前述のアプローチの代替として、またはそれに加えて、ジェスチャ検出器を備えている。これにより、例えば、ドライバの指のジェスチャによる外部の画像キャプチャ手段によってキャプチャされた画像内の画像領域を移動させることができるか、又は、頭の動きによってドライバがCMSにFOVを拡張するように命令することができる。ジェスチャ検出器の実装オプションは、3つある。
i) 可能な実施形態では、ジェスチャは、車両(10)内の追加のカメラ(例えば、ユーザのディスプレイの近くのカメラ又は内部ミラーの中のカメラ)によってキャプチャされたユーザの画像で認識することができる。また、ECUは、検出されたジェスチャでの誤検知(偽陽性及び偽陰性)を回避するために、画像分類器を使用するように構成することができる。
ii) 別の可能な実施形態では、追加のカメラは不要であり、ジェスチャは、ディスプレイに触れることなく実行され、それらはスクリーンの容量感度を単に増加させることによって検出される。
iii) さらなる可能な実施形態は、埋め込みアプリケーションに必要なホスト処理を必要としないシングルチップデバイスを使用することにより、ユーザのジェスチャ検出およびモーショントラッキングを可能にする電気近接場(E-field)3Dジェスチャコントローラに基づく。したがって、CMSは、頭を回したり片手を振ったりするだけで、ドライバがFOVの開き(大きく)を望んでいることを検出し、結果として外部カメラのFOVを増加させることができる。このように、この好ましい実施形態は、ドライバが動きを作ることができる複数の可能な場所を提供する。
ジェスチャ検出器を使用するCMSの別の可能な実施形態では、クロップアンドパン機能は、ドライバの頭の動きによってトリガーされる。ドライバの頭の動きは、好ましくは車両内にある、より好ましくは(i)ドライバの前にある、又は、(ii)内部リアビューミラー内にある、或いは、CMSの近くにある、査察システムによって追跡することができる。好ましくは、ドライバの査察システムは、カメラを含み得る。査察システムは、ドライバの頭の位置及び距離を計算できる場合がある。したがって、キャプチャされた画像内の画像領域(210, 211)は、手動で(例えば、スクリーンスライドコマンドで、又は、タッチアンドドラッグ機能で)、制御可能であるが、ジェスチャ検出器によって動きがキャプチャされる場合にはドライバの頭が前方に移動することでも、制御可能である。
本出願では、「備える」という用語とその派生語(例えば、「備えている」、など)は、除外の意味で理解されるべきではないことに注意してください。つまり、これらの用語は、説明又は定義されている可能性(さらなる他の要素、他のステップなどが含まれる場合があること)を除外するものとして解釈されるべきではない。

Claims (15)

  1. 車両(10)の外部リアビューミラー(110, 111)に関連付けられた画像キャプチャ手段(1102, 1112)であって、前記外部リアビューミラー(110, 111)は、前記車両(10)のエクステリア部分に配置されたマウントアセンブリであり、前記画像キャプチャ手段(1102, 1112)は、前記マウントアセンブリに配置されて、前記車両(10)の外部の視野からの画像をキャプチャするように構成され、前記視野は、車両(10)の外部で少なくとも側方および後方に広がり、車両(10)の前記エクステリア部分の一部を包含する、前記画像キャプチャ手段(1102, 1112)と、
    前記画像キャプチャ手段(1102, 1112)に接続されるECU(500)と、
    を備える自動車(10)用のカメラ監視システムにおいて、
    前記ECU(500)は、前記画像キャプチャ手段(1102, 1112)によってキャプチャされた前記画像から少なくとも画像領域(210, 211)を選択するように構成され、前記画像領域(210, 211)は、キャプチャされた前記画像よりも小さく、且つ、キャプチャされた前記画像内に移動であり、
    前記車両(10)の内部に配置され、且つ前記ECU(500)に接続された、少なくとも第1のスクリーンを有する少なくとも1つのディスプレイ装置(100, 101, 102)と、
    前記少なくとも1つのディスプレイ装置(100, 101, 102)によって表示される前記画像領域(210, 211)をキャプチャされた前記画像内で移動するように構成された、前記第1のスクリーン内でマルチ感知である制御表面、及び/又は、ジェスチャ検出器と、
    を更に備えることを特徴とするカメラ監視システム。
  2. 前記ディスプレイ装置(100, 101, 102)の前記第1のスクリーンは、タッチスクリーン(200)であり、前記ディスプレイ装置(100, 101, 102)は、2つの異なる部分である、表示され画像のタッチアンドドラッグが実行できない第1の部分と前記タッチスクリーン(200)によって提供されるタッチアンドドラッグが前記ECU(500)によってアクティブ化された第2の部分とを有する、請求項1に記載のカメラ監視システム。
  3. 前記ディスプレイ装置(100, 101, 102)を少なくとも前記第1の部分及び前記第2の部分に分割するための、前記タッチスクリーン(200)を部分的に覆うフレームを、
    更に備える請求項2に記載のカメラ監視システム。
  4. 前記フレームは、部分的に着色されて、且つ、前記ディスプレイ装置(100, 101, 102)の前記第2の部分に対応する少なくとも1つの非着色部分を有する、請求項3に記載のカメラ監視システム。
  5. 前記フレームは、2つの非着色部分である、ユーザのタッチで前記タッチスクリーン(200)上のサイズ又は位置を調整可能な前記画像領域(210, 211)を表示する前記第2の部分に対応する第1の非着色部分と前記タッチスクリーン(200)の制御表面でパラメータを制御するための制御項目を表示する前記第2の部分に対応する第2の非着色部分とを有する、請求項4に記載のカメラ監視システム。
  6. 前記タッチスクリーン(200)の制御表面で制御されるパラメータは、前記ディスプレイ装置(100, 101, 102)の明るさ、コントラスト、及び、色を含む郡の中から選択される、請求項3〜請求項5の何れか1項に記載のカメラ監視システム。
  7. 前記タッチスクリーン(200)の制御表面で制御されるパラメータは、前記画像キャプチャ手段(1102, 1112)の前記視野の高さ、及び、前記画像キャプチャ手段(1102, 1112)の前記視野の幅を含む郡の中から選択される、請求項3〜請求項6の何れか1項に記載のカメラ監視システム。
  8. 制御項目は、前記フレームに描かれたボタン、デジタルボタン、及び、デジタルメニューを含む郡の中から選択される、請求項3〜請求項7の何れか1項に記載のカメラ監視システム。
  9. 前記ディスプレイ装置(100, 101, 102)の前記第1の部分及び前記第2の部分は、同じ前記タッチスクリーン(200)である、請求項2〜請求項8の何れか1項に記載のカメラ監視システム。
  10. 前記ディスプレイ装置(100, 101, 102)は、タッチ感知でない第2スクリーン(400)を更に備え、前記ディスプレイ装置(100, 101, 102)の前記第1の部分は、前記第2スクリーン(400)であり、前記ディスプレイ装置(100, 101, 102)の前記第2の部分は、前記タッチスクリーン(200)である、請求項2〜請求項8の何れか1項に記載のカメラ監視システム。
  11. ドライバのジェスチャをキャプチャするように構成された、前記車両(10)内の追加カメラを、
    更に備え、
    前記ジェスチャ検出器は、画像分類器を使用する前記ECU(500)によって実装される、請求項1〜請求項10の何れか1項に記載のカメラ監視システム。
  12. 前記ジェスチャ検出器は、前記ディスプレイ装置(100, 101, 102)の増大された容量感度でタッチ感知スクリーンによって実装される、請求項1〜請求項11の何れか1項に記載のカメラ監視システム。
  13. 前記ジェスチャ検出器は、電気近接場ジェスチャコントローラに基づく電子装置によって実装される、請求項1〜請求項12の何れか1項に記載のカメラ監視システム。
  14. 前記画像キャプチャ手段(1102, 1112)は、車両(10)の外側に固定して配置される、請求項1〜請求項13の何れか1項に記載のカメラ監視システム。
  15. インテリジェントリアビューミラーに関連した画像キャプチャ手段を有するインテリジェントリアビュー監視システム(IRMS: intelligent rear-view monitoring system)をそなる自動車(10)において、
    車両(10)の左側に配置されて前記左側の外部リアビューミラー(111)に関連付けられた画像キャプチャ手段(1112)を有する、請求項1〜請求項14の何れか1項に記載のカメラ監視システムに従う第1のカメラ監視システムと、
    前記車両(10)の右側に配置されて前記右側の外部リアビューミラー(110)に関連付けられた画像キャプチャ手段(1102)を有する、請求項1〜請求項14の何れか1項に記載のカメラ監視システムに従う第2のカメラ監視システムと、
    を更に備え、
    前記画像キャプチャ手段(1102, 1102)のすべてに接続される単一のECU(500)は、前記第1のカメラ監視システム及び前記第2のカメラ監視システムを制御するように構成され、且つ、前記インテリジェントリアビュー監視システム(IRMS)を制御するように構成されることを特徴とする自動車(10)。
JP2020109191A 2019-06-24 2020-06-24 自動車用のカメラ監視システム Pending JP2021000984A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19382531.2 2019-06-24
EP19382531.2A EP3756949A1 (en) 2019-06-24 2019-06-24 Camera monitoring system for motor vehicles

Publications (2)

Publication Number Publication Date
JP2021000984A true JP2021000984A (ja) 2021-01-07
JP2021000984A5 JP2021000984A5 (ja) 2023-07-03

Family

ID=67060354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020109191A Pending JP2021000984A (ja) 2019-06-24 2020-06-24 自動車用のカメラ監視システム

Country Status (4)

Country Link
US (1) US20200401818A1 (ja)
EP (1) EP3756949A1 (ja)
JP (1) JP2021000984A (ja)
CN (1) CN112135089A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220053092A (ko) * 2020-10-21 2022-04-29 현대모비스 주식회사 운전자를 위한 주행 보조 시스템 및 방법
US20230011832A1 (en) * 2020-12-23 2023-01-12 Stoneridge Electronics Ab Camera mirror system with outside air temperature sensor
EP4341121A1 (en) * 2021-05-17 2024-03-27 Atieva, Inc. Vehicle display device
EP4219237A1 (en) * 2022-01-26 2023-08-02 Ficosa Adas, S.L.U. Rear-view mirror system
US11926258B2 (en) 2022-03-24 2024-03-12 Honda Motor Co., Ltd. Vehicle ambient lighting

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827228B1 (ko) * 2006-05-01 2008-05-07 삼성전자주식회사 터치 기능을 갖는 영역 분할 수단을 제공하는 장치 및 그방법
ATE537032T1 (de) * 2008-10-28 2011-12-15 Volkswagen Ag Parkassistenzsystem und verfahren zum betreiben eines parkassistenzsystems für ein kraftfahrzeug
WO2013067082A1 (en) * 2011-11-01 2013-05-10 Magna Mirrors Of America, Inc. Vision system with door mounted exterior mirror and display
KR20130057165A (ko) 2011-11-23 2013-05-31 현대자동차주식회사 터치식 디스플레이 미러
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
DE102013002891A1 (de) * 2013-03-22 2014-09-25 Volkswagen Aktiengesellschaft Informationswiedergabesystem für ein Fahrzeug und Verfahren zum Bereitstellen von Informationen für den Benutzer eines Fahrzeugs
JP6315456B2 (ja) * 2013-05-21 2018-04-25 カルソニックカンセイ株式会社 タッチパネル式の車両用情報表示装置
US9701258B2 (en) * 2013-07-09 2017-07-11 Magna Electronics Inc. Vehicle vision system
JP6342704B2 (ja) * 2014-05-12 2018-06-13 矢崎総業株式会社 表示装置
KR101643557B1 (ko) * 2015-01-02 2016-07-29 현대자동차주식회사 차량 및 차량의 제어방법
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
KR102436513B1 (ko) * 2015-08-12 2022-08-26 삼성전자 주식회사 전자 기기의 해상도 조정 방법 및 장치
US10589676B2 (en) * 2016-06-02 2020-03-17 Magna Electronics Inc. Vehicle display system with user input display
JP6539684B2 (ja) * 2017-01-31 2019-07-03 矢崎総業株式会社 車両用表示装置および車両用表示装置の表示方法
US10310323B1 (en) * 2018-02-12 2019-06-04 Visteon Global Technologies, Inc. Bright panel display cluster

Also Published As

Publication number Publication date
CN112135089A (zh) 2020-12-25
EP3756949A1 (en) 2020-12-30
US20200401818A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
JP2021000984A (ja) 自動車用のカメラ監視システム
US11124118B2 (en) Vehicular display system with user input display
US11503251B2 (en) Vehicular vision system with split display
CN110395182B (zh) 具有电子后视镜的机动车
US10481757B2 (en) Eye gaze control system
KR102029842B1 (ko) 차량 제스처 인식 시스템 및 그 제어 방법
CN107848465B (zh) 具有盲区显示和警示系统的车辆视觉系统
US9604573B2 (en) Transmissive information display apparatus for obstacle detection outside a vehicle
US7734417B2 (en) Image processing device and method for parking support
US20150352953A1 (en) Vehicle control system with mobile device interface
US20140136054A1 (en) Vehicular image system and display control method for vehicular image
JP2021000984A5 (ja)
KR20140041815A (ko) 사물 및/또는 사람 및 이에 의해 이루어지는 및/또는 실행되는 동작 및/또는 작동 과정을 비접촉식으로 검출하기 위한 장치 및 방법
JP7077615B2 (ja) 駐車制御方法及び駐車制御装置
CN111148649B (zh) 适于车辆的虚拟人机接口系统以及相应的虚拟人机接口方法
US10755674B2 (en) Arrangement, means of locomotion and method for assisting a user in the operation of a touch-sensitive display device
US11858424B2 (en) Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof
KR101946746B1 (ko) 차량에서 비-차량 오브젝트의 위치 결정
EP3457254A1 (en) Method and system for displaying virtual reality information in a vehicle
US11220214B1 (en) Vehicle viewing system and method including electronic image displays for rearward viewing by a driver
KR101714077B1 (ko) 차량용 후방감지 카메라의 시야각 조절 시스템
KR102375240B1 (ko) 차량용 투명 디스플레이 장치
CN110850975B (zh) 具有手掌辨识的电子系统、车辆及其操作方法
JP2018103866A (ja) 車両用視認装置
EP4382365A1 (en) Virtual mirror system with a field of view activation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305