JP2016041576A - 自動化された死角の可視化のための技術 - Google Patents

自動化された死角の可視化のための技術 Download PDF

Info

Publication number
JP2016041576A
JP2016041576A JP2015159656A JP2015159656A JP2016041576A JP 2016041576 A JP2016041576 A JP 2016041576A JP 2015159656 A JP2015159656 A JP 2015159656A JP 2015159656 A JP2015159656 A JP 2015159656A JP 2016041576 A JP2016041576 A JP 2016041576A
Authority
JP
Japan
Prior art keywords
driver
processor
side mirror
causes
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015159656A
Other languages
English (en)
Other versions
JP6305962B2 (ja
Inventor
トッド・エフ．・モーゼル
F Mozer Todd
ピーター・ジェイ．・フェルメーレン
J Vermeulen Pieter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensory Inc
Original Assignee
Sensory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensory Inc filed Critical Sensory Inc
Publication of JP2016041576A publication Critical patent/JP2016041576A/ja
Application granted granted Critical
Publication of JP6305962B2 publication Critical patent/JP6305962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/0605—Rear-view mirror arrangements mounted on vehicle exterior specially adapted for mounting on trucks, e.g. by C-shaped support means
    • B60R1/0607—Rear-view mirror arrangements mounted on vehicle exterior specially adapted for mounting on trucks, e.g. by C-shaped support means with remote position control adjustment
    • B60R1/0612—Rear-view mirror arrangements mounted on vehicle exterior specially adapted for mounting on trucks, e.g. by C-shaped support means with remote position control adjustment by electrically actuated means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/182—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
    • G02B7/1822—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors comprising means for aligning the optical axis
    • G02B7/1827—Motorised alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】車両における自動化された死角の可視化を可能にするための技術を提供する。【解決手段】車両の中のコンピュータシステム４００は、車両のドライバーがサイドミラーを注視していることを決定することができる。このコンピュータシステムは、次に、その決定に応答して、ドライバーの死角にある物体の可視化を自動的に容易にすることができる。【選択図】図１

Description

[0001] 車、トラック、バスなどの車両のドライバーにより直面される1つの共通な課題は、彼らの車両のサイドミラー（side view mirror）が、いかなる時も正しく位置決めされていることを確実にすることである。特定の車両のドライバーが車両のサイドミラーを正しく位置決めしていなかった場合、ドライバーは死角を持ち、それは走路変更または他の操作を行う時に事故につながる可能性がある。一人の個人Ａのために好適なサイドミラーの位置は、例えば、高さ、姿勢、座席位置の好みなどにより、他の個人Ｂにとっては好ましくない。従って、ＡとＢが同じ車両を共用する（家族で共通である）場合、ＡとＢは、彼らが運転を変わる度にサイドミラーを調節する必要があり、それは負担になり、誤りの傾向（error-prone）になり得る。
[0002] ある既存の車両は、あらかじめ定められた数の異なったサイドミラー位置を記憶することができ、鍵を押すこと、または、特定のドライバーの鍵を検出することに応じて自動的にサイドミラーを調節することができる。このシステムは、上述の「ドライバー交替」の問題を軽減するが、各ドライバーが、最初の場所において、彼／彼女の特徴に対してサイドミラーを正しく調節していたことを保証するものでは無い。更に、このシステムは、1つの車両を共用する個人の数がメモリスロットの数を超えて増加すると、有用性が低くなる。
[0003] ある既存の車両は、また、車両の側部及び／または後部の中に組み込まれたセンサーに依存する「死角検出」システムを内装している。センサーが動きを検出する場合、それらは、車両に対し、ドライバーの死角に他の車両または他の物体がある事を示すドライバーへの警告信号を表示させる。これらの死角検出システムは、ドライバーに、彼／彼女の周囲について気付かせるための有用な二次的機構として機能するが、運転中、ドライバーがサイドミラーを正しく位置決めし、チェックするという要求を完全には解消しない。例えば、センサーは、故障する、または、ある時間期間に動作不能になる（例えば、強い雨、泥などにより）可能性があり、それは、システムが、ドライバーの死角にある、現実に存在する近くの車両や物体の存在を通報することを妨げ得る。
[0004] 車両における自動化された死角の可視化を可能にするための技術が提供される。一実施態様において、車両の中のコンピュータシステムは、車両のドライバーがサイドミラーを注視していることを決定することができる。コンピュータシステムは、その決定に応答して、自動的に、ドライバーの死角にある物体の可視化を容易にすることができる。
[0005] この中に開示された実施例の本質や利点の更なる理解が、明細書の残りの部分と添付の図面を参照することによって達成され得る。
[0006] 図１は、実施形態に従った、自動化された死角の可視化を可能にするための第１のフローチャートである。 [0007] 図２は、実施形態に従った、自動化された死角の可視化を可能にするための第２のフローチャートである。 [0008] 図３は、実施形態に従った、自動化された死角の可視化を可能にするための第３のフローチャートである。 [0009] 図４は、実施形態に従った、例示のコンピュータシステムを図示する。
詳細な説明
[0010] 以下の説明において、説明の目的のために、数多くの例や詳細が、特定の実施形態への理解を与えるために記載される。しかしながら、ある実施形態が、これらの詳細の中の何らかのものがなくても実施可能であり、または、それらの変形または等価なものを用いて実施することが可能であることは、当技術に習熟した者にとって明らかになるであろう。
１．全体像
[0011] 本開示は、車両（例えば、車、トラック、バス、オートバイなど）のドライバーが、運転中に、彼／彼女の死角を見ることを自動的に可能にするために、車両の中のコンピュータシステム／デバイスによって実装されることのできる技術を説明する。この中で用いられるように、「死角」という用語は、サイドミラーのまたはリア（rear view）ミラーのいずれかを覗くことによって、車両の制御をしている間にドライバーに見ることができない車両の周囲の領域をいう。そのような死角は、一般に、車両の側方（sides）に見いだされ、しばしば、車両のミラーの（ドライバーの特徴に関する）不正確な位置決めの結果である。
[0012] 実施形態の１つの組に従って、コンピュータシステムは、ドライバーが特定のサイドミラーを注視していることを決定することができる。この決定は、例えば、車両のステアリングホイールに取り付けられた、または、車両の中または外側のどこか他の場所に設けられたカメラを用いて実行されることができる。そして、コンピュータシステムは、この決定に応答して、ドライバーの死角（そのような死角が存在すると仮定して）の可視化を、自動的に容易にし得る。例えば、ある実施形態において、コンピュータシステムは、死角の可視化を可能にするために、サイドミラーを自動的に調節する（例えば、ドライバーの頭の位置に基づく、パン（pan：左右または上下に振る）、再位置決め、等）ことができる。他の実施形態では、コンピュータシステムは、サイドミラーの一部または車両の中の他の場所に、サイドミラーが設けられた車両の側方（side）のその瞬間の（instantaneous）ビデオストリームを表示することができる。これらの技術を用いて、ドライバーの視界は大きく改善され、それによって、走路変更および他の操作を実行するのを安全にする。
[0013] 本発明の以上の、および、他の態様は、以下のセクションにおいてさらに詳細に説明される。
２．特定の実施形態
[0014] 図1は、実施形態に従って、車両の中で、自動化された死角の可視化を可能にするための第1の技術のフローチャート１００を示す。フローチャート１００は、車両に配置／組み込みのコンピュータシステムによって、または、ローカル（即ち、車両内）とリモート（例えば、クラウドベース）とのコンピュータリソースの組み合わせを介して、実行されることが想定される。
[0015] ブロック１０２で開始し、コンピュータシステムは、まず、車両のドライバーがサイドミラーを注視している（ドライバーが、ミラーの方向に向かっての走路変更およびその他のターンをしたいだろうということを示す）ことを検出する。ある実施形態では、コンピュータシステムは、映像ベースのプロセス（vision-based process）を介して、この検出を実行することができる。例えば、コンピュータシステムは、(1) 車両のステアリングホイール（または、車両の中または外側の何らかの他の場所）に組み込まれたカメラを介して、ドライバーの顔／頭のビデオストリームまたは画像の組を取り込む； (2) 取り込まれたビデオ／画像を用いて、ドライバーの注視している方向を計算する； (3) ドライバーの注視の方向とサイドミラーの既知の場所に基づいて、ドライバーがミラーを見ていることを決定する。ステップ(2)の一部として、コンピュータシステムは、ドライバーの注視の方向を決定するために、ドライバーの眼／瞳孔の動きおよび／または位置づけを、頭／顔の位置とは独立に、または、組み合わせてのいずれかで、考慮に入れることができる。代替の実施形態では、コンピュータシステムは、他の形式の技法（例えば、モーショントラッキング等）を介して、ブロック１０２の検出を実行することができる。
[0016] 特定の実施形態において、コンピュータシステムは、運転操作を開始する目的のために、ドライバーが実際にミラーを注視していることを結論付ける前に、時間の所定期間（例えば、２秒）の間、ドライバーの注視の方向がサイドミラーに向かって指し示されていることを必要としても良い。
[0017] ブロック１０４において、コンピュータシステムは、ブロック１０２において実行された検出に応答して、自動的にサイドミラーをパン（左右または上下に振る）することができる。例えば、一実施例において、コンピュータシステムは、（ミラーの視界がドライバーの死角を通って動く（sweep）ことを確実にするために） サイドミラーを、その動きいっぱいのレンジまでパンすることができる。他の実施形態では、コンピュータシステムは、どこにドライバーの死角（または、注意すべき対象）があるのかという確信に基づいて、より限られたパンの動作を実行することができる。この後者の場合、コンピュータシステムは、車両の中／外の他のセンサーまたはカメラからデータストリームを組み入れ得る。例えば、車両が外部のセンサー／カメラを有する場合、コンピュータシステムは、サイドミラーが設置された車両の側方近くの動きを検出するために、外部のセンサー／カメラから入力を受け取ることができる。そして、コンピュータシステムは、動きが検出された位置に、それが実行するパンの動きを限定することができ、これによって、パンの動作の速度を上げ、注意すべき対象（例えば、車両、自動車、歩行者、等）を含むであろう車両周辺の特定の領域にドライバーの注意を集中させる。
[0018] 最後に、ブロック１０６において、コンピュータシステムは、サイドミラーを、その元の位置（ブロック１０４のパンの前の）に戻すことができる。一実施形態において、コンピュータシステムは、ブロック１０４のパンが完了したら、サイドミラーをその元の位置に戻し得る。他の実施形態では、コンピュータシステムは、時間の所定期間の後、または、他の基準または事象（例えば、ドライバーがサイドミラーから目を離す、ドライバーがパンを止めるように音声の指令を発する）に応答して、このステップを実行することができる。
[0019] 図２は、実施態様にしたがった、車両の中での自動化された死角の可視化を可能にするための第２の技法のフローチャート２００を示す。フローチャート２００は、図１のフローチャートと同じコンピュータシステムによって実行されることができる。
[0020] ブロック２０２において、コンピュータシステムは、車両のドライバーがサイドミラーを注視していることを検出することができる。このステップのための処理は、図１のブロック１０２と実質的に類似であり得る。
[0021] ブロック２０４において、コンピュータシステムは、ドライバーの頭の位置に基づいて、サイドミラーのための好適な位置を決定することができる。この中で用いられるように、ミラーのための「好適な位置」とは、（車両の構造の観点で可能であれば）ドライバーの視界からの任意の死角を除去する位置のことを言う。様々な実施形態において、好適な位置は、（例えば、図１のブロック１０２について検討されたカメラを介して）ドライバーの頭の場所（location）／位置（position）を特定することによって決定され得る。
[0022] サイドミラーの好適な位置が決定されると、コンピュータシステムは、その好適な位置にミラーを動かし得る（ブロック２０６）。この技法を用いると、ドライバーは、彼／彼女が車両に乗る度にサイドミラーの位置を手動で調節する必要が無くなり、それは、ドライバーが他のドライバーと車両を共用する場合に、特に有用であり得る。
[0023] ある実施形態において、コンピュータシステムは、ドライバーが最初に車両に乗り込んだ1回の時に、この自動調節を実行することができる。他の実施形態において、コンピュータシステムは、（図２に示されたように）ドライバーがサイドミラーを注視する度に、この自動調節を実行することができ、それによって、ドライバーの頭の位置における彼／彼女がドライブするときの変化にミラーが動的に適応することを可能にする。例えば、暫くドライブした後、ドライバーが前かがみの姿勢になり始めても良く、それは、ドライバーのためのサイドミラーの好適な位置を変更することができる。
[0024] 図3は、一実施形態に従った、車両の中で自動化された死角の可視化を可能にするための第3の技法のフローチャート３００を示す。フローチャート３００は、図１と２のフローチャート１００および２００と同じコンピュータシステムによって実行されることができる。
[0025] ブロック３０２において、コンピュータシステムは、車両のドライバーがサイドミラーを注視していることを検出することができる。このステップの処理は、図１と２のブロック１０２および２０２に実質的に類似であり得る。
[0026] ブロック３０４において、コンピュータシステムは、車両のサイドミラーが配置された側に設置されたビデオカメラを起動（turn on）／使用（engage）することができる。
[0027] 最後に、ブロック３０６において、コンピュータシステムは、ブロック３０４において使用されたビデオカメラからのその瞬間のビデオストリームを表示する（サイドミラーの上に、または、車両のマルチメディア／ナビゲーション・スクリーン等の何らかの他の場所において、のいずれか）。この方法で、ドライバーは、サイドミラーを単独で用いては可能ではない視野角や視界で、車両の隣にある領域（任意の死角を含む）を見ることができる。
[0028] 図３には示されていないが、コンピュータシステムは、時間の所定期間（例えば、５秒）の間、ブロック３０６においてビデオストリームを表示することができる。代替的に、コンピュータシステムは、ドライバーが車両のその側での走路変更／ドライブ操作を完了した時、自動的にビデオストリームを切断する（および、ビデオカメラを切り離す（disengage））ことができる。
３．例示のコンピュータシステム
[0029] 図４は、本発明の上述の実施形態を実装するために用いられ得るコンピュータシステム４００の簡略化されたブロック図である。図示のように、コンピュータシステムは、バスサブシステム４０４を介していくつかの周辺デバイスと通信する１またはそれより多くのプロセッサ４０２を含み得る。周辺デバイスは、記憶サブシステム４０６（メモリサブシステム４０８、ファイル記憶サブシステム４１０を備える）、ユーザインタフェース入力デバイス４１２、ユーザインタフェース出力デバイス４１４、および、ネットワークインタフェースサブシステム４１６を含む。
[0030] バスサブシステム４０４は、様々なコンポーネントとコンピュータシステム４００のサブシステムを、意図されたようにお互いに通信させるためのメカニズムを提供することができる。バスサブシステム４０４は、単一のバスとして概略的に示されているが、バスサブシステムの代替的な実施形態では、複数のバスを利用することができる。
[0031] ネットワークインタフェースサブシステム４１６は、コンピュータシステム４００と他のコンピューティングデバイスまたはネットワークとの間でデータをやり取りするためのインタフェースとして機能することができる。ネットワークインタフェースサブシステム４１６の実施形態は、有線（例えば、同軸、撚り対線、または光ファイバイーサネット（登録商標））および／または無線（例えば、Ｗｉ−Ｆｉ（登録商標）、セルラ、Ｂｌｕｅｔｏｏｔｈ（登録商標））のインタフェースを含むことができる。
[0032] ユーザインタフェース入力デバイス４１２は、ディスプレイに組み込まれたタッチスクリーン、キーボード、ポインティングデバイス（例えば、マウス、タッチパッド、等）、オーディオ入力デバイス（例えば、マイクロホン）、および／または、他の形式の入力デバイスを含むことができる。総括的に、「入力デバイス」という用語の使用は、情報をコンピュータデバイス４００に入力するための全ての可能な形式のデバイスおよびメカニズムを含むよう意図される。
[0033] ユーザインタフェース出力デバイス４１４は、ディスプレイサブシステム（例えば、フラットパネルディスプレイ）、オーディオ出力デバイス（例えば、スピーカー）、および／または、その類似のものを含むことができる。総括的に、「出力デバイス」という用語の使用は、情報をコンピュータシステム４００から出力するための全ての可能な形式のデバイスおよびメカニズムを含むように意図される。
[0034] 記憶サブシステム４０６は、メモリサブシステム４０８、および、ファイル／ディスク記憶サブシステム４１０を含むことができる。サブシステム４０８と４１０は、この中で説明された様々な実施形態の機能を提供するプログラムコードおよび／またはデータを記憶することができる、非一時的で、コンピュータ読み出し可能な記憶媒体を含むことができる。
[0035] メモリサブシステム４０８は、プログラム実行の間の命令やデータの記憶のための主のランダムアクセスメモリ（ＲＡＭ４１８）と固定された命令が記憶されるリードオンリーメモリ（ＲＯＭ）４２０とを含むいくつかのメモリを含むことができる。ファイル記憶サブシステム４１０は、プログラムとデータファイルのための持続性（即ち、不揮発）の記憶を提供することができ、磁気または半導体のハードディスクドライブ、関連する取り外し可能媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ，Ｂｌｕ−Ｒａｙ、等）を伴った光ドライブ、取り外し可能なフラッシュメモリベースのドライブまたはカード、および／または、この技術において知られている他の形式の記憶媒体を含み得る。
[0036] コンピュータシステム４００は、例示的であり、本発明の実施形態を限定することを意図されないことが理解されるべきである。コンピュータシステム４００より多くのまたは少ないコンポーネントを有する、多くの構成が可能である。
[0037] 上述の説明は、本発明の態様がどのように実装され得るかという例とともに、本発明の様々な実施形態を例示する。上の例や実施形態は、唯一の実施形態であるとみなされるべきではなく、添付の特許請求の範囲によって定義された本発明の自由度や利点を例示するために提示される。例えば、図１−３の技法は、ドライバーがサイドミラーを注視していることの検出によって駆動されるよう記載されているが、ある実施形態では、これらの技法は、他の状態／事象によって駆動されてもよい。例えば、これらの技法の１またはそれより多くは、例えば、声の指令、ユーザが方向変更シグナルを使用している、ユーザが特定のギアを使用している、等によって駆動されてもよい。
[0038] 更に、ある実施形態は、特定のプロセスまたはステップに関連して説明さているが、本発明の範囲がその説明されたフローやステップに厳格に限定されるものでないことは、当該技術分野に習熟した者には明らかである。連続するものとして説明されたステップは、並列に実行され得、ステップの順番は変えられ得、ステップは変更され、組み合わされ、追加され、除かれても良い。
[0039] 更に、ある実施形態は、ハードウェアとソフトウェアの特定の組み合わせを用いて説明されたが、ハードウェアとソフトウェアの他の組み合わせが可能であること、および、ソフトウェアの中に実装されているとして説明された特定の動作が、また、ハードウェアに実装され得ること、および、その反対が、理解されるべきである。
[0040] 明細書と図面は、限定的な意味合いよりも、むしろ例示において考慮されるべきである。他の構成、実施形態、実装例、および、均等物は、当該技術分野において技量を有する者には明らかであり、添付の特許請求の範囲に記載された発明の趣旨や範囲から逸脱することなく実施され得る。

Claims (33)

  1. コンピュータシステムによって、車両のドライバーがサイドミラーを注視していることを決定することと；
    前記決定することに応答して、前記コンピュータシステムによって、前記ドライバーの死角にある物体の可視化を自動的に容易にすることと；
    を備えた方法。
  2. 前記車両の前記ドライバーが前記サイドミラーを注視していることを決定することは、
    前記車両の中または外側に配置されたカメラを介して、前記ドライバーの顔の１つまたはそれより多くのイメージまたはビデオストリームを取り込むことと；
    前記１またはそれより多くのイメージまたは前記ビデオストリームにもとづいて、前記ドライバーの注視の方向を計算することと；
    前記サイドミラーの場所と前記ドライバーの注視の方向とにもとづいて、前記ドライバーが前記サイドミラーを注視していることを決定することと；
    を備える、請求項１に記載の方法。
  3. 前記計算することは、前記ドライバーの瞳孔の動きまたは位置を考慮に入れる、請求項２に記載の方法。
  4. 前記ドライバーの死角にある物体の可視化を自動的に容易にすることは、前記サイドミラーを自動的に調節することを備える、請求項１に記載の方法。
  5. 前記サイドミラーを自動的に調節することは、前記サイドミラーをパンすることを備える、請求項４に記載の方法。
  6. 前記パンをすることが完了した後に、所定の時間期間が経過した後に、または、前記コンピュータシステムが、前記ドライバーは、もはや、前記サイドミラーを注視していないことを決定した後に、前記サイドミラーをその元の位置に戻させることを更に備える、請求項５に記載の方法。
  7. 前記サイドミラーを自動的に調節することは、前記ドライバーの死角を除去する好適な位置に前記サイドミラーを動かすことを備える、請求項４に記載の方法。
  8. 前記好適な位置に前記サイドミラーを動かすことは、
    前記ドライバーの現在の頭の位置を検出することと；
    前記ドライバーの現在の頭の位置にもとづいて前記好適な位置を決定することと；
    を備える、請求項７に記載の方法。
  9. 前記車両の隣または後ろの動きを検出することを更に備える、請求項４に記載の方法。
  10. 前記サイドミラーを自動的に調節することは、検出された前記動きの場所に合わせるように前記サイドミラーを動かすことを備える、請求項９に記載の方法。
  11. 前記ドライバーの死角にある物体の可視化を自動的に容易にすることは、
    前記サイドミラーの一部分または前記車両の中の別の場所に、前記死角のその瞬間のビデオストリームを表示することを備える、請求項１に記載の方法。
  12. プロセッサによって実行可能なプログラムコードを記憶している非一時的なコンピュータ可読の媒体であって、
    前記プログラムコードは、
    車両のドライバーがサイドミラーを注視していることを決定することを前記プロセッサにさせるコードと；
    前記決定することに応答して、前記ドライバーの死角にある物体の可視化を自動的に容易にすることを前記プロセッサにさせるコードと；
    を備える、非一時的なコンピュータ可読の媒体。
  13. 前記車両の前記ドライバーが前記サイドミラーを注視していることを決定することを前記プロセッサにさせる前記コードは、
    前記車両の中または外側に配置されたカメラを介して、前記ドライバーの顔の１またはそれより多くのイメージまたはビデオストリームを取り込むことを前記プロセッサにさせるコードと；
    前記１またはそれより多くのイメージまたは前記ビデオストリームにもとづいて、前記ドライバーの注視の方向を計算することを前記プロセッサにさせるコードと；
    前記サイドミラーの場所と前記ドライバーの注視の方向とにもとづいて、前記ドライバーが前記サイドミラーを注視していることを決定することを前記プロセッサにさせるコードと；
    を備える、請求項１２に記載の非一時的なコンピュータ可読の媒体。
  14. 前記ドライバーの注視の方向を計算することを前記プロセッサにさせる前記コードは、前記ドライバーの瞳孔の動きや位置を考慮に入れる、請求項１３に記載の非一時的なコンピュータ可読の媒体。
  15. 前記ドライバーの死角にある物体の可視化を自動的に容易にすることを前記プロセッサにさせる前記コードは、前記サイドミラーを自動的に調節することを前記プロセッサにさせるコードを備える、請求項１２に記載の非一時的なコンピュータ可読の媒体。
  16. 前記サイドミラーを自動的に調節することを前記プロセッサにさせる前記コードは、前記サイドミラーをパンさせることを前記プロセッサにさせるコードを備える、請求項１５に記載の非一時的なコンピュータ可読の媒体。
  17. 前記プログラムコードは、更に、前記パンが完了した後に、所定の時間期間が経過した後に、または、コンピュータシステムが、前記ドライバーは、もはや、前記サイドミラーを注視していないと決定した後に、前記サイドミラーをその元の位置に戻させるコードを備える、請求項１６に記載の非一時的なコンピュータ可読の媒体。
  18. 前記サイドミラーを自動的に調節することを前記プロセッサにさせる前記コードは、前記ドライバーの死角を除去する好適な位置に前記サイドミラーを動かすことを前記プロセッサにさせるコードを備える、請求項１５に記載の非一時的なコンピュータ可読の媒体。
  19. 前記好適な位置に前記サイドミラーを動かすことを前記プロセッサにさせる前記コードは、
    前記ドライバーの現在の頭の位置を検出することを前記プロセッサにさせるコードと；
    前記ドライバーの現在の頭の位置にもとづいて、前記好適な位置を決定することを前記プロセッサにさせるコードと；
    を備えた、請求項１８に記載の非一時的なコンピュータ可読の媒体。
  20. 前記プログラムコードは、更に、前記車両の隣または後ろの動きを検出することを前記プロセッサにさせるコードを備える、請求項１５に記載の非一時的なコンピュータ可読の媒体。
  21. 前記サイドミラーを自動的に調節することを前記プロセッサにさせる前記コードは、検出された前記動きの場所の合わせるように前記サイドミラーを動かすことを前記プロセッサにさせるコードを備える、請求項２０に記載の非一時的なコンピュータ可読の媒体。
  22. 前記ドライバーの死角にある物体の可視化を自動的に容易にすることを前記プロセッサにさせる前記コードは、前記サイドミラーの一部分または前記車両の中の別の場所に、前記ドライバーの死角のその瞬間のビデオストリームを表示することを前記プロセッサにさせるコードを備える、請求項１２に記載の非一時的なコンピュータ可読の媒体。
  23. プロセッサと、
    前記プロセッサによって実行されるとき、
    車両のドライバーがサイドミラーを注視していることを決定することと；
    前期決定することに応答して、前記ドライバーの死角にある物体の可視化を自動的に容易にすることと；
    を前記プロセッサにさせる実行可能なプログラムコードを記憶している非一時的なコンピュータ可読の媒体と、
    を備えたコンピュータシステム。
  24. 前記車両の前記ドライバーが前記サイドミラーを注視していることを決定することを前記プロセッサにさせる前記プログラムコードは、
    前記車両の中または外側に配置されたカメラを介して、前記ドライバーの顔の１またはそれより多くのイメージまたはビデオストリームを取り込むことと；
    前記１またはそれより多くのイメージまたは前記ビデオストリームにもとづいて、前記ドライバーの注視の方向を計算することと；
    前記サイドミラーの場所と前記ドライバーの注視の方向とにもとづいて、前記ドライバーが前記サイドミラーを注視していることを決定することと；
    を前記プロセッサにさせるプログラムコードを備える、請求項２３に記載のコンピュータシステム。
  25. 前記ドライバーの注視の方向を計算することを前記プロセッサにさせる前記プログラムコードは、前記ドライバーの瞳孔の動きまたは位置を考慮に入れる、請求項２４に記載のコンピュータシステム。
  26. 前記ドライバーの死角にある物体の可視化を自動的に容易にすることを前記プロセッサにさせる前記プログラムコードは、前記サイドミラーを自動的に調節することを前記プロセッサにさせるプログラムコードを備える、請求項２３に記載のコンピュータシステム。
  27. 前記サイドミラーを自動的に調節することを前記プロセッサにさせる前記プログラムコードは、前記サイドミラーをパンすることを前記プロセッサにさせるプログラムコードを備える、請求項２６に記載のコンピュータシステム。
  28. 前記プログラムコードは、更に、
    前記プロセッサに、
    前記パンすることが完了した後に、所定の時間期間が経過した後に、または、前記コンピュータシステムが、前記ドライバーは、もはや、前記サイドミラーを注視していないことを決定した後に、前記サイドミラーをその元の位置に戻すことをさせる、
    請求項２７に記載のコンピュータシステム。
  29. 前記サイドミラーを自動的に調節することを前記プロセッサにさせる前記プログラムコードは、前記ドライバーの死角を除去する好適な位置に前記サイドミラーを動かすことを前記プロセッサにさせるプログラムコードを備える、請求項２６に記載のコンピュータシステム。
  30. 前記好適な位置に前記サイドミラーを動かすことを前記プロセッサにさせる前記プログラムコードは、
    前記ドライバーの現在の頭の位置を検出することと；
    前記ドライバーの現在の頭の位置にもとづいて前記好適な位置を決定することと；
    を前記プロセッサにさせるプログラムコードを備える、請求項２９に記載のコンピュータシステム。
  31. 前記プログラムコードは、更に、前記車両の隣または後ろの動きを検出することを前記プロセッサにさせる、請求項２６に記載のコンピュータシステム。
  32. 前記サイドミラーを自動的に調節することを前記プロセッサにさせる前記プログラムコードは、検出された前記動きの場所に合わせるように前記サイドミラーを動かすことを前記プロセッサにさせるプログラムコードを備える、請求項３１に記載のコンピュータシステム。
  33. 前記ドライバーの死角にある物体の可視化を自動的に容易にすることを前記プロセッサにさせる前記プログラムコードは、前記サイドミラーの一部分または前記車両の中の他の場所に、前記ドライバーの死角のその瞬間のビデオストリームを表示することを前記プロセッサにさせるプログラムコードを備える、請求項２３に記載のコンピュータシステム。
JP2015159656A 2014-08-13 2015-08-12 自動化された死角の可視化のための技術 Active JP6305962B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/458,458 US20160046236A1 (en) 2014-08-13 2014-08-13 Techniques for automated blind spot viewing
US14/458,458 2014-08-13

Publications (2)

Publication Number Publication Date
JP2016041576A true JP2016041576A (ja) 2016-03-31
JP6305962B2 JP6305962B2 (ja) 2018-04-04

Family

ID=53835865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015159656A Active JP6305962B2 (ja) 2014-08-13 2015-08-12 自動化された死角の可視化のための技術

Country Status (3)

Country Link
US (1) US20160046236A1 (ja)
EP (1) EP2985648A1 (ja)
JP (1) JP6305962B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
US20160257252A1 (en) * 2015-03-05 2016-09-08 Lenovo (Singapore) Pte. Ltd. Projection of images on side window of vehicle
CN107848465B (zh) * 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
US20170088165A1 (en) * 2015-09-29 2017-03-30 GM Global Technology Operations LLC Driver monitoring
US10115025B2 (en) * 2016-06-13 2018-10-30 Ford Global Technologies, Llc Detecting visibility of a vehicle to driver of other vehicles
CN106945607B (zh) * 2017-03-30 2020-04-21 京东方科技集团股份有限公司 车辆的控制方法及装置
WO2022192663A1 (en) * 2021-03-12 2022-09-15 Stoneridge, Inc. Vehicle camera mirror system with adjustable video feed

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60157939A (ja) * 1984-01-30 1985-08-19 Nippon Denso Co Ltd バツクミラ−自動調整装置
JP2002274265A (ja) * 2001-03-22 2002-09-25 Honda Motor Co Ltd ミラー調整装置
US20030151563A1 (en) * 2002-02-08 2003-08-14 Kulas Charles J. Reduction of blind spots by using display screens
JP2004142657A (ja) * 2002-10-25 2004-05-20 Mazda Motor Corp 車両用視認機器調整装置
JP2008062805A (ja) * 2006-09-07 2008-03-21 Toyota Motor Corp 車輌用後視鏡装置
JP2009023565A (ja) * 2007-07-20 2009-02-05 Denso It Laboratory Inc 運転支援装置および運転支援方法
JP2009280196A (ja) * 2008-04-21 2009-12-03 Denso Corp 視界提供装置、および警告装置
JP2010076660A (ja) * 2008-09-26 2010-04-08 Mazda Motor Corp 車両用ミラー角調整装置
US20120093358A1 (en) * 2010-10-15 2012-04-19 Visteon Global Technologies, Inc. Control of rear-view and side-view mirrors and camera-coordinated displays via eye gaze
JP2013047019A (ja) * 2011-08-27 2013-03-07 Denso Corp 車両用ミラー制御装置
US20130155534A1 (en) * 2011-12-16 2013-06-20 GM Global Technology Operations LLC System and method for enabling a driver of a vehicle to visibly observe objects located in a blind spot
WO2013114871A1 (ja) * 2012-01-31 2013-08-08 株式会社デンソー 運転支援装置及び運転支援方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4797588B2 (ja) * 2005-11-17 2011-10-19 アイシン精機株式会社 車両周辺表示装置
US9139135B2 (en) * 2012-09-07 2015-09-22 Musaid A. ASSAF System and method that minimizes hazards of blind spots while driving
US9073493B1 (en) * 2014-04-10 2015-07-07 Qualcomm Incorporated Method and apparatus for adjusting view mirror in vehicle

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60157939A (ja) * 1984-01-30 1985-08-19 Nippon Denso Co Ltd バツクミラ−自動調整装置
JP2002274265A (ja) * 2001-03-22 2002-09-25 Honda Motor Co Ltd ミラー調整装置
US20030151563A1 (en) * 2002-02-08 2003-08-14 Kulas Charles J. Reduction of blind spots by using display screens
JP2004142657A (ja) * 2002-10-25 2004-05-20 Mazda Motor Corp 車両用視認機器調整装置
JP2008062805A (ja) * 2006-09-07 2008-03-21 Toyota Motor Corp 車輌用後視鏡装置
JP2009023565A (ja) * 2007-07-20 2009-02-05 Denso It Laboratory Inc 運転支援装置および運転支援方法
JP2009280196A (ja) * 2008-04-21 2009-12-03 Denso Corp 視界提供装置、および警告装置
JP2010076660A (ja) * 2008-09-26 2010-04-08 Mazda Motor Corp 車両用ミラー角調整装置
US20120093358A1 (en) * 2010-10-15 2012-04-19 Visteon Global Technologies, Inc. Control of rear-view and side-view mirrors and camera-coordinated displays via eye gaze
JP2013047019A (ja) * 2011-08-27 2013-03-07 Denso Corp 車両用ミラー制御装置
US20130155534A1 (en) * 2011-12-16 2013-06-20 GM Global Technology Operations LLC System and method for enabling a driver of a vehicle to visibly observe objects located in a blind spot
WO2013114871A1 (ja) * 2012-01-31 2013-08-08 株式会社デンソー 運転支援装置及び運転支援方法
JP2013154836A (ja) * 2012-01-31 2013-08-15 Denso Corp 運転支援装置およびプログラム

Also Published As

Publication number Publication date
EP2985648A1 (en) 2016-02-17
JP6305962B2 (ja) 2018-04-04
US20160046236A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
JP6305962B2 (ja) 自動化された死角の可視化のための技術
US20210295073A1 (en) Primary preview region and gaze based driver distraction detection
CN110641366B (zh) 行车时的障碍物追踪方法、系统、电子设备和存储介质
US9977243B2 (en) Method for executing vehicle function using wearable device and vehicle for carrying out the same
US9613459B2 (en) System and method for in-vehicle interaction
CN108128249B (zh) 用于改变外侧后视摄像头的视野的系统和方法
US20160257252A1 (en) Projection of images on side window of vehicle
US9025819B2 (en) Apparatus and method for tracking the position of a peripheral vehicle
US10764536B2 (en) System and method for a dynamic human machine interface for video conferencing in a vehicle
US20190389455A1 (en) Blended autonomous driving system
US10061995B2 (en) Imaging system to detect a trigger and select an imaging area
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
US20190147275A1 (en) Driver monitoring apparatus, method, and recording medium
CN109415018B (zh) 用于数字后视镜的方法和控制单元
US11062149B2 (en) System and method for recording images reflected from a visor
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
JP6345572B2 (ja) 走行映像記録システムおよびこれに用いるドライブレコーダ、並びに記録走行映像のアップロード方法
WO2019167109A1 (ja) 車両用表示制御装置および表示制御方法
WO2017096821A1 (zh) 安全驾驶检测方法及装置
US11365975B2 (en) Visual confirmation system for driver assist system
JP7255596B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置
US20200023863A1 (en) Concentration degree determination device, concentration degree determination method, and program for determining concentration degree
JP2020109572A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム
KR20200045088A (ko) 경보 발생 장치 및 방법
KR20190105396A (ko) 운전자 전방주시 유지 장치 및 그 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180307

R150 Certificate of patent or registration of utility model

Ref document number: 6305962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250