JP2015153426A - 着目場所の拡張視界の生成 - Google Patents
着目場所の拡張視界の生成 Download PDFInfo
- Publication number
- JP2015153426A JP2015153426A JP2015023924A JP2015023924A JP2015153426A JP 2015153426 A JP2015153426 A JP 2015153426A JP 2015023924 A JP2015023924 A JP 2015023924A JP 2015023924 A JP2015023924 A JP 2015023924A JP 2015153426 A JP2015153426 A JP 2015153426A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- location
- interest
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
(項目1)
ユーザのために着目する場所の拡張された視界を生成するためのコンピュータ利用の方法であって、上記方法が、
上記着目する場所に基づいて画像撮像位置を判定することと、
上記画像撮像位置に基づいて画像撮像方向を判定することと、
上記画像撮像位置および上記画像撮像方向に関連付けられた画像を受信することと、
処理された画像を生成するために、上記ユーザの位置に関連付けられた見通し線に基づいて上記画像を処理することと、
上記処理された画像を上記ユーザに表示することと
を備える、ユーザのために着目場所の拡張視界を生成するためのコンピュータ利用の方法。
(項目2)
上記画像を処理することが、
変換を決定するために、上記見通し線をディスプレイの表面を通して投影することと、
上記変換を上記画像に施すことと
を備える、上記項目に記載の方法。
(項目3)
自動車の窓が、上記ディスプレイの上記表面を備える、上記項目のいずれか一項に記載の方法。
(項目4)
上記見通し線に関連付けられたリアルタイムの視界の画像を受信することをさらに備え、
上記画像を処理することが、
上記画像を上記リアルタイムの視界の上記画像と比較することと、
上記画像の少なくとも一部分を上記リアルタイムの視界の上記画像の少なくとも一部分と整合することと
を備える、上記項目のいずれか一項に記載の方法。
(項目5)
上記リアルタイムの視界の上記画像が、上記着目する場所の遮蔽状態の視界を備え、上記画像が、上記着目する場所の実質的に未遮蔽の視界を備える、上記項目のいずれか一項に記載の方法。
(項目6)
上記画像を処理することが、上記画像を上記リアルタイムの視界の上記画像と合成することをさらに備える、上記項目のいずれか一項に記載の方法。
(項目7)
ズーム値を上記ユーザから受信することをさらに備え、上記画像撮像位置を判定することが、上記ズーム値にさらに基づく、上記項目のいずれか一項に記載の方法。
(項目8)
データベースから上記着目する場所を定義する座標を受信することをさらに備え、上記ユーザの上記位置が、1つまたは2つ以上の地理位置情報信号から送られる、上記項目のいずれか一項に記載の方法。
(項目9)
上記ユーザの視線の方向を判定することと、
上記ユーザの上記位置および上記視線の方向に基づいて上記着目する場所を選択することと
をさらに備える、上記項目のいずれか一項に記載の方法。
(項目10)
ユーザのために着目する場所の拡張された視界を生成するためのシステムであって、
処理装置であって、
上記ユーザの位置および上記着目する場所に基づいて第1の画像撮像位置を判定し、
上記第1の画像撮像位置で取得された第1の画像を受信し、
処理された画像を生成するために、上記ユーザの上記位置に関連付けられた見通し線に基づいて上記第1の画像を処理する
ように構成される処理装置と、
上記処理された画像を上記ユーザに表示するように構成されるディスプレイと
を備える、ユーザのために着目する場所の拡張された視界を生成するためのシステム。
(項目11)
上記処理装置が、上記第1の画像撮像位置および上記着目する場所に基づいて画像撮像方向を判定するようにさらに構成され、上記第1の画像が、上記画像撮像方向に関連付けられる、上記項目に記載のシステム。
(項目12)
上記処理装置が、上記見通し線を上記ディスプレイの表面を通して投影して、変換を決定し、かつ上記変換を上記第1の画像に施すことによって、上記第1の画像を処理するように構成される、上記項目のいずれか一項に記載のシステム。
(項目13)
上記ディスプレイが、自動車の窓に配置される、上記項目のいずれか一項に記載のシステム。
(項目14)
上記処理装置が、上記見通し線に関連付けられたリアルタイムの視界の画像を受信するようにさらに構成され、上記第1の画像を上記リアルタイムの視界の上記画像と比較して変換を判定し、かつ上記変換を上記第1の画像に施して上記第1の画像の少なくとも一部分を上記リアルタイムの視界の上記画像の少なくとも一部分と整合することによって、上記処理装置が上記第1の画像を処理するように構成される、上記項目のいずれか一項に記載のシステム。
(項目15)
上記リアルタイムの視界の上記画像が、上記着目する場所の遮蔽状態の視界を備え、上記第1の画像が、上記着目する場所の実質的に未遮蔽の視界を備える、上記項目のいずれか一項に記載のシステム。
(項目16)
上記処理装置が、上記見通し線に関連付けられたリアルタイムの視界の画像を受信するようにさらに構成され、上記第1の画像の少なくとも一部分を上記リアルタイムの視界の上記画像の少なくとも一部分と整合し、かつ上記第1の画像を上記リアルタイムの視界の上記画像と合成することによって、上記処理装置が上記第1の画像を処理するように構成される、上記項目のいずれか一項に記載のシステム。
(項目17)
上記処理装置が、上記ユーザの上記位置および上記着目する場所に基づいて第2の画像撮像位置を判定し、かつ上記第2の画像撮像位置で取得された第2の画像を受信するようにさらに構成され、上記処理装置が、上記第1の画像を上記第2の画像と組み合わせることによって、上記第1の画像を処理するように構成される、上記項目のいずれか一項に記載のシステム。
(項目18)
上記第1の画像が、上記着目する場所の第1の視点に関連付けられ、上記第2の画像が、上記着目する場所の第2の視点に関連付けられる、上記項目のいずれか一項に記載のシステム。
(項目19)
上記ユーザの視線の方向を判定するように構成される追跡装置をさらに備え、上記処理装置が、上記視線の方向を受信し、かつ上記ユーザの上記位置および上記視線の方向に基づいて上記着目する場所を選択するようにさらに構成される、上記項目のいずれか一項に記載のシステム。
(項目20)
処理装置によって実行されると上記処理装置にユーザのために着目する場所の拡張された視界を生成させる命令を含む、非一時的コンピュータ可読記憶媒体であって、
上記ユーザの位置および上記着目する場所に基づいて画像撮像位置を判定するステップと、
上記画像撮像位置に基づいて画像撮像方向を判定するステップと、
上記画像撮像位置および上記画像撮像方向に関連付けられた画像を受信するステップと、
上記画像を上記ユーザに表示するステップと
を実行することによって、上記処理装置にユーザのために着目する場所の拡張された視界を生成させる命令を含む、非一時的コンピュータ可読記憶媒体。
本発明の一実施形態は、ユーザが着目する場所の拡張された視界を生成するための技法を説明する。本技法は、着目する場所に基づいて画像撮像位置を判定するステップと、画像撮像位置に基づいて画像撮像方向を判定するステップとを含む。本技法は、画像撮像位置および画像撮像方向に関連付けられた画像を受信するステップをさらに含む。本技法は、処理画像を生成するために、ユーザの位置に関連付けられた見通し線に基づいて画像を処理するステップと、処理画像をユーザに表示するステップとをさらに含む。有利なことに、開示される技法は、ユーザが、周辺環境内の障害物を透かして、着目する場所を見ることができるようにする。
Claims (20)
- ユーザのために着目する場所の拡張された視界を生成するためのコンピュータ利用の方法であって、前記方法が、
前記着目する場所に基づいて画像撮像位置を判定することと、
前記画像撮像位置に基づいて画像撮像方向を判定することと、
前記画像撮像位置および前記画像撮像方向に関連付けられた画像を受信することと、
処理された画像を生成するために、前記ユーザの位置に関連付けられた見通し線に基づいて前記画像を処理することと、
前記処理された画像を前記ユーザに表示することと
を備える、ユーザのために着目場所の拡張視界を生成するためのコンピュータ利用の方法。 - 前記画像を処理することが、
変換を決定するために、前記見通し線をディスプレイの表面を通して投影することと、
前記変換を前記画像に施すことと
を備える、請求項1に記載の方法。 - 自動車の窓が、前記ディスプレイの前記表面を備える、請求項2に記載の方法。
- 前記見通し線に関連付けられたリアルタイムの視界の画像を受信することをさらに備え、
前記画像を処理することが、
前記画像を前記リアルタイムの視界の前記画像と比較することと、
前記画像の少なくとも一部分を前記リアルタイムの視界の前記画像の少なくとも一部分と整合することと
を備える、請求項1に記載の方法。 - 前記リアルタイムの視界の前記画像が、前記着目する場所の遮蔽状態の視界を備え、前記画像が、前記着目する場所の実質的に未遮蔽の視界を備える、請求項4に記載の方法。
- 前記画像を処理することが、前記画像を前記リアルタイムの視界の前記画像と合成することをさらに備える、請求項4に記載の方法。
- ズーム値を前記ユーザから受信することをさらに備え、前記画像撮像位置を判定することが、前記ズーム値にさらに基づく、請求項1に記載の方法。
- データベースから前記着目する場所を定義する座標を受信することをさらに備え、前記ユーザの前記位置が、1つまたは2つ以上の地理位置情報信号から送られる、請求項1に記載の方法。
- 前記ユーザの視線の方向を判定することと、
前記ユーザの前記位置および前記視線の方向に基づいて前記着目する場所を選択することと
をさらに備える、請求項1に記載の方法。 - ユーザのために着目する場所の拡張された視界を生成するためのシステムであって、
処理装置であって、
前記ユーザの位置および前記着目する場所に基づいて第1の画像撮像位置を判定し、
前記第1の画像撮像位置で取得された第1の画像を受信し、
処理された画像を生成するために、前記ユーザの前記位置に関連付けられた見通し線に基づいて前記第1の画像を処理する
ように構成される処理装置と、
前記処理された画像を前記ユーザに表示するように構成されるディスプレイと
を備える、ユーザのために着目する場所の拡張された視界を生成するためのシステム。 - 前記処理装置が、前記第1の画像撮像位置および前記着目する場所に基づいて画像撮像方向を判定するようにさらに構成され、前記第1の画像が、前記画像撮像方向に関連付けられる、請求項10に記載のシステム。
- 前記処理装置が、前記見通し線を前記ディスプレイの表面を通して投影して、変換を決定し、かつ前記変換を前記第1の画像に施すことによって、前記第1の画像を処理するように構成される、請求項10に記載のシステム。
- 前記ディスプレイが、自動車の窓に配置される、請求項12に記載のシステム。
- 前記処理装置が、前記見通し線に関連付けられたリアルタイムの視界の画像を受信するようにさらに構成され、前記第1の画像を前記リアルタイムの視界の前記画像と比較して変換を判定し、かつ前記変換を前記第1の画像に施して前記第1の画像の少なくとも一部分を前記リアルタイムの視界の前記画像の少なくとも一部分と整合することによって、前記処理装置が前記第1の画像を処理するように構成される、請求項10に記載のシステム。
- 前記リアルタイムの視界の前記画像が、前記着目する場所の遮蔽状態の視界を備え、前記第1の画像が、前記着目する場所の実質的に未遮蔽の視界を備える、請求項14に記載のシステム。
- 前記処理装置が、前記見通し線に関連付けられたリアルタイムの視界の画像を受信するようにさらに構成され、前記第1の画像の少なくとも一部分を前記リアルタイムの視界の前記画像の少なくとも一部分と整合し、かつ前記第1の画像を前記リアルタイムの視界の前記画像と合成することによって、前記処理装置が前記第1の画像を処理するように構成される、請求項10に記載のシステム。
- 前記処理装置が、前記ユーザの前記位置および前記着目する場所に基づいて第2の画像撮像位置を判定し、かつ前記第2の画像撮像位置で取得された第2の画像を受信するようにさらに構成され、前記処理装置が、前記第1の画像を前記第2の画像と組み合わせることによって、前記第1の画像を処理するように構成される、請求項10に記載のシステム。
- 前記第1の画像が、前記着目する場所の第1の視点に関連付けられ、前記第2の画像が、前記着目する場所の第2の視点に関連付けられる、請求項17に記載のシステム。
- 前記ユーザの視線の方向を判定するように構成される追跡装置をさらに備え、前記処理装置が、前記視線の方向を受信し、かつ前記ユーザの前記位置および前記視線の方向に基づいて前記着目する場所を選択するようにさらに構成される、請求項10に記載のシステム。
- 処理装置によって実行されると前記処理装置にユーザのために着目する場所の拡張された視界を生成させる命令を含む、非一時的コンピュータ可読記憶媒体であって、
前記ユーザの位置および前記着目する場所に基づいて画像撮像位置を判定するステップと、
前記画像撮像位置に基づいて画像撮像方向を判定するステップと、
前記画像撮像位置および前記画像撮像方向に関連付けられた画像を受信するステップと、
前記画像を前記ユーザに表示するステップと
を実行することによって、前記処理装置にユーザのために着目する場所の拡張された視界を生成させる命令を含む、非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/183,364 | 2014-02-18 | ||
US14/183,364 US9639968B2 (en) | 2014-02-18 | 2014-02-18 | Generating an augmented view of a location of interest |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015153426A true JP2015153426A (ja) | 2015-08-24 |
JP6487231B2 JP6487231B2 (ja) | 2019-03-20 |
Family
ID=52596313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015023924A Active JP6487231B2 (ja) | 2014-02-18 | 2015-02-10 | 着目場所の拡張視界の生成 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9639968B2 (ja) |
EP (1) | EP2911041B1 (ja) |
JP (1) | JP6487231B2 (ja) |
CN (1) | CN104848863B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190027930A (ko) * | 2016-07-25 | 2019-03-15 | 매직 립, 인코포레이티드 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
JP2020034528A (ja) * | 2018-08-31 | 2020-03-05 | トヨタ自動車株式会社 | 画像処理装置、画像処理システム及び車両 |
WO2022163651A1 (ja) * | 2021-01-29 | 2022-08-04 | 株式会社Nttドコモ | 情報処理システム |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9972121B2 (en) * | 2014-04-22 | 2018-05-15 | Google Llc | Selecting time-distributed panoramic images for display |
US9934222B2 (en) | 2014-04-22 | 2018-04-03 | Google Llc | Providing a thumbnail image that follows a main image |
USD781317S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
USD781318S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
USD780777S1 (en) | 2014-04-22 | 2017-03-07 | Google Inc. | Display screen with graphical user interface or portion thereof |
US20170061689A1 (en) * | 2015-08-24 | 2017-03-02 | Caterpillar Inc. | System for improving operator visibility of machine surroundings |
US20170090196A1 (en) * | 2015-09-28 | 2017-03-30 | Deere & Company | Virtual heads-up display application for a work machine |
US10618528B2 (en) * | 2015-10-30 | 2020-04-14 | Mitsubishi Electric Corporation | Driving assistance apparatus |
RU2715876C1 (ru) * | 2016-04-14 | 2020-03-03 | Ниссан Мотор Ко., Лтд. | Способ и оборудование отображения окрестностей мобильного тела |
WO2017206042A1 (zh) * | 2016-05-31 | 2017-12-07 | 中国科学院深圳先进技术研究院 | 基于智能眼镜的遮挡物透视方法及装置 |
JP6799063B2 (ja) * | 2016-07-20 | 2020-12-09 | 富士フイルム株式会社 | 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム |
DE112016007015T5 (de) * | 2016-07-29 | 2019-03-21 | Mitsubishi Electric Corporation | Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren |
JP2018032991A (ja) * | 2016-08-24 | 2018-03-01 | 富士通株式会社 | 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム |
US10552690B2 (en) * | 2016-11-04 | 2020-02-04 | X Development Llc | Intuitive occluded object indicator |
US10558264B1 (en) | 2016-12-21 | 2020-02-11 | X Development Llc | Multi-view display with viewer detection |
DE102017100004A1 (de) * | 2017-01-02 | 2018-07-05 | Connaught Electronics Ltd. | Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug |
CN106973237B (zh) * | 2017-05-25 | 2019-03-01 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
USD844028S1 (en) * | 2017-06-04 | 2019-03-26 | Apple Inc. | Display screen or portion thereof with graphical user interface |
US10885672B2 (en) | 2017-06-14 | 2021-01-05 | Behr Process Corporation | Systems and methods for analyzing colors from a social media platform |
US10349011B2 (en) * | 2017-08-14 | 2019-07-09 | GM Global Technology Operations LLC | System and method for improved obstacle awareness in using a V2X communications system |
CN109427219B (zh) * | 2017-08-29 | 2021-04-27 | 深圳市掌网科技股份有限公司 | 基于增强现实教育场景转换模型的防灾学习方法和装置 |
DE102017129214B4 (de) * | 2017-12-08 | 2024-01-18 | Grammer Aktiengesellschaft | System und Verfahren zur Verbesserung eines Blickfelds |
US10544567B2 (en) | 2017-12-22 | 2020-01-28 | Caterpillar Inc. | Method and system for monitoring a rotatable implement of a machine |
JP7058585B2 (ja) * | 2017-12-25 | 2022-04-22 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
WO2019130827A1 (ja) | 2017-12-25 | 2019-07-04 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US10901687B2 (en) * | 2018-02-27 | 2021-01-26 | Dish Network L.L.C. | Apparatus, systems and methods for presenting content reviews in a virtual world |
US11343613B2 (en) * | 2018-03-08 | 2022-05-24 | Bose Corporation | Prioritizing delivery of location-based personal audio |
AT521130A1 (de) * | 2018-04-04 | 2019-10-15 | Peterseil Thomas | Verfahren zum Einblenden eines virtuellen Objekts |
JP7033029B2 (ja) * | 2018-07-30 | 2022-03-09 | 本田技研工業株式会社 | 制御装置及びプログラム |
US11538045B2 (en) | 2018-09-28 | 2022-12-27 | Dish Network L.L.C. | Apparatus, systems and methods for determining a commentary rating |
JP2020065141A (ja) * | 2018-10-16 | 2020-04-23 | 現代自動車株式会社Hyundai Motor Company | 車両の俯瞰映像生成システム及びその方法 |
DE102018219481A1 (de) * | 2018-11-15 | 2020-05-20 | Robert Bosch Gmbh | Baugruppe für einen LiDAR-Sensor und LiDAR-Sensor |
US11703590B2 (en) * | 2018-11-19 | 2023-07-18 | Suteng Innovation Technology Co., Ltd. | Lidar signal receiving circuits, lidar signal gain control methods, and lidars using the same |
US11016630B2 (en) | 2019-01-31 | 2021-05-25 | International Business Machines Corporation | Virtual view-window |
JP7359208B2 (ja) * | 2019-06-11 | 2023-10-11 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN111703371B (zh) * | 2020-06-16 | 2023-04-07 | 阿波罗智联(北京)科技有限公司 | 交通信息的显示方法、装置、电子设备和存储介质 |
KR20240026503A (ko) * | 2021-06-30 | 2024-02-28 | 스냅 인코포레이티드 | X선 효과를 갖는 증강 현실 아이웨어 |
US11635808B2 (en) * | 2021-08-12 | 2023-04-25 | International Business Machines Corporation | Rendering information in a gaze tracking device on controllable devices in a field of view to remotely control |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004234455A (ja) * | 2003-01-31 | 2004-08-19 | Canon Inc | 情報処理方法および画像再生装置 |
JP2006042147A (ja) * | 2004-07-29 | 2006-02-09 | Honda Motor Co Ltd | 車両の認知支援装置 |
JP2007156637A (ja) * | 2005-12-01 | 2007-06-21 | Mitsubishi Electric Corp | 情報検索装置およびプログラムならびに情報検索システム |
JP2009070243A (ja) * | 2007-09-14 | 2009-04-02 | Denso Corp | 車両用視界支援システム、及び、情報配信装置 |
WO2009119110A1 (ja) * | 2008-03-27 | 2009-10-01 | パナソニック株式会社 | 死角表示装置 |
JP2011152865A (ja) * | 2010-01-27 | 2011-08-11 | Kyocera Corp | 車載撮像装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6917370B2 (en) * | 2002-05-13 | 2005-07-12 | Charles Benton | Interacting augmented reality and virtual reality |
US7619626B2 (en) * | 2003-03-01 | 2009-11-17 | The Boeing Company | Mapping images from one or more sources into an image for display |
US7148861B2 (en) * | 2003-03-01 | 2006-12-12 | The Boeing Company | Systems and methods for providing enhanced vision imaging with decreased latency |
JP2005311868A (ja) * | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
US20060210111A1 (en) * | 2005-03-16 | 2006-09-21 | Dixon Cleveland | Systems and methods for eye-operated three-dimensional object location |
JP4752486B2 (ja) | 2005-12-15 | 2011-08-17 | 株式会社日立製作所 | 撮像装置、映像信号の選択装置、運転支援装置、自動車 |
EP2036043A2 (en) * | 2006-06-26 | 2009-03-18 | Lockheed Martin Corporation | Method and system for providing a perspective view image by intelligent fusion of a plurality of sensor data |
US8237791B2 (en) * | 2008-03-19 | 2012-08-07 | Microsoft Corporation | Visualizing camera feeds on a map |
KR20100055254A (ko) * | 2008-11-17 | 2010-05-26 | 엘지전자 주식회사 | 이동 단말기의 poi 정보 제공 방법 및 그 장치 |
US8436872B2 (en) * | 2010-02-03 | 2013-05-07 | Oculus Info Inc. | System and method for creating and displaying map projections related to real-time images |
EP2372627A3 (en) * | 2010-04-01 | 2011-10-12 | Richard E. Rowe | Providing city services using mobile devices and a sensor network |
WO2011135778A1 (ja) | 2010-04-26 | 2011-11-03 | パナソニック株式会社 | 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム |
US20120224060A1 (en) * | 2011-02-10 | 2012-09-06 | Integrated Night Vision Systems Inc. | Reducing Driver Distraction Using a Heads-Up Display |
US9255813B2 (en) * | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
RU2014133083A (ru) * | 2012-01-16 | 2016-03-10 | ТЕКСО МЕДИКАЛ АпС | Устройство для лечения ран |
DE102012200731A1 (de) * | 2012-01-19 | 2013-07-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs |
US9092896B2 (en) * | 2012-08-07 | 2015-07-28 | Microsoft Technology Licensing, Llc | Augmented reality display of scene behind surface |
-
2014
- 2014-02-18 US US14/183,364 patent/US9639968B2/en active Active
-
2015
- 2015-02-10 JP JP2015023924A patent/JP6487231B2/ja active Active
- 2015-02-13 CN CN201510079359.7A patent/CN104848863B/zh active Active
- 2015-02-13 EP EP15155018.3A patent/EP2911041B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004234455A (ja) * | 2003-01-31 | 2004-08-19 | Canon Inc | 情報処理方法および画像再生装置 |
JP2006042147A (ja) * | 2004-07-29 | 2006-02-09 | Honda Motor Co Ltd | 車両の認知支援装置 |
JP2007156637A (ja) * | 2005-12-01 | 2007-06-21 | Mitsubishi Electric Corp | 情報検索装置およびプログラムならびに情報検索システム |
JP2009070243A (ja) * | 2007-09-14 | 2009-04-02 | Denso Corp | 車両用視界支援システム、及び、情報配信装置 |
WO2009119110A1 (ja) * | 2008-03-27 | 2009-10-01 | パナソニック株式会社 | 死角表示装置 |
JP2011152865A (ja) * | 2010-01-27 | 2011-08-11 | Kyocera Corp | 車載撮像装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190027930A (ko) * | 2016-07-25 | 2019-03-15 | 매직 립, 인코포레이티드 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
KR102461953B1 (ko) | 2016-07-25 | 2022-10-31 | 매직 립, 인코포레이티드 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
US11808943B2 (en) | 2016-07-25 | 2023-11-07 | Magic Leap, Inc. | Imaging modification, display and visualization using augmented and virtual reality eyewear |
JP2020034528A (ja) * | 2018-08-31 | 2020-03-05 | トヨタ自動車株式会社 | 画像処理装置、画像処理システム及び車両 |
JP7087844B2 (ja) | 2018-08-31 | 2022-06-21 | トヨタ自動車株式会社 | 画像処理装置、画像処理システム及び車両 |
WO2022163651A1 (ja) * | 2021-01-29 | 2022-08-04 | 株式会社Nttドコモ | 情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
US9639968B2 (en) | 2017-05-02 |
CN104848863B (zh) | 2019-08-20 |
EP2911041A1 (en) | 2015-08-26 |
EP2911041B1 (en) | 2020-07-08 |
CN104848863A (zh) | 2015-08-19 |
US20150235398A1 (en) | 2015-08-20 |
JP6487231B2 (ja) | 2019-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6487231B2 (ja) | 着目場所の拡張視界の生成 | |
JP5798392B2 (ja) | 駐車支援装置 | |
US11511627B2 (en) | Display device and computer program | |
US8880344B2 (en) | Method for displaying images on a display device and driver assistance system | |
WO2019097763A1 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP6176541B2 (ja) | 情報表示装置、情報表示方法及びプログラム | |
JP2014181927A (ja) | 情報提供装置、及び情報提供プログラム | |
CN111273765B (zh) | 车辆用显示控制装置、车辆用显示控制方法以及存储介质 | |
JP2007198962A (ja) | 車両用案内表示装置 | |
US20200249044A1 (en) | Superimposed-image display device and computer program | |
JPWO2017056211A1 (ja) | 車両用表示装置 | |
JP2010185761A (ja) | ナビゲーションシステム、道路地図表示方法 | |
JPWO2017056210A1 (ja) | 車両用表示装置 | |
JP2020032866A (ja) | 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム | |
KR20160140055A (ko) | 내비게이션 장치 및 그의 동적 지도 제공 방법 | |
JP4797849B2 (ja) | 運転支援画像表示システム及び車載装置 | |
JP2014211431A (ja) | ナビゲーション装置、及び、表示制御方法 | |
JPWO2020105685A1 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP5702476B2 (ja) | 表示装置、制御方法、プログラム、記憶媒体 | |
JP2008002965A (ja) | ナビゲーション装置およびその方法 | |
JP6555413B2 (ja) | 移動体周囲表示方法及び移動体周囲表示装置 | |
US10876853B2 (en) | Information presentation device, information presentation method, and storage medium | |
JP6956376B2 (ja) | 表示制御システム、表示システム、表示制御方法、プログラム、及び移動体 | |
JP5438172B2 (ja) | 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体 | |
WO2020008876A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6487231 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |