CN105229584A - 信息显示装置 - Google Patents

信息显示装置 Download PDF

Info

Publication number
CN105229584A
CN105229584A CN201380076824.0A CN201380076824A CN105229584A CN 105229584 A CN105229584 A CN 105229584A CN 201380076824 A CN201380076824 A CN 201380076824A CN 105229584 A CN105229584 A CN 105229584A
Authority
CN
China
Prior art keywords
information
region
display device
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380076824.0A
Other languages
English (en)
Inventor
佐佐木干郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Corp
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Corp filed Critical Mitsubishi Corp
Publication of CN105229584A publication Critical patent/CN105229584A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/182—Distributing information between displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供能够在不遮挡利用者正在观察的物体的情况下显示提供给利用者的信息的信息显示装置，该信息显示装置具有：图像输入部(1)，其输入与利用者的视场对应的图像；视线检测部(2)，其检测表示视线在利用者的视场内的位置的注视点；物体识别部(3)，其从由图像输入部(1)输入的图像中提取包含由视线检测部(2)检测出的注视点的物体在图像内的区域作为第1区域；显示位置决定部(5)，其根据有关由物体识别部(3)提取出的第1区域的信息，将在视场内利用者的视线未触及的位置决定为显示位置；以及信息显示部(6)，其在由显示位置决定部(5)决定出的显示位置处显示对利用者提示的信息。

Description

信息显示装置
技术领域
本发明涉及将提供给利用者的信息叠加显示在现实世界的图像或者影像上的信息显示装置。
背景技术
近年来开始采用AR(AugmentedReality：增强现实)技术，该AR技术是通过计算机对人们感知的现实世界进行信息的追加和/或强调，而扩展围绕人们的现实世界。作为采用该AR技术的设备，例如公知有如Google(注册商标)公司推行的Google眼镜那样的具有摄像机和小型显示装置的设备。
使用该AR技术的设备通过计算机生成针对视场中的对象或者眼睛不能捕捉到的对象等的信息，并在人们直接观察到的视场或者摄像机捕捉到的现实的影像等中进行提示，由此对人们的认知进行支援。
作为这样的技术，例如专利文献1公开了如下的技术：通过将与在剧场中登场在视场内的人物有关的信息叠加显示在影像上，使利用者容易理解登场人物。在该技术中，将视场内的图像划分为象限，根据是否能够在各象限内检测出人物，来判定是否能够进行信息显示，并在未检测出人物的区域中显示信息。
但是，如该专利文献1公开的技术那样，在将对利用者提示的信息直接叠加在现实的空间上而显示于视场内时，有时会遮挡利用者的视场，存在妨碍利用者的视场的问题。为了消除该问题，非专利文献1公开了“基于扩展现实感环境用视线计测的周边视野区域信息提示方法(拡張現実感環境のための視線計測による周辺視野領域情報提示方法)”。在该周边视野区域信息提示方法中，使用视线识别装置检测利用者的注视点，将该检测出的注视点的周边作为中心视野，将其外侧的区域作为周边视野，通过在周边视野中进行信息的提示，防止妨碍利用者的视场。
在先技术文献
专利文献
专利文献1：日本特开2012－108793号公报
非专利文献
非专利文献1：“拡張現実感環境のための視線計測による周辺視野領域情報提示方法”石黒祥生、暦本純一、情報処理学会論文誌、Vol.53No.4,pp1328-1337(Apr.2012)
非专利文献2：“色の類似性に基づいた形状特徴量CS-HOGの提案”、後藤雄飛、山内悠嗣、藤吉弘亘、画像センシングシンポジウム(SSII2012)，IS3-04,2012
发明内容
发明要解决的问题
如上所述，在非专利文献1公开的周边视野区域信息提示方法中，使用视线识别装置将视场划分为中心视野和周边视野，通过在周边视野中进行信息的提示，来防止妨碍利用者的视场。但是，根据利用者所观察的对象的形状，存在该对象进入到周边视野中、利用者所观察的物体被所提示的信息遮挡的情况。
本发明正是为了解决这种问题而提出的，其课题是提供一种能够在不遮挡利用者所观察的物体的情况下显示提供给利用者的信息的信息显示装置。
用于解决问题的手段
为了解决上述课题，本发明的信息显示装置的特征在于，该信息显示装置具有：图像输入部，其输入与利用者的视场对应的图像；视线检测部，其检测表示视线在利用者的视场内的位置的注视点；物体识别部，其从由图像输入部输入的图像中提取包含由视线检测部检测出的注视点的物体在图像内的区域作为第1区域；显示位置决定部，其根据有关由物体识别部提取出的第1区域的信息，将在视场内的、利用者的视线未触及的位置决定为显示位置；以及信息显示部，其在由显示位置决定部决定出的显示位置处显示对利用者提示的信息。
发明效果
根据本发明的信息显示装置，由于在视场内的利用者的视线未触及的区域显示信息，因而能够在不遮挡利用者正在观察的物体的情况下显示提供给利用者的信息。
附图说明
图1是示出本发明的实施方式1的信息显示装置的图。
图2是示出本发明的实施方式1的信息显示装置的动作的流程图。
图3是用于说明在本发明的实施方式1的信息显示装置中使用的注视点的图。
图4是示出在本发明的实施方式1的信息显示装置中提取物体存在的区域的状态的图。
图5是用于说明在本发明的实施方式1的信息显示装置中决定显示信息的区域的状态的图。
图6是示出将本发明的实施方式1的信息显示装置应用于驾驶员席的情况的概念的图。
图7是用于说明在本发明的实施方式2的信息显示装置中决定信息的显示位置的动作的图。
图8是示出本发明的实施方式2的变形例的信息显示装置的结构的框图。
图9是用于说明在本发明的实施方式2的变形例的信息显示装置中决定信息的显示位置的动作的图。
图10是用于说明本发明的实施方式3的信息显示装置的动作的图。
图11是示出本发明的实施方式5的信息显示装置的结构的框图。
图12是示出本发明的实施方式6的信息显示装置的结构的框图。
图13是示出本发明的实施方式7的信息显示装置的结构的框图。
图14是用于说明本发明的实施方式7的信息显示装置的动作的图。
具体实施方式
下面，参照附图详细说明本发明的实施方式。
实施方式1
图1是示出本发明的实施方式1的信息显示装置的图，图1的(a)是示出信息显示装置的电气结构的框图，图1的(b)是示出将信息显示装置应用于眼镜时的构造的概念的图。信息显示装置具有图像输入部1、视线检测部2、物体识别部3、定时器4、显示位置决定部5及信息显示部6。
图像输入部1例如由摄像机构成，输入通过拍摄利用者的视场得到的与视场对应的图像。将由该图像输入部1输入的图像发送给物体识别部3。
视线检测部2检测表示利用者在观察视场内的哪个部分的视线。由该视线检测部2检测出的视线在视场内的位置(注视点)被发送给物体识别部3。
物体识别部3(物体提取部3)从由图像输入部1发送来的图像中识别并提取出包含从视线检测部2发送来的注视点的物体。即，物体识别部3提取包含注视点的物体在图像内的区域(第1区域)。该物体识别部3例如进行轮廓提取来识别物体的形状和/或区域。将表示由该物体识别部3识别并提取出的物体的信息发送给显示位置决定部5。另外，关于从图像中提取区域的图像处理例如从图像中检测出物体，能够使用如非专利文献2所述的现有的技术。
定时器4计测规定的时间例如数秒钟。该定时器4根据来自显示位置决定部5的指示而起动，在经过设定时间时，将该到时的情况通知给显示位置决定部5，然后停止。
显示位置决定部5根据来自物体识别部3的信息，决定显示位置，即决定在视场内的哪个区域显示信息。表示由该显示位置决定部5决定出的显示位置的信息被发送给信息显示部6。此时，显示位置决定部5使定时器4起动，在从该定时器4接收到经过了规定时间的通知以前将表示显示位置的信息固定。即，显示位置决定部5通知信息显示部6在从定时器4接收到经过了规定时间的通知以前不改变显示位置。
将表示显示位置的信息固定而将信息显示维持规定时间是基于以下的理由。即，在根据来自视线检测部2的注视点决定信息的显示位置的情况下，当视线移动时，信息的显示位置也变化。在这种状况下，存在利用者不能看到所显示的信息的情况。因此，一旦显示信息，则在显示位置决定部5中使定时器4起动，使在规定时间内不变更所显示的信息的显示位置。由此，即使是利用者的视线发生了移动的情况下，由于在规定的时间内信息的显示位置被固定，因而利用者能够更加可靠地确认所提示的信息。
信息显示部6在由从显示位置决定部5发送来的信息所示出的显示位置处显示信息。在该信息显示部6中，例如将眼镜的镜片部作为屏幕，在视场内投影信息。
下面，说明如上所述构成的实施方式1的信息显示装置的动作。图2是示出在视场内显示提供给利用者的信息时的信息显示装置的动作的流程图。在处理开始时，首先进行利用者的视线的检出(步骤ST11)。即，视线检测部2检出视场内的利用者正在观察的部位(注视点)。图3示出注视点置于视场内的左下部的汽车处的示例。由该视线检测部2检测出的注视点例如作为图像内的坐标值(x，y)被发送给物体识别部3。
然后，提取利用者正在观察的物体的区域(步骤ST12)。即，物体识别部3从由图像输入部1发送来的图像中，将包含从视线检测部2发送来的注视点的位置信息的一例即坐标值(x，y)的区域，识别为利用者正在观察的物体，如图4中的虚线所示提取该物体所在的区域。即，物体识别部3提取包含注视点的物体在图像内的区域。由此，能够得到表示物体的区域的信息例如表示区域的轮廓的点列(x1，y1)、(x2，y2)、…、(xn，yn)。表示该物体的区域的信息被发送给显示位置决定部5。
接着，决定信息的显示位置(步骤ST13)。即，显示位置决定部5决定在视场内的哪个区域(位置)显示信息。此时，以在与和利用者正在观察的区域(第1区域)不同的区域(第2区域)对应的视场内的位置处进行显示的方式来决定显示位置。至于决定将利用者未观察的区域中的哪个部分用于信息的显示，能够采用各种算法，例如能够简易地采用如下所述的方法。另外，如果是显示信息不妨碍利用者正在观察的物体的程度，则与利用者正在观察的区域不同的区域也可以包含利用者正在观察的区域的一部分。
即，根据表示区域的轮廓的点列数据求出x、y的最大值和最小值，将这些值分别设为xmax、ymax，xmin、ymin，则按照图5的(a)所示将围起区域的矩形区域决定为(xmin，ymin)-(xmax，ymin)-(xmax，ymax)-(xmin，ymax)。因此，将矩形的上下左右的区域中面积最大的区域作为显示区域。
如图5的(a)所示，在将视场的尺寸设为横向为Xw、纵向为Yh的情况下，各区域的面积能够用下式表示。显示位置决定部5使用这些算式求出面积，选择最大的区域作为显示区域，将该选择出的区域的信息作为显示位置发送给信息显示部6。
上区域：Xw·ymin
下区域：Xw·(Yh-ymax)
左区域：xmin·Yh
右区域：(Xw-xmax)·Yh
接着，显示信息(步骤ST14)。即，如图5的(b)所示，信息显示部6在从显示位置决定部5发送来的显示位置显示信息。另外，根据所显示的信息的尺寸等，当在该显示位置显示困难的情况下，信息显示部6能够在进行了移动显示位置等的处理后进行显示。
如以上说明的那样，根据实施方式1的信息显示装置，根据有关由物体识别部3提取出的物体在图像内的区域(第1区域)的信息，在视场内利用者的视线未触及的位置处显示信息，因而能够在信息不遮挡利用者正在观察的物体的情况下进行良好的信息显示。
另外，在上述的示例中说明了将信息显示装置应用于眼镜的情况，但也能够如图6所示应用于例如汽车的驾驶员席。在这种情况下，在仪表盘部分设置捕捉驾驶员视线的视线检测部2，图像输入部(摄像机)1以能够拍摄驾驶员的视场的方式设置在外侧，信息显示部6由在前屏显示信息的平视显示器(head-updisplay)构成。根据这种结构，驾驶员能够接受与周围的状况对应的信息的提示。
实施方式2
本发明的实施方式2的信息显示装置与实施方式1相比，简化了对利用者提示的信息的显示位置的决定。该信息显示装置的结构除显示位置决定部5的动作以外，与图1所示的实施方式1的信息显示装置的结构相同。
该实施方式2的信息显示装置的显示位置决定部5决定将利用者未在观察的视场内的区域中的哪个部分用于信息显示的算法，与实施方式1的算法不同。即，在实施方式1中，显示位置决定部5将由物体识别部3识别出的物体的上下左右的区域中最大的区域决定为信息的显示位置，而在该实施方式2中，以在关于视场中央位于由物体识别部3识别出的物体的相反侧且处于较远的位置处显示对利用者提示的信息的方式来决定显示位置。即，显示位置决定部5将关于与对应于视场的图像内的中央、处于与利用者正在观察的区域相反侧的区域对应的视场内的位置决定为显示位置。
下面，说明如上所述构成的信息显示装置的动作。该信息显示装置的动作除步骤ST13的显示位置决定处理的内容以外，与图2的流程图所示的实施方式1的信息显示装置的动作相同。下面，参照图2所示的流程图以与实施方式1不同的部分为中心进行说明，简化相同部分的说明。
在处理开始时，首先进行利用者的视线的检测(步骤ST11)。接着，提取利用者正在观察的物体的区域(步骤ST12)。接着，决定信息的显示位置(步骤ST13)。即，显示位置决定部5以如下方式决定显示位置：如图7所示，在相对于视场的中央，位于在步骤ST12中由物体识别部3提取出的物体的相反侧即远离利用者正在观察的区域的位置处，显示对利用者提示的信息。换言之，将以穿过视场中央的距物体最远的位置P1为基点的区域决定为显示位置。然后，显示信息(步骤ST14)。
如以上说明的那样，根据实施方式2的信息显示装置，如图7所示，在距利用者正在观察的物体最远的位置处显示信息，因而能够在信息不遮挡利用者正在观察的物体的情况下进行良好的信息显示。而且，不需要如实施方式1那样为了决定信息的显示位置而求出物体的上下左右区域的面积，因而能够缩短截止到决定出显示位置为止的处理时间。
另外，在该实施方式2中，构成为在距利用者正在观察的“物体”最远的位置处显示信息，进一步还能够简化变形为在距利用者的“注视点”最远的位置处显示信息。
图8是示出该实施方式2的变形例的信息显示装置的结构的框图。该信息显示装置构成为从实施方式1的信息显示装置中去除物体识别部3，并且将通过图像输入部1得到的图像直接发送给显示位置决定部5。
显示位置决定部5根据来自图像输入部1的图像和来自视线检测部2的信息，决定显示位置即决定在哪个区域显示信息。具体而言，显示位置决定部5以如下的方式决定显示位置：即在相对于视场的中央位于由视线检测部2检测出的注视点的相反侧的较远位置处显示对利用者提示的信息。换言之，显示位置决定部5将相对于对应于视场的图像内的中央、位于与利用者的注视点相反侧的区域对应的视场内的位置决定为显示位置。
下面，说明如上所述构成的实施方式2的变形例的信息显示装置的动作。该信息显示装置的动作除了将步骤ST12的提取物体区域的处理去除、并且变更步骤ST13的处理内容以外，与图2的流程图所示的实施方式1的信息显示装置的动作相同。下面，以与实施方式1不同的部分为中心进行说明，简化相同部分的说明。
在处理开始时，首先进行利用者的视线的检测(步骤ST11)。接着，决定信息的显示位置(步骤ST13)。即，显示位置决定部5以如下方式决定显示位置：如图9所示，在相对于视场的中央位于在步骤ST11中由视线检测部2检测出的注视点的相反侧即距利用者正在观察的区域较远的位置，显示对利用者提示的信息。换言之，将以穿过视场中央的距注视点最远的位置P2为基点的区域决定为显示位置。然后显示信息(步骤ST14)。
如以上说明的那样，根据实施方式2的变形例的信息显示装置，如图9所示，在距利用者的注视点最远的位置处显示信息，因而能够在信息不遮挡利用者正在观察的物体的情况下进行良好的信息显示。而且，与在距离利用者正在观察的“物体”最远的位置处显示信息的情况相比，不需要识别物体的处理，因而能够进一步缩短截止到决定出信息的显示位置为止的处理时间。
另外，在上述实施方式2及实施方式2的变形例中构成为，在决定显示位置时，根据所显示的信息的尺寸等，当在该位置处难以进行显示的情况下，能够通过将显示位置移位等进行信息显示。
实施方式3
本发明的实施方式3的信息显示装置是在实施方式1的信息显示装置中进一步圈定对利用者提示的信息的显示位置(区域)且尽可能地不妨碍视场。该信息显示装置的结构除物体识别部3及显示位置决定部5的动作以外，与图1所示的实施方式1的信息显示装置的结构相同。
与实施方式1同样地，物体识别部3从由图像输入部1发送来的图像中识别并提取出包含从视线检测部2发送来的注视点的物体，并且识别并提取出位于由显示位置决定部5决定出的显示区域中的物体。将表示由该物体识别部3识别出的物体区域的信息发送给显示位置决定部5。
显示位置决定部5在与实施方式1同样地决定出的面积最大的区域(显示区域)内，进一步将如图10(a)中作为用虚线围起的区域示出的、由物体识别部3提取出的物体的区域(第3区域)以外的没有任何物体的区域决定为显示位置。该表示由显示位置决定部5决定出的显示位置的信息被发送给信息显示部6。
下面，说明如上所述构成的信息显示装置的动作。该信息显示装置的动作除步骤ST13的显示位置决定处理的内容以外，与图2的流程图所示的实施方式1的信息显示装置的动作相同。下面，参照图2所示的流程图以与实施方式1不同的部分为中心进行说明，简化相同部分的说明。
在处理开始时，首先进行利用者的视线的检测(步骤ST11)。接着，提取利用者正在观察的物体的区域(步骤ST12)。接着，决定信息的显示位置(步骤ST13)。即，显示位置决定部5决定在视场内的哪个区域(位置)显示信息。此时，以在与利用者正在观察的区域不同的区域进行显示的方式决定显示位置，例如以如下的方式决定显示位置。
首先，与实施方式1同样地，显示位置决定部5将由物体识别部3识别出的物体的上下左右的区域中最大的区域决定为信息的显示区域。接着，物体识别部3按照图10(a)所示识别并提取出位于由显示位置决定部5决定出的显示区域内的物体的区域。在这些图像处理中能够使用如非专利文献2所述的现有的技术。然后，显示位置决定部5将由物体识别部3识别出的物体以外的没有任何物体的区域决定为显示位置。换言之，显示位置决定部5将与由物体识别部3提取出的显示区域(第2区域)内的物体所在的区域(第3区域)不同的区域对应的视场内的位置决定为显示位置。另外，此处，在所决定的区域中也可以包含物体所在的一部分区域(第3区域)。表示由该显示位置决定部5决定出的显示位置的信息被发送给信息显示部6。然后，显示信息(步骤ST14)。
如以上说明的那样，根据实施方式3的信息显示装置，如图10的(a)所示，例如确定物体周围的面积最大的区域，在该确定出的区域内进一步确定没有任何物体的区域，然后如图10的(b)所示，将所确定的区域决定为信息的显示区域并显示信息。因此，能够在信息不遮挡利用者正在观察的物体的情况下进行良好的信息显示。并且，由于以在视场内不遮挡利用者注视的物体以外的物体的方式显示信息，因而利用者能够掌握在视场内注视的物体以外的物体的状况并浏览信息。另外，根据所显示的信息的尺寸等，当在该区域中难以显示的情况下，能够通过将显示位置移位等进行显示。
实施方式4
本发明的实施方式4的信息显示装置与利用者的注视点的移动相应地控制信息的显示。该信息显示装置的结构除显示位置决定部5的动作以外，与图1所示的实施方式1的信息显示装置的结构相同。
显示位置决定部5在实施方式1中根据来自定时器4的信息进行控制，使得在规定时间内不变更显示信息的位置，而在实施方式4中，能够与利用者的视点的移动相应地变更信息的显示位置。
下面，说明如上所述构成的信息显示装置的动作。该信息显示装置的动作除显示位置决定部5的动作以外，与图2的流程图所示的实施方式1的信息显示装置的动作相同。下面，参照图2所示的流程图以与实施方式1不同的部分为中心进行说明，简化相同部分的说明。
在处理开始时，首先进行利用者的视线的检测(步骤ST11)。接着，提取利用者正在观察的物体的区域(步骤ST12)。接着，决定信息的显示位置(步骤ST13)。即，显示位置决定部5决定在视场内的哪个区域(位置)显示信息。此时，以在与利用者正在观察的区域不同的区域进行显示的方式决定显示位置。将表示由该显示位置决定部5决定出的显示位置的信息发送给信息显示部6。然后，显示信息(步骤ST14)。
在上述的状态下，显示位置决定部5在利用者的注视点在由定时器4计测的规定时间内移动到信息的显示区域中的情况下，判定为利用者在看信息，只要从视线检测部2发送来的注视点不离开信息的显示区域，就不变更信息的显示位置。此时，定时器4被重置。
另外，显示位置决定部5在利用者的注视点离开信息的显示区域时，使定时器4起动，在经过规定时间例如数秒钟后，使得能够进行信息的显示位置的变更。当利用者的注视点在规定的时间内再次返回到信息的显示区域中时，将定时器4重置，维持信息的显示位置。
另外，能够构成为，即使是在规定时间后信息的显示位置的变更成为可能的情况下，在注视点的移动量较小时例如小于规定的阈值时，也进行使信息的显示位置不变的处理。
如以上说明的那样，根据实施方式4的信息显示装置，由于与利用者的注视点的移动相应地变更信息的显示位置，因而能够进行良好的信息显示。
实施方式5
本发明的实施方式5的信息显示装置与利用者的动作状态相应地控制信息的显示。图11是示出实施方式5的信息显示装置的结构的框图。该信息显示装置是对图1所示的实施方式1的信息显示装置追加了加速度传感器11、位置信息传感器12、动作状态检测部13和显示控制部14而构成的。
加速度传感器11检测信息显示装置的加速度。作为加速度传感器11能够使用例如与在移动电话等中使用的加速度传感器同等的传感器。表示由加速度传感器11检测出的加速度的信息被发送给动作状态检测部13。
作为位置信息传感器12能够使用例如与在移动电话等中搭载的GPS(GlobalPositioningSystem，全球定位系统)同等的传感器。该位置信息传感器12通过接收来自卫星的信号，而检测信息显示装置在地球上的位置。表示由该位置信息传感器12检测出的位置的信息被发送给动作状态检测部13。
动作状态检测部13根据来自加速度传感器11及位置信息传感器12的信息，判定信息显示装置的物理意义上的动作状态，有关该动作状况的信息被发送给显示控制部14。
显示控制部14根据来自动作状态检测部13的有关动作状况的信息，生成用于指示可否进行信息显示的信息并发送给信息显示部6。由此，信息显示部6显示提供给利用者的信息或者停止显示。
下面，说明如上所述构成的信息显示装置的动作。在此以信息显示的时机控制为中心进行说明。存在例如当利用者在步行中时，如果对利用者进行信息显示将妨碍视场而处于危险状况的情况。为了避免这种状况，动作状态检测部13判定信息显示装置及利用者的动作状态进行信息显示的控制。
具体而言，动作状态检测部13根据来自加速度传感器11的信息判定利用者是否在步行或者跑步。在检测出处于步行或者跑步等状态时，将表示该情况的信息发送给显示控制部14。
显示控制部14在从动作状态检测部13接收到有关动作状况的信息时，判定该状况是否适合于信息显示，在属于不适合的状况时指示信息显示部6停止信息显示。按照该指示，信息显示部6停止信息显示。
在利用者处于停止状态时，动作状态检测部13根据来自加速度传感器11的信息检测出停止状况，将该信息发送给显示控制部14。显示控制部14在检测出利用者处于停止状态时，判定为是适合于信息显示的状态，指示信息显示部6进行信息显示。
在上述的示例中，在显示控制部14中根据“在步行中或者跑步中不适合于信息显示”、“在停止中适合于信息显示”这样的条件设定进行了说明，但也能够构成为：在能够根据来自加速度传感器11和位置信息传感器12的信息进行更详细的状态判定的情况下，进行更详细的条件设定。例如，能够进行“停止中且低头的状态适合于信息显示”等的条件设定。并且，也能够构成为使利用者能够设定这些条件，并存储在信息显示装置的内部。另外，也能够构成为，在检测出周围存在许多车辆的情况下停止信息显示。另外，关于周围是否存在车辆，通过使用位置信息传感器12的位置信息及地图数据能够进行判定。例如，在利用者的位置位于地图中的道路附近的情况下，能够判定为周围存在车辆。关于地图数据，既可以存储在信息显示装置内，也可以从服务器等外部装置取得。
如以上说明的那样，根据实施方式5的信息显示装置，由于构成为根据利用者的动作状况控制可否进行信息的显示，因而能够避免由于利用者注视信息而处于危险状况的情况。
实施方式6
本发明的实施方式6的信息显示装置根据周围的声音的状态控制信息的显示。图12是示出实施方式6的信息显示装置的结构的框图。该信息显示装置是从图11所示的实施方式5的信息显示装置中去除了加速度传感器11、位置信息传感器12、动作状态检测部13及显示控制部14，而追加了声音输入部21、声音识别部22及显示控制部23构成的。
声音输入部21例如由传声器等构成，供输入利用者的声音，从该声音输入部21输入的声音作为声音信息被发送给声音识别部22。
声音识别部22根据从声音输入部21发送来的声音信息识别声音。在该声音识别部22中得到的声音识别结果被发送给显示控制部23。
显示控制部根据从声音识别部22发送来的声音识别结果指示信息显示部6可否进行信息显示。由此，信息显示部6显示提供给利用者的信息或者停止显示。
下面，说明如上所述构成的信息显示装置的动作。在此，以信息显示的时机控制为中心进行说明。声音输入部21输入利用者周围的声音或者利用者的语音等，并发送给声音识别部22。声音识别部22判定从声音输入部21输入的声音是什么，将判定结果作为声音识别结果发送给显示控制部23。例如，在特种车辆(警车/消防车/救护车等)通过利用者周围的情况下，声音识别部22根据从声音输入部21输入的特种车辆的声音识别出是特种车辆，将该声音识别结果发送给显示控制部23。显示控制部23根据来自声音识别部22的声音识别结果，在特种车辆位于附近时判定为处于不适合信息显示的状况，指示信息显示部6停止信息显示。
另外，也能够构成为通过由声音识别部22识别利用者发出的语音而直接控制信息显示。例如，通过利用者发出“信息显示停止”等语音，声音识别部22检测出该指示，向显示控制部23传递识别出“信息显示停止”的信息。由此，显示控制部23判定为不适合信息显示，指示信息显示部6停止信息显示。并且，也能够利用语音来指示能够进行信息显示。
如以上说明的那样，根据实施方式6的信息显示装置，由于构成为根据周围的声音控制可否进行信息的显示，因而能够按照周围的状况进行良好的信息显示。
实施方式7
本发明的实施方式7的信息显示装置对实施方式6的信息显示装置追加了图像检索功能。图13是示出实施方式7的信息显示装置的结构的框图。该信息显示装置设置了命令判定部31以取代图12所示的实施方式6的信息显示装置的显示控制部23，并追加了通信装置32和图像检索装置33而构成的。
在从声音识别部22发送来的声音识别结果示出检索的命令的情况下，命令判定部31根据来自物体识别部3和视线检测部2的信息取得成为检索对象的图像，并发送给通信装置32。并且，命令判定部31将从通信装置32接收到的检索结果信息发送给信息显示部6。
通信装置32将从命令判定部31发送来的检索对象的图像发送给图像检索装置33，并委托图像检索。并且，通信装置32将从图像检索装置33发送来的检索结果信息发送给命令判定部31。
图像检索装置33根据从通信装置32发送来的作为检索对象的图像进行图像检索，将检索结果信息发送给通信装置32。
下面，说明如上所述构成的信息显示装置的动作。利用者在视场中将观察点对准成为图像检索对象的物体，并利用语音进行例如“检索正在观察的物体”这样的讲话。声音输入部21输入利用者讲话的语音，并发送给声音识别部22。声音识别部22将从声音输入部21输入的声音是视线检索命令这一情况传递给命令判定部31。
命令判定部31与来自声音识别部22的信息对应地，具有所需的一系列处理的信息，根据是视线检索命令这样的信息开始有关视线检索的一系列处理。即，命令判定部31从视线检测部2得到注视点的信息，使物体识别部3提取位于该位置的物体的区域。物体识别部3的动作与在实施方式1中说明的动作一样。如图14所示，在通过物体识别部3提取出利用者正在观察的物体的区域时，命令判定部31取得该区域的图像，经由通信装置32发送给图像检索装置33并委托图像检索。
作为该图像检索装置33，能够使用例如Google的图像检索网站。图像检索装置33将与检索出的图像相关的信息作为检索结果信息发送给通信装置32。通信装置32将来自图像检索装置33的检索结果信息发送给命令判定部31。命令判定部31从通信装置32取得检索结果信息，将该信息发送给信息显示部6。信息显示部6接收来自显示位置决定部5的表示显示位置的信息和来自命令判定部31的检索结果信息，并在合适的区域中进行信息显示。通过这一系列处理，利用者能够自己检索与在视场中关注的物体有关的信息，并参照其结果。
如以上说明的那样，根据实施方式7的信息显示装置，由于构成为按照利用者讲话的语音从图像检索装置33取得与利用者正在观察的图像有关的信息，并在合适的区域中显示该取得的信息，因而能够提供利用者期望的信息。
另外，本发明能够在其发明的范围内进行各实施方式的自由组合、或者各实施方式的任意的构成要素的变形、或者省略各实施方式中的任意的构成要素。
产业上的可利用性
本发明能够用于在利用者隔着窗户观察的实际的视场内显示各种信息的例如车载导航系统等。
标号说明
1图像输入部；2视线检测部；3物体识别部；4定时器；5显示位置决定部；6信息显示部；11加速度传感器；12位置信息传感器；13动作状态检测部；14显示控制部；21声音输入部；22声音识别部；23显示控制部；31命令判定部；32通信装置；33图像检索装置。

Claims (9)

1.一种信息显示装置，其中，该信息显示装置具有：
图像输入部，其输入与利用者的视场对应的图像；
视线检测部，其检测表示视线在利用者的视场内的位置的注视点；
物体识别部，其从由所述图像输入部输入的图像中提取包含由所述视线检测部检测出的所述注视点的物体在所述图像内的区域作为第1区域；
显示位置决定部，其根据有关由所述物体识别部提取出的所述第1区域的信息，将视场内的、利用者的视线未触及的位置决定为显示位置；以及
信息显示部，其在由所述显示位置决定部决定出的显示位置处显示对利用者提示的信息。
2.根据权利要求1所述的信息显示装置，其中，
所述显示位置决定部将所述图像中对应于与所述第1区域不同的第2区域的视场内位置决定为所述显示位置。
3.根据权利要求2所述的信息显示装置，其中，
所述物体识别部提取存在于所述第2区域内的物体的区域作为第3区域，
所述显示位置决定部将所述第2区域内的对应于与所述第3区域不同的区域的视场内位置决定为所述显示位置。
4.根据权利要求1～3中任意一项所述的信息显示装置，其中，
所述信息显示装置还具有计测时间的定时器，
所述显示位置决定部直到在所述定时器中计测到了所设定的时间为止维持所述显示位置。
5.根据权利要求1～4中任意一项所述的信息显示装置，其中，
所述显示位置决定部按照由所述视线检测部检测出的利用者的所述注视点的移动，控制信息的所述显示位置。
6.根据权利要求1～5中任意一项所述的信息显示装置，其中，
所述信息显示装置具有：
动作状态检测部，其根据来自检测加速度的加速度传感器以及检测位置的位置信息传感器的信息，检测利用者的动作状态；以及
显示控制部，其根据由所述动作状态检测部检测出的利用者的动作状态，指示能否进行信息显示，
所述信息显示部根据来自所述显示控制部的指示进行信息显示。
7.根据权利要求1～5中任意一项所述的信息显示装置，其中，
所述信息显示装置具有：
声音输入部，其输入周围的声音；
声音识别部，其识别由所述声音输入部输入的声音；以及
显示控制部，其按照来自所述声音识别部的声音识别结果，指示能否进行信息显示，
所述信息显示部根据来自所述显示控制部的指示进行信息显示。
8.根据权利要求1～5中任意一项所述的信息显示装置，其中，
所述信息显示装置具有：
声音输入部，其输入周围的声音；
声音识别部，其识别由所述声音输入部输入的声音；
命令判定部，在来自所述声音识别部的声音识别结果表示检索命令的情况下，该命令判定部根据来自所述物体识别部和所述视线检测部的信息，取得成为检索对象的图像，并委托该图像的检索；以及
图像检索装置，其检索与从所述命令判定部接收到的图像有关的信息，将检索结果发送给所述命令判定部，
所述命令判定部将从所述图像检索装置接收到的检索结果的信息发送给所述信息显示部，
所述信息显示部根据从所述命令判定部接收到的检索结果的信息进行信息显示。
9.根据权利要求1所述的信息显示装置，其中，
所述显示位置决定部将与相对于所述图像内的中央位于所述第1区域相反侧的区域对应的视场内的位置决定为所述显示位置。
CN201380076824.0A 2013-05-29 2013-05-29 信息显示装置 Pending CN105229584A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/064927 WO2014192103A1 (ja) 2013-05-29 2013-05-29 情報表示装置

Publications (1)

Publication Number Publication Date
CN105229584A true CN105229584A (zh) 2016-01-06

Family

ID=51988176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380076824.0A Pending CN105229584A (zh) 2013-05-29 2013-05-29 信息显示装置

Country Status (6)

Country Link
US (1) US20160054795A1 (zh)
EP (1) EP3007048A4 (zh)
JP (1) JPWO2014192103A1 (zh)
KR (1) KR20160016907A (zh)
CN (1) CN105229584A (zh)
WO (1) WO2014192103A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106274689A (zh) * 2016-08-18 2017-01-04 青岛海信移动通信技术股份有限公司 倒车影像中的信息显示方法、装置及终端
CN107765842A (zh) * 2016-08-23 2018-03-06 深圳市掌网科技股份有限公司 一种增强现实方法及系统
CN109670456A (zh) * 2018-12-21 2019-04-23 北京七鑫易维信息技术有限公司 一种内容推送方法、装置、终端和存储介质
CN110347261A (zh) * 2019-07-11 2019-10-18 Oppo广东移动通信有限公司 信息显示方法、装置、存储介质及增强现实设备
CN112506345A (zh) * 2020-12-10 2021-03-16 北京达佳互联信息技术有限公司 一种页面显示方法、装置、电子设备及存储介质
CN113495624A (zh) * 2020-03-19 2021-10-12 马自达汽车株式会社 状态推断装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054562A1 (en) * 2013-10-11 2015-04-16 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
JP6264870B2 (ja) * 2013-12-13 2018-01-24 富士通株式会社 情報提供装置、プログラム、及びシステム
JP6638195B2 (ja) * 2015-03-02 2020-01-29 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
WO2016021747A1 (ko) * 2014-08-05 2016-02-11 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법
US9955059B2 (en) * 2014-10-29 2018-04-24 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
US9633019B2 (en) * 2015-01-05 2017-04-25 International Business Machines Corporation Augmenting an information request
JP6348191B2 (ja) 2015-01-29 2018-06-27 京セラ株式会社 電子機器
JP6456516B2 (ja) * 2015-10-30 2019-01-23 三菱電機株式会社 運転支援装置
US10025376B2 (en) * 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
CA2999057C (en) * 2016-04-27 2023-12-05 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US9851792B2 (en) 2016-04-27 2017-12-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP6784116B2 (ja) * 2016-09-23 2020-11-11 富士ゼロックス株式会社 情報処理装置、画像形成装置およびプログラム
WO2018084227A1 (ja) * 2016-11-02 2018-05-11 シャープ株式会社 端末装置、動作方法及びプログラム
WO2018118661A1 (en) * 2016-12-21 2018-06-28 Pcms Holdings, Inc. System and method for placement of augmented reality information for users based on their activity
EP3369602A1 (en) * 2017-03-02 2018-09-05 Ricoh Company Ltd. Display controller, display control method, and carrier means
EP3537712A1 (en) * 2018-03-09 2019-09-11 Bayerische Motoren Werke Aktiengesellschaft Method, system and computer program product for controlling a video call while driving a vehicle
JP2021096490A (ja) * 2018-03-28 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021149594A1 (ja) * 2020-01-21 2021-07-29 パイオニア株式会社 情報提供装置、情報提供方法、情報提供プログラム及び記憶媒体
US11989344B2 (en) * 2020-02-21 2024-05-21 Maxell, Ltd. Information display device
US11711332B2 (en) 2021-05-25 2023-07-25 Samsung Electronics Co., Ltd. System and method for conversation-based notification management
JP7316344B2 (ja) * 2021-11-30 2023-07-27 株式会社ドワンゴ アラート表示システム、アラート表示方法、およびアラート表示プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566990A (zh) * 2008-04-25 2009-10-28 李奕 一种嵌入于视频的搜索方法及其系统
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP2011253324A (ja) * 2010-06-01 2011-12-15 Sharp Corp 商品情報提供端末装置および商品情報提供システム
JP2012108793A (ja) * 2010-11-18 2012-06-07 Nec Corp 情報表示システム、装置、方法及びプログラム
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JP3717653B2 (ja) * 1998-01-20 2005-11-16 株式会社リコー 頭部搭載型画像表示装置
GB0422500D0 (en) * 2004-10-09 2004-11-10 Ibm Method and system for re-arranging a display
JP4691071B2 (ja) * 2007-07-05 2011-06-01 ヤフー株式会社 ページアクション起動装置、ページアクション起動制御方法、および、ページアクション起動制御プログラム
JP5120716B2 (ja) * 2008-09-24 2013-01-16 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US10685487B2 (en) * 2013-03-06 2020-06-16 Qualcomm Incorporated Disabling augmented reality (AR) devices at speed

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566990A (zh) * 2008-04-25 2009-10-28 李奕 一种嵌入于视频的搜索方法及其系统
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP2011253324A (ja) * 2010-06-01 2011-12-15 Sharp Corp 商品情報提供端末装置および商品情報提供システム
JP2012108793A (ja) * 2010-11-18 2012-06-07 Nec Corp 情報表示システム、装置、方法及びプログラム
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106274689A (zh) * 2016-08-18 2017-01-04 青岛海信移动通信技术股份有限公司 倒车影像中的信息显示方法、装置及终端
CN106274689B (zh) * 2016-08-18 2019-01-11 青岛海信移动通信技术股份有限公司 倒车影像中的信息显示方法、装置及终端
CN107765842A (zh) * 2016-08-23 2018-03-06 深圳市掌网科技股份有限公司 一种增强现实方法及系统
CN109670456A (zh) * 2018-12-21 2019-04-23 北京七鑫易维信息技术有限公司 一种内容推送方法、装置、终端和存储介质
CN110347261A (zh) * 2019-07-11 2019-10-18 Oppo广东移动通信有限公司 信息显示方法、装置、存储介质及增强现实设备
CN113495624A (zh) * 2020-03-19 2021-10-12 马自达汽车株式会社 状态推断装置
CN113495624B (zh) * 2020-03-19 2024-05-31 马自达汽车株式会社 状态推断装置
CN112506345A (zh) * 2020-12-10 2021-03-16 北京达佳互联信息技术有限公司 一种页面显示方法、装置、电子设备及存储介质
CN112506345B (zh) * 2020-12-10 2024-04-16 北京达佳互联信息技术有限公司 一种页面显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JPWO2014192103A1 (ja) 2017-02-23
US20160054795A1 (en) 2016-02-25
EP3007048A1 (en) 2016-04-13
KR20160016907A (ko) 2016-02-15
WO2014192103A1 (ja) 2014-12-04
EP3007048A4 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
CN105229584A (zh) 信息显示装置
US10647252B2 (en) Portable electronic device and operating method therefor
US10909759B2 (en) Information processing to notify potential source of interest to user
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
US11132887B2 (en) Eyeglasses-type wearable terminal, control method thereof, and control program
US20120194554A1 (en) Information processing device, alarm method, and program
CN111065891A (zh) 基于增强现实的室内导航系统
JP2017111469A (ja) 道路標識視認判定システム、道路標識視認判定方法、及びプログラム
US10969579B2 (en) Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
JP6758788B2 (ja) 情報表示方法及び表示制御装置
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
JP5955662B2 (ja) 拡張現実システム
JP2016066231A (ja) 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体
US10771707B2 (en) Information processing device and information processing method
CN113590070A (zh) 导航界面的显示方法、装置、终端及存储介质
US9747871B2 (en) Portable terminal device, program, device shake compensation method, and condition detection method
KR20150086840A (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
JP6424100B2 (ja) ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
US11487355B2 (en) Information processing apparatus and information processing method
JP2021081372A (ja) 表示画像生成装置及び表示画像生成方法
TW201935267A (zh) 資訊提示裝置、資訊提示系統、資訊提示方法及資訊提示程式
JP2019012152A (ja) 表示制御システム、表示システム、表示制御方法、プログラム、及び移動体
JP2024057143A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2024057142A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2022142517A (ja) 画像表示制御装置、画像表示制御システム及び画像表示制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160106

WD01 Invention patent application deemed withdrawn after publication