CN103348387A - 对象显示装置、对象显示方法和对象显示程序 - Google Patents

对象显示装置、对象显示方法和对象显示程序 Download PDF

Info

Publication number
CN103348387A
CN103348387A CN2012800079506A CN201280007950A CN103348387A CN 103348387 A CN103348387 A CN 103348387A CN 2012800079506 A CN2012800079506 A CN 2012800079506A CN 201280007950 A CN201280007950 A CN 201280007950A CN 103348387 A CN103348387 A CN 103348387A
Authority
CN
China
Prior art keywords
image
setting value
realistic space
obtains
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800079506A
Other languages
English (en)
Other versions
CN103348387B (zh
Inventor
太田学
森永康夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN103348387A publication Critical patent/CN103348387A/zh
Application granted granted Critical
Publication of CN103348387B publication Critical patent/CN103348387B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在对象显示装置中,照相机设定值决定部根据由假想对象距离计算部计算出的与假想对象之间的距离,计算用于取得现实空间图像的包含焦距在内的设定值,摄像部使用计算出的焦距取得现实空间图像,所以,可取得聚焦在假想对象的重叠位置、并且焦点随着远离重叠假想对象的位置而偏移的图像。由于在这样取得的现实空间图像上重叠假想对象,所以,对作为用户关注对象的假想对象进行了强调,并且,减轻了重叠图像中的不协调感。

Description

对象显示装置、对象显示方法和对象显示程序
技术领域
本发明涉及对象显示装置、对象显示方法和对象显示程序。
背景技术
近年来,开发并提供了使用AR(Augmented Reality:增强现实)技术的服务。例如,公知有如下技术:取得配置在移动终端所在位置周边的对象,在由移动终端所具有的照相机取得的现实空间图像上重叠显示包含各种信息和图像的对象。并且,作为用于考虑在现实空间图像上重叠对象时的对象色调的技术,公知有根据配置在现实空间中的标记的色调来校正对象色调的技术(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2010-170316号公报
发明内容
发明要解决的课题
但是,在通常的AR技术中,由于在所拍摄的现实空间图像上仅仅重叠对象图像,所以,有时由于两个图像的画质等的差异而在合成后的图像中产生不协调感。
因此,本发明是鉴于上述问题而完成的,其目的在于,提供如下的对象显示装置、对象显示方法和对象显示程序:在AR技术中,能够减轻在现实空间图像上重叠显示对象时的不协调感。
用于解决课题的手段
为了解决上述课题,本发明的一个实施方式的对象显示装置在现实空间图像的规定位置重叠显示对象,该对象显示装置具有:对象信息取得单元,其根据该对象显示装置的所在位置,取得包含与对象在现实空间中的配置位置有关的位置信息的对象信息;对象距离计算单元,其根据由对象信息取得单元取得的对象的位置信息,计算与对象之间的距离;设定值决定单元,其根据由对象距离计算单元计算出的距离,决定用于取得现实空间图像的至少包含焦距在内的设定值;图像取得单元,其使用由设定值决定单元决定的设定值取得现实空间图像;图像合成单元,其生成在由图像取得单元取得的现实空间图像上重叠由对象信息取得单元取得的对象而得到的图像;以及显示单元,其显示由图像合成单元生成的图像。
并且,为了解决上述课题,本发明的一个实施方式的对象显示方法是对象显示装置的对象显示方法,在现实空间图像的规定位置重叠显示对象,该对象显示方法包括以下步骤:对象信息取得步骤,根据该对象显示装置的所在位置,取得包含与对象在现实空间中的配置位置有关的位置信息的对象信息;对象距离计算步骤,根据对象信息取得步骤中取得的对象的位置信息,计算与对象之间的距离;设定值决定步骤,根据对象距离计算步骤中计算出的距离,决定用于取得现实空间图像的至少包含焦距在内的设定值;图像取得步骤,使用设定值决定步骤中决定的设定值取得现实空间图像;图像合成步骤,生成在图像取得步骤中取得的现实空间图像上重叠对象信息取得步骤中取得的对象而得到的图像;以及显示步骤,显示图像合成步骤中生成的图像。
并且,为了解决上述课题,本发明的一个实施方式的对象显示程序用于使计算机作为在现实空间图像的规定位置重叠显示对象的对象显示装置发挥功能,该对象显示程序使计算机实现如下功能:对象信息取得功能,根据该对象显示装置的所在位置,取得包含与对象在现实空间中的配置位置有关的位置信息的对象信息;对象距离计算功能,根据由对象信息取得功能取得的对象的位置信息,计算与对象之间的距离;设定值决定功能,根据由对象距离计算功能计算出的距离,决定用于取得现实空间图像的至少包含焦距在内的设定值;图像取得功能,使用由设定值决定功能决定的设定值取得现实空间图像;图像合成功能,生成在由图像取得功能取得的现实空间图像上重叠由对象信息取得功能取得的对象而得到的图像;以及显示功能,显示由图像合成功能生成的图像。
根据对象显示装置、对象显示方法和对象显示程序,基于与对象之间的距离,计算用于取得现实空间图像的包含焦距在内的设定值,利用计算出的焦距取得现实空间图像,所以,可取得聚焦在对象的重叠位置、并且焦点随着远离重叠对象的位置而偏移的图像。由此,由于在聚焦的现实空间图像上重叠对象,所以,现实空间图像的画质与对象的画质的差异减小,减轻了合成后的图像中的不协调感。并且,由于现实空间图像的焦点随着远离重叠对象的位置而偏移,所以,强调了作为用户关注对象的对象。
并且,在本发明的一个实施方式的对象显示装置中,也可以是,在由对象信息取得单元取得了多个对象信息的情况下,设定值决定单元从所取得的多个对象信息中选择1个以上的对象信息,根据基于所选择出的对象信息而计算出的与该对象之间的距离,决定设定值。
该情况下,根据与多个对象之间的距离来决定包含焦距在内的设定值,所以,在重叠图像中强调了该多个对象,并且,减轻了重叠图像整体中的不协调感。
并且,在本发明的一个实施方式的对象显示装置中,也可以是,对象显示装置还具有对象加工单元,该对象加工单元根据由设定值决定单元决定的焦距和由对象距离计算单元计算出的与对象之间的距离的差,针对该对象的图像,进行用于模仿在摄影对象位于偏离焦距的位置的情况下取得的图像的模糊加工,图像合成单元在现实空间图像上重叠由对象加工单元加工后的对象。
该情况下,根据所决定的焦距,在对象位于不聚焦的位置的情况下,对该对象实施模糊加工。由此,在现实空间中的不聚焦的区域重叠实施了模糊加工的对象,所以,能够得到减轻了不协调感的重叠图像。
并且,在本发明的一个实施方式的对象显示装置中,也可以是,设定值决定单元决定焦距和景深作为设定值。
根据上述结构,除了焦距以外,还决定景深作为设定值,所以,更加适当地强调了作为用户关注对象的对象,并且,进一步减轻了重叠图像中的不协调感。
发明效果
在AR技术中,能够减轻在现实空间图像上重叠显示对象时的不协调感。
附图说明
图1是示出对象显示装置的功能结构的框图。
图2是对象显示装置的硬件框图。
图3是示出假想对象存储部的结构和所存储的数据的例子的图。
图4是示出在现实空间图像上重叠假想对象而得到的图像的例子的图。
图5是示出对象显示方法的处理内容的流程图。
图6是示出在现实空间图像上重叠多个假想对象而得到的图像的例子的图。
图7是示出在现实空间图像上重叠多个假想对象而得到的图像的例子的图。
图8是示出重叠多个假想对象的情况下的对象显示方法的处理内容的流程图。
图9是示出对象显示程序的结构的图。
具体实施方式
参照附图对本发明的对象显示装置、对象显示方法和对象显示程序的实施方式进行说明。另外,在可能的情况下,对相同部分标注相同标号并省略重复说明。
图1是示出对象显示装置1的功能结构的框图。本实施方式的对象显示装置1是在现实空间图像的规定位置重叠显示对象的装置,例如是能够经由移动通信网进行通信的便携终端。
作为基于使用移动终端等装置的AR技术的服务,例如存在如下的服务:从由移动终端的照相机取得的现实空间图像中检测规定标记,将与该标记对应的对象重叠在现实空间图像上而显示在显示器上。另外,作为同样的服务,存在如下的服务:取得配置在移动终端所在位置周边的对象,与由移动终端具有的照相机取得的现实空间图像中的位置对应地重叠显示对象。本实施方式的对象显示装置1相当于接受后者的服务的提供,但不限于此。
如图1所示,在功能上,对象显示装置1具有位置测定部10、方位测位部11、假想对象存储部12、假想对象提取部13(对象信息取得单元)、假想对象距离计算部14(对象距离计算单元)、照相机设定值决定部15(设定值决定单元)、摄像部16(图像取得单元)、假想对象加工部17(假想对象加工单元)、图像合成部18(图像合成单元)和显示部19(显示单元)。
图2是对象显示装置1的硬件结构图。在物理上,如图2所示,对象显示装置1构成为包括CPU101、作为主存储装置的RAM102和ROM103、作为数据收发器件的通信模块104、硬盘、闪存等辅助存储装置105、作为输入器件的键盘等输入装置106、显示器等输出装置107等的计算机系统。在图2所示的CPU101、RAM102等硬件上读入规定的计算机软件,由此在CPU101的控制下使通信模块104、输入装置106、输出装置107进行动作,并且进行RAM102、辅助存储装置105中的数据读出和写入,从而实现图1所示的各功能。再次参照图1对对象显示装置1的各功能部进行详细说明。
位置测定部10是对对象显示装置1的所在位置进行测位并取得与测位的所在位置有关的信息作为位置信息的部分。对象显示装置1的所在位置例如通过GPS装置这样的测位单元进行测位。位置测定部10将位置信息送到假想对象提取部13。
方位测位部11是对摄像部16的摄像方位进行测位的部分,例如由地磁传感器这样的装置构成。方位测位部11将测位的方位信息送到假想对象提取部13。另外,方位测位部11不是本发明中的必须结构。
假想对象存储部12是存储作为与假想对象有关的信息的假想对象信息的存储单元。图3是示出假想对象存储部12的结构和所存储的数据的例子的图。如图3所示,假想对象信息包含与识别对象的对象ID对应的对象数据、位置信息这样的数据。
对象数据例如是对象的图像数据。并且,对象数据也可以是用于表示该对象的3D对象数据。位置信息是表示现实空间中的该对象的配置位置的信息,例如由三维的坐标值表示。
假想对象存储部12可以预先存储假想对象信息。另外,假想对象存储部12也可以根据由位置测定部10取得的位置信息,蓄积经由规定的通信单元(未图示)从存储并管理假想对象信息的服务器(未图示)取得的对象信息。该情况下,存储并管理假想对象信息的服务器提供配置在对象显示装置1周边的假想对象的假想对象信息。
假想对象提取部13是根据对象显示装置1的所在位置从假想对象存储部12取得对象信息的部分。具体而言,假想对象提取部13根据由位置测定部10测定的位置信息和由方位测位部11测位的方位信息,判定显示部19中显示的现实空间的范围,提取配置位置包含在该范围中的假想对象。在显示部显示的现实空间的范围中包含多个假想对象的配置位置的情况下,假想对象提取部13提取该多个假想对象。
另外,假想对象提取部13也可以不使用方位信息来实施假想对象的提取。假想对象提取部13将提取出的假想对象信息送到假想对象距离计算部14、照相机设定值决定部15和假想对象加工部17。
假想对象距离计算部14是根据由假想对象提取部13取得的假想对象的位置信息计算从对象显示装置1到假想对象的距离的部分。具体而言,假想对象距离计算部14根据由位置测定部10测定的位置信息和假想对象信息中包含的假想对象的位置信息,计算从对象显示装置1到假想对象的距离。另外,在由假想对象提取部13提取出多个假想对象的情况下,假想对象距离计算部14计算从对象显示装置1到各个假想对象的距离。
照相机设定值决定部15是根据由假想对象距离计算部14计算出的距离决定用于取得现实空间图像的至少包含焦距在内的设定值的部分。照相机设定值决定部15将决定的设定值送到摄像部16。另外,在设定值中,除了焦距以外,还可以包含景深。
在由假想对象提取部13提取出的假想对象为1个的情况下,照相机设定值决定部15能够将由假想对象距离计算部14计算出的与该假想对象之间的距离设定为焦距。
在由假想对象提取部13提取出的假想对象为多个的情况下,照相机设定值决定部15从多个假想对象中选择1个以上的应该强调的假想对象,根据选择出的假想对象决定设定值。
照相机设定值决定部15能够通过各种方法选择应该强调的假想对象。例如,照相机设定值决定部15能够通过受理用户的选定来选择应该强调的假想对象。具体而言,照相机设定值决定部15能够将在构成为包含触摸面板的显示部19中进行选择操作的假想对象设定为应该强调的假想对象,或者能够将显示部19中的包括中央部的规定范围中所包含的假想对象设定为应该强调的假想对象。
并且,在假想对象信息中包含能够判断用户对该假想对象的兴趣爱好程度的属性信息的情况下,照相机设定值决定部15能够对照预先保持在对象显示装置1内的用户的属性信息(未图示)和假想对象的属性信息,将其一致程度较高的假想对象设定为应该强调的假想对象。
并且,在假想对象信息中包含表示与该假想对象的显示有关的优先程度的数值信息的情况下,照相机设定值决定部15能够参照假想对象信息的该数值信息,将数值信息为规定值以上的假想对象设定为应该强调的假想对象。
在选择了一个应该强调的假想对象的情况下,照相机设定值决定部15能够将由假想对象距离计算部14计算出的与该假想对象之间的距离设定为焦距。该情况下的景深可以是预先设定的规定值,也可以由用户输入。
在选择了多个应该强调的假想对象的情况下,照相机设定值决定部15以使该多个假想对象的配置位置全部包含在聚焦的区域中的方式决定焦距和景深。具体而言,例如,照相机设定值决定部15能够设定包含所有选择出的多个假想对象的配置位置的区域,将与该区域的重心位置之间的距离设定为焦距,将该区域的大小设定为景深。
摄像部16是使用由照相机设定值决定部15决定的设定值取得现实空间图像的部分,例如由照相机构成。具体而言,摄像部16使用由照相机设定值决定部15决定的焦距和景深取得现实空间图像,将所取得的图像的数据送到图像合成部18。另外,景深可以是预先设定的规定值。
假想对象加工部17是如下部分:根据由照相机设定值决定部15决定的焦距和由假想对象距离计算部计算出的与假想对象之间的距离的差,针对该对象的图像进行用于模仿在摄影对象位于偏离焦距的位置的情况下取得的图像的模糊加工。
假想对象加工部17例如对由假想对象提取部13提取出的假想对象中的、未被照相机设定值决定部15选择为强调的假想对象的假想对象实施模糊加工。假想对象加工部17能够使用公知的图像处理技术实施模糊加工。以下对其中一例进行说明。
假想对象加工部17能够根据以下的式(1)计算模糊的大小B。
B=(mD/W)(T/(L+T))…(1)
B:模糊的大小
D:有效孔径=焦距/F值
W:摄影范围的对角线长
L:从照相机到被摄体的距离
T:从被摄体到背景的距离
m:容许弥散圆直径与图像传感器的对角线长度之比
假想对象加工部17根据模糊的大小B决定模糊加工的模糊量而实施假想对象的模糊加工。参照图6和图7在后面叙述该模糊加工。另外,假想对象加工部17不是本发明中的必须结构。
图像合成部18是如下部分:生成在由摄像部16取得的现实空间图像上重叠由假想对象提取部13取得的假想对象而得到的图像。具体而言,图像合成部18根据表示假想对象配置位置的位置信息,生成在现实空间图像中的该配置位置重叠假想对象而得到的重叠图像。并且,图像合成部18也同样在现实空间图像上重叠由假想对象加工部17加工后的对象。
显示部19是显示由图像合成部18生成的图像的部分,例如由显示器这样的装置构成。另外,显示部19可以还具有触摸面板。
接着,参照图4和图5对由假想对象提取部13提取出的假想对象为1个的情况下的假想对象的显示处理进行说明。图4是示出在提取出的假想对象为1个的情况下的在现实空间图像上重叠假想对象而得到的图像的例子的图,示出由假想对象提取部13提取假想对象V1的情况的例子。该情况下,假想对象距离计算部14计算从对象显示装置1到假想对象V1的距离,照相机设定值决定部15根据计算出的距离来决定焦距。接着,摄像部16根据所决定的焦距的信息取得现实空间图像。在这里取得的现实空间图像中,由于与假想对象V1的配置位置之间的距离被设定为焦距,所以,聚焦在现实空间图像中的包含假想对象V1的配置位置的区域R2。另一方面,由于不聚焦在与对象显示装置1之间的距离比区域R2近的区域R1和比区域R2远的区域R3,所以,区域R1和区域R3的图像成为所谓的焦点模糊的状态。图像合成部18生成在聚焦于区域R2的现实空间图像上重叠假想对象V1而得到的重叠图像。然后,显示部19显示图4所示的重叠图像。
图5是示出由假想对象提取部13提取出的假想对象为1个的情况下的假想对象的显示处理的流程图。
首先,假想对象提取部13根据对象显示装置1的所在位置,从假想对象存储部12中提取对象信息(S1:对象信息取得步骤)。即,假想对象提取部13判定显示部19中显示的现实空间的范围,提取配置位置包含在该范围内的假想对象。这里,在不存在应该显示的假想对象的情况下,结束处理(S2)。另一方面,在存在应该显示的假想对象的情况下,处理顺序进入步骤S3(S2)。
接着,假想对象距离计算部14根据由假想对象提取部13取得的假想对象的位置信息,计算从对象显示装置1到假想对象的距离(S3:对象距离计算步骤)。接着,照相机设定值决定部15根据由假想对象距离计算部14计算出的距离,决定摄像部16用的焦距和景深(S4:设定值决定步骤)。
接着,摄像部16使用在步骤S4中决定的焦距和景深取得现实空间图像(S5:图像取得步骤)。接着,图像合成部18生成在由摄像部16取得的现实空间图像上重叠由假想对象提取部13取得的假想对象而得到的重叠图像(S6:图像合成步骤)。然后,显示部19显示步骤S6中生成的重叠图像(S7:显示步骤)。
在图5的流程图所示的处理中,未使用假想对象加工部17的功能。即,由假想对象提取部13提取出的假想对象的数据不在假想对象加工部17中进行加工就被送到图像合成部18。
接着,参照图6~8对由假想对象提取部13提取出的假想对象为多个的情况下的假想对象的显示处理进行说明。图6是示出提取出的假想对象为2个的情况下的在现实空间图像上重叠假想对象而得到的图像的例子的图,示出假想对象提取部13提取假想对象V2和V3、并且选择假想对象V2和V3中的假想对象V2作为应该强调的假想对象的情况的例子。
该情况下,假想对象距离计算部14计算从对象显示装置1到假想对象V2的距离,照相机设定值决定部15根据计算出的距离来决定焦距。接着,摄像部16根据所决定的焦距的信息取得现实空间图像。在这里取得的现实空间图像中,由于与假想对象V2的配置位置之间的距离被设定为焦距,所以,聚焦在现实空间图像中的包含假想对象V2的配置位置的区域R5。另一方面,由于不聚焦在与对象显示装置1之间的距离比区域R5近的区域R4和比区域R5远的区域R6,所以,区域R4和区域R6的图像成为所谓的焦点模糊的状态。
而且,由于假想对象V3是配置在不聚焦的区域R6中的假想对象,所以,假想对象加工部17根据基于假想对象V2的配置位置而决定的焦距和由假想对象距离计算部14计算出的与假想对象V3之间的距离的差,对假想对象V3的图像实施模糊加工。由此,假想对象V3的图像成为与区域R6中的现实空间图像相同程度的焦点模糊的图像。
图像合成部18生成在聚焦于区域R5的现实空间图像上重叠假想对象V2和V3而得到的重叠图像。然后,显示部19显示图6所示的重叠图像。
在图6所示的例子中,根据所决定的焦距,在对象位于不聚焦的位置的情况下,对该对象实施模糊加工。由此,在现实空间中的不聚焦的区域中重叠实施了模糊加工的对象,所以,能够得到减轻不协调感的重叠图像。
图7是示出提取出的假想对象为4个的情况下的在现实空间图像上重叠假想对象而得到的图像的例子的图,示出假想对象提取部13提取假想对象V4~V7、并且选择假想对象V4~V7中的假想对象V4~V6作为应该强调的假想对象的情况的例子。
该情况下,照相机设定值决定部15以使假想对象V4~V6的配置位置全部包含在聚焦的区域中的方式决定焦距和景深。具体而言,照相机设定值决定部15设定包含所有选择出的多个假想对象的配置位置的区域R9,将与区域R9的重心位置之间的距离设定为焦距,将区域R9的大小设定为景深。
接着,摄像部16根据所决定的焦距和景深的信息取得现实空间图像。在这里取得的现实空间图像中,由于与区域R9之间的距离被设定为焦距,所以,聚焦在现实空间图像中的包含区域R9的位置的区域R7。另一方面,由于不聚焦在与对象显示装置1之间的距离比区域R7远的区域R8,所以,区域R8的图像成为所谓的焦点模糊的状态。
而且,由于假想对象V7是未被选择为应该强调的假想对象而配置在不聚焦的区域R8中的假想对象,所以,假想对象加工部17根据基于区域R9的位置而决定的焦距和由假想对象距离计算部14计算出的与假想对象V7之间的距离的差,对假想对象V7的图像实施模糊加工。由此,假想对象V7的图像成为与区域R8中的现实空间图像相同程度的焦点模糊的图像。
图像合成部18生成在聚焦于区域R7的现实空间图像上重叠假想对象V4~V7而得到的重叠图像。然后,显示部19显示图7所示的重叠图像。
图8是示出由假想对象提取部13提取出的假想对象为1个或多个的情况下的假想对象的显示处理的流程图。
步骤S10~S11中的处理与图5所示的流程图的步骤S1~S2相同。在接下来的步骤S12中,假想对象提取部13判定提取出的假想对象是否为多个(S12)。在判定为提取出的假想对象为多个的情况下,处理顺序进入步骤S16。另一方面,在未判定为提取出的假想对象为多个的情况下,处理顺序进入步骤S13。
步骤S13~S15中的处理与图5所示的流程图的步骤S3~S5相同。另一方面,在步骤S16中,照相机设定值决定部15从提取出的多个假想对象中选择应该强调的假想对象(S16)。接着,照相机设定值决定部15设定包含所有选择出的多个假想对象的配置位置的区域(S17)。然后,照相机设定值决定部15根据步骤S17中设定的区域,决定焦距和景深(S18)。进而,假想对象加工部17针对配置在不聚焦的区域中的假想对象,根据步骤S18中决定的焦距和景深实施模糊加工(S19)。
接下来的步骤S20~S21中的处理与图5所示的流程图的步骤S6~S7相同。
接着,对用于使计算机作为本实施方式的对象显示装置1发挥功能的对象显示程序进行说明。图9是示出对象显示程序1m的结构的图。
对象显示程序1m构成为具有对对象显示处理进行统一控制的主模块100m、位置测定模块10m、方位测位模块11m、假想对象存储模块12m、假想对象提取模块13m、假想对象距离计算模块14m、照相机设定值决定模块15m、摄像模块16m、假想对象加工模块17m、图像合成模块18m和显示模块19m。而且,通过各模块10m~19m实施对象显示装置1中的各功能部10~19用的各功能。另外,对象显示程序1m可以是经由通信线路等传输介质进行传输的形式,也可以如图9所示,是存储在记录介质1d的程序存储区域1r中的形式。
在以上说明的本实施方式的对象显示装置1、对象显示方法和对象显示程序中,照相机设定值决定部15根据由假想对象距离计算部14计算出的与假想对象之间的距离,计算用于取得现实空间图像的包含焦距在内的设定值,摄像部16使用计算出的焦距取得现实空间图像,所以,可取得聚焦在假想对象的重叠位置、且焦点随着远离重叠假想对象的位置而偏移的图像。由于在这样取得的现实空间图像上重叠假想对象,所以,对作为用户关注对象的假想对象进行了强调,并且,减轻了重叠图像中的不协调感。
以上根据其实施方式对本发明进行了详细说明。但是,本发明不限于上述实施方式。本发明能够在不脱离其主旨的范围内进行各种变形。
产业上的可利用性
本发明在AR技术中,能够减轻在现实空间图像上重叠显示对象时的不协调感。
标号说明
1对象显示装置;10位置测定部;11方位测位部;12假想对象存储部;13假想对象提取部;14假想对象距离计算部;15照相机设定值决定部;16摄像部;17假想对象加工部;18图像合成部;19显示部;1m对象显示程序;10m位置测定模块;11m方位测位模块;12m假想对象存储模块;13m假想对象提取模块;14m假想对象距离计算模块;15m照相机设定值决定模块;16m摄像模块;17m假想对象加工模块;18m图像合成模块;19m显示模块;100m主模块;V1~V7假想对象。

Claims (6)

1.一种对象显示装置,其在现实空间图像的规定位置重叠显示对象,该对象显示装置具有:
对象信息取得单元,其根据该对象显示装置的所在位置,取得包含与对象在现实空间中的配置位置有关的位置信息的对象信息;
对象距离计算单元,其根据由所述对象信息取得单元取得的对象的位置信息,计算与所述对象之间的距离;
设定值决定单元,其根据由所述对象距离计算单元计算出的距离,决定用于取得现实空间图像的至少包含焦距在内的设定值;
图像取得单元,其使用由所述设定值决定单元决定的设定值取得现实空间图像;
图像合成单元,其生成在由所述图像取得单元取得的现实空间图像上重叠由所述对象信息取得单元取得的对象而得到的图像;以及
显示单元,其显示由所述图像合成单元生成的图像。
2.根据权利要求1所述的对象显示装置,其中,
在由所述对象信息取得单元取得了多个对象信息的情况下,所述设定值决定单元从所取得的多个对象信息中选择1个以上的对象信息,根据基于所选择出的对象信息而计算出的与该对象之间的距离,决定设定值。
3.根据权利要求2所述的对象显示装置,其中,
所述对象显示装置还具有对象加工单元,该对象加工单元根据由所述设定值决定单元决定的焦距和由所述对象距离计算单元计算出的与对象之间的距离的差,针对该对象的图像,进行用于模仿在摄影对象位于偏离焦距的位置的情况下取得的图像的模糊加工,
所述图像合成单元在所述现实空间图像上重叠由所述对象加工单元加工后的对象。
4.根据权利要求1~3中的任意一项所述的对象显示装置,其中,
所述设定值决定单元决定焦距和景深作为设定值。
5.一种对象显示装置的对象显示方法,在现实空间图像的规定位置重叠显示对象,该对象显示方法包括以下步骤:
对象信息取得步骤,根据该对象显示装置的所在位置,取得包含与对象在现实空间中的配置位置有关的位置信息的对象信息;
对象距离计算步骤,根据所述对象信息取得步骤中取得的对象的位置信息,计算与所述对象之间的距离;
设定值决定步骤,根据所述对象距离计算步骤中计算出的距离,决定用于取得现实空间图像的至少包含焦距在内的设定值;
图像取得步骤,使用所述设定值决定步骤中决定的设定值取得现实空间图像;
图像合成步骤,生成在所述图像取得步骤中取得的现实空间图像上重叠所述对象信息取得步骤中取得的对象而得到的图像;以及
显示步骤,显示所述图像合成步骤中生成的图像。
6.一种对象显示程序,其用于使计算机作为在现实空间图像的规定位置重叠显示对象的对象显示装置发挥功能,该对象显示程序使计算机实现如下功能:
对象信息取得功能,根据该对象显示装置的所在位置,取得包含与对象在现实空间中的配置位置有关的位置信息的对象信息;
对象距离计算功能,根据由所述对象信息取得功能取得的对象的位置信息,计算与所述对象之间的距离;
设定值决定功能,根据由所述对象距离计算功能计算出的距离,决定用于取得现实空间图像的至少包含焦距在内的设定值;
图像取得功能,使用由所述设定值决定功能决定的设定值取得现实空间图像;
图像合成功能,生成在由所述图像取得功能取得的现实空间图像上重叠由所述对象信息取得功能取得的对象而得到的图像;以及
显示功能,显示由所述图像合成功能生成的图像。
CN201280007950.6A 2011-02-10 2012-01-06 对象显示装置和对象显示方法 Expired - Fee Related CN103348387B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-027631 2011-02-10
JP2011027631A JP5377537B2 (ja) 2011-02-10 2011-02-10 オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
PCT/JP2012/050204 WO2012108219A1 (ja) 2011-02-10 2012-01-06 オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Publications (2)

Publication Number Publication Date
CN103348387A true CN103348387A (zh) 2013-10-09
CN103348387B CN103348387B (zh) 2015-12-09

Family

ID=46638439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280007950.6A Expired - Fee Related CN103348387B (zh) 2011-02-10 2012-01-06 对象显示装置和对象显示方法

Country Status (5)

Country Link
US (1) US20130278636A1 (zh)
EP (1) EP2674920A4 (zh)
JP (1) JP5377537B2 (zh)
CN (1) CN103348387B (zh)
WO (1) WO2012108219A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106461955A (zh) * 2014-01-31 2017-02-22 奇跃公司 多焦点显示系统和方法
CN108369482A (zh) * 2015-12-14 2018-08-03 索尼公司 信息处理设备、信息处理方法和程序

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
JP6102944B2 (ja) 2012-12-10 2017-03-29 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US20160246488A1 (en) * 2015-02-24 2016-08-25 Jonathan Sassouni Media Reveal Feature
US10044925B2 (en) * 2016-08-18 2018-08-07 Microsoft Technology Licensing, Llc Techniques for setting focus in mixed reality applications
US20180149826A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Temperature-adjusted focus for cameras
KR101991401B1 (ko) * 2017-10-12 2019-06-20 에스케이텔레콤 주식회사 증강 현실 표시 방법 및 장치
DE112018006197T5 (de) * 2017-12-04 2020-08-20 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund aufzeichnungsmedium
EP3877831A4 (en) 2018-11-09 2022-08-03 Beckman Coulter, Inc. MAINTENANCE GOGGLES WITH SELECTIVE DATA SUPPLY
US11241624B2 (en) * 2018-12-26 2022-02-08 Activision Publishing, Inc. Location-based video gaming with anchor points

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118217A1 (en) * 2001-02-23 2002-08-29 Masakazu Fujiki Apparatus, method, program code, and storage medium for image processing
US20030011610A1 (en) * 2000-01-28 2003-01-16 Shigeru Kitsutaka Game system and image creating method
CN1768354A (zh) * 2003-03-28 2006-05-03 奥林巴斯株式会社 数据创建设备
US20070236510A1 (en) * 2006-04-06 2007-10-11 Hiroyuki Kakuta Image processing apparatus, control method thereof, and program
US20080219654A1 (en) * 2007-03-09 2008-09-11 Border John N Camera using multiple lenses and image sensors to provide improved focusing capability
CN101764925A (zh) * 2008-12-25 2010-06-30 华晶科技股份有限公司 数字图像的浅景深模拟方法
CN101933040A (zh) * 2007-06-06 2010-12-29 索尼株式会社 图像处理装置、图像处理方法以及图像处理程序

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3318680B2 (ja) * 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
US7721307B2 (en) * 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
US6690338B1 (en) * 1993-08-23 2004-02-10 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
US5737533A (en) * 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US6956576B1 (en) * 2000-05-16 2005-10-18 Sun Microsystems, Inc. Graphics system using sample masks for motion blur, depth of field, and transparency
JP2002334097A (ja) * 2001-02-09 2002-11-22 Seiko Epson Corp サービス提供システム、管理端末、移動体、サービス提供プログラム及びサービス提供方法
JP3873272B2 (ja) * 2001-11-09 2007-01-24 フジノン株式会社 被写体距離表示装置
US20040058732A1 (en) * 2002-06-14 2004-03-25 Piccionelli Gregory A. Method, system and apparatus for location based gaming
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
US8301159B2 (en) * 2004-12-31 2012-10-30 Nokia Corporation Displaying network objects in mobile devices based on geolocation
CN101191979A (zh) * 2006-11-28 2008-06-04 华晶科技股份有限公司 自动对焦方法及系统
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US20090054084A1 (en) * 2007-08-24 2009-02-26 Motorola, Inc. Mobile virtual and augmented reality system
US9013505B1 (en) * 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
EP2327003B1 (en) * 2008-09-17 2017-03-29 Nokia Technologies Oy User interface for augmented reality
TW201026034A (en) * 2008-12-31 2010-07-01 Altek Corp Automatic focusing method in high-noise environment and the device thereof
JP4834116B2 (ja) 2009-01-22 2011-12-14 株式会社コナミデジタルエンタテインメント 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
JP4963124B2 (ja) * 2009-03-02 2012-06-27 シャープ株式会社 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム
US8994645B1 (en) * 2009-08-07 2015-03-31 Groundspeak, Inc. System and method for providing a virtual object based on physical location and tagging
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
JP4816789B2 (ja) * 2009-11-16 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8660679B2 (en) * 2010-12-02 2014-02-25 Empire Technology Development Llc Augmented reality system
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20130088413A1 (en) * 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030011610A1 (en) * 2000-01-28 2003-01-16 Shigeru Kitsutaka Game system and image creating method
US20020118217A1 (en) * 2001-02-23 2002-08-29 Masakazu Fujiki Apparatus, method, program code, and storage medium for image processing
CN1768354A (zh) * 2003-03-28 2006-05-03 奥林巴斯株式会社 数据创建设备
US20070236510A1 (en) * 2006-04-06 2007-10-11 Hiroyuki Kakuta Image processing apparatus, control method thereof, and program
US20080219654A1 (en) * 2007-03-09 2008-09-11 Border John N Camera using multiple lenses and image sensors to provide improved focusing capability
CN101933040A (zh) * 2007-06-06 2010-12-29 索尼株式会社 图像处理装置、图像处理方法以及图像处理程序
CN101764925A (zh) * 2008-12-25 2010-06-30 华晶科技股份有限公司 数字图像的浅景深模拟方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106461955A (zh) * 2014-01-31 2017-02-22 奇跃公司 多焦点显示系统和方法
CN106461955B (zh) * 2014-01-31 2019-08-13 奇跃公司 显示增强现实的方法
CN108369482A (zh) * 2015-12-14 2018-08-03 索尼公司 信息处理设备、信息处理方法和程序
CN108369482B (zh) * 2015-12-14 2021-09-28 索尼公司 信息处理设备、信息处理方法和程序

Also Published As

Publication number Publication date
US20130278636A1 (en) 2013-10-24
EP2674920A4 (en) 2017-09-20
WO2012108219A1 (ja) 2012-08-16
CN103348387B (zh) 2015-12-09
JP2012168642A (ja) 2012-09-06
JP5377537B2 (ja) 2013-12-25
EP2674920A1 (en) 2013-12-18

Similar Documents

Publication Publication Date Title
CN103348387A (zh) 对象显示装置、对象显示方法和对象显示程序
CN103370732A (zh) 对象显示装置、对象显示方法和对象显示程序
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
US9516214B2 (en) Information processing device and information processing method
CN107113376B (zh) 一种图像处理方法、装置及摄像机
TW201709718A (zh) 在使用者裝置上顯示光場為基影像之方法及裝置,及對應之電腦程式產品
US10733798B2 (en) In situ creation of planar natural feature targets
EP1883052A2 (en) Generating images combining real and virtual images
EP2391142A1 (en) Imaging device, method and program, and recording medium using same
KR20160136817A (ko) 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
KR101905580B1 (ko) 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템
CN102395036A (zh) 用于提供3d增强现实图像的设备和方法
CN108900787A (zh) 图像显示方法、装置、系统及设备、可读存储介质
US11392219B2 (en) Determining locations of electro-optical pens
CN110276774B (zh) 物体的绘图方法、装置、终端和计算机可读存储介质
US9467620B2 (en) Synthetic camera lenses
CN106603901A (zh) 用于场景匹配的方法和装置
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
CN106289263A (zh) 室内导航方法和装置
JP2020067978A (ja) 床面検出プログラム、床面検出方法及び端末装置
CN108961423A (zh) 虚拟信息处理方法、装置、设备及存储介质
CN110455265A (zh) Rtk放样系统、方法及装置
CN110012236A (zh) 一种信息处理方法、装置、设备和计算机存储介质
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
EP2355525A2 (en) Mobile communication terminal having image conversion function and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151209

Termination date: 20180106

CF01 Termination of patent right due to non-payment of annual fee