CN102737405A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN102737405A
CN102737405A CN2012100805340A CN201210080534A CN102737405A CN 102737405 A CN102737405 A CN 102737405A CN 2012100805340 A CN2012100805340 A CN 2012100805340A CN 201210080534 A CN201210080534 A CN 201210080534A CN 102737405 A CN102737405 A CN 102737405A
Authority
CN
China
Prior art keywords
image
real space
user
amended
equipment according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100805340A
Other languages
English (en)
Inventor
笠原俊一
宫下健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102737405A publication Critical patent/CN102737405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了图像处理设备、图像处理方法和程序，其中，该设备包括：存储器，存储指令；以及控制单元，被配置成执行指令，以检测真实空间图像内的关注对象的图像、检测真实空间对象图像相对于真实空间用户视角的方位、生成对应于真实空间对象的包括修改对象的图像的修改后的图像，以使得修改对象图像的方位对应于期望的用户视角，并且显示修改后的图像。

Description

图像处理设备、图像处理方法和程序
本公开内容包含与2011年3月31日向日本专利局提交的日本优先权专利申请JP 2011-078076中所公开的主题内容有关的主题内容，其全部内容通过引用结合于此。
技术领域
本公开内容涉及一种图像处理设备、一种图像处理方法以及一种程序。
背景技术
真实世界中存在以文本、图示、符号、图像等形式表现的各种类型的信息。这些信息通常以从正面和/或从特定方位最佳观看的方式来呈现。
例如，JP2010-202018A公开了一种用于通过识别存在于汽车周围的交通标志的字符来帮助驾驶的技术。同样在这种技术中，假定从正面捕获看板上的字符。当对于读取信息的主体是人以及主体是计算机的情况而言，在视觉上读取信息同等地真实时，从正面观看信息是优选的。
发明内容
然而，在真实世界中，可能没有相对于要接收打印信息或其他信息的对象来最佳地对信息用户进行定向。因此，如果可以容易地使得表现信息的真实对象的表面面向读者或信息用户的方向，则这会是有益的。
本发明的各个方面包括一种设备，该设备包括存储指令的存储器和控制单元。控制单元可被配置成执行指令，以：检测真实空间图像内的关注对象的图像；检测真实空间对象图像相对于真实空间用户视角的方位；生成对应于真实空间对象的、包括修改对象的图像的修改后的图像，以使得修改对象图像的方位对应于期望的用户视角；并且显示修改后的图像。
本发明的各个方面还包括一种方法，该方法包括检测真实空间图像内的关注对象的图像。该方法还可包括：检测真实空间对象图像相对于真实空间用户视角的方位；生成对应于真实空间对象的、包括修改对象的图像的修改后的图像，以使得修改对象图像的方位对应于期望的用户视角；以及显示修改后的图像。
本发明的各个方面还包括存储有指令有形体现的非暂态计算机可读介质，这些指令在由处理器执行时执行包括检测真实空间图像内的关注对象的图像的方法。该方法还可包括：检测真实空间对象图像相对于真实空间用户视角的方位；生成对应于真实空间对象的、包括修改对象的图像的修改后的图像，以使得修改对象图像的方位对应于期望的用户视角；以及显示修改后的图像。
本说明书中公开的技术使得能够容易地使得表现信息的真实对象的表面面向读者(例如，信息用户)的方向。
附图说明
图1是用于描述根据实施例的图像处理设备的概述的图；
图2是示出了根据实施例的图像处理设备的硬件配置的示例的框图；
图3是示出了根据实施例的图像处理设备的逻辑功能的配置示例的框图；
图4是用于描述图像识别单元的识别结果的示例的图；
图5A是用于描述由生成单元执行的对准图像(aligned image)生成方法的第一示例的第一幅图，其中，实现了修改后的用户视角；
图5B是用于描述由生成单元执行的对准图像生成方法的第一示例的第二幅图，其中，实现了具有与真实空间对象图像的方位不同的方位的修改对象的图像；
图6是用于描述由生成单元执行的对准图像生成方法的第二示例的图；
图7是示出了根据实施例的图像显示设备显示的输入图像的示例的图；
图8是用于描述对图7所示的输入图像的处理的第一幅图；
图9是用于描述对图7所示的输入图像的处理的第二幅图；
图10是示出了根据图7所示的输入图像生成的对准图像的示例的图；
图11是用于描述与图10所示的对准图像相关的虚拟对象的操作示例的图；以及
图12是示出了根据实施例的图像处理设备执行的处理流程的示例的流程图。
具体实施方式
下文中，将参照附图详细描述本公开内容的优选实施例。应注意，在本说明书和附图中，基本上具有相同功能和配置的结构元件用相同的附图标记来表示，并且省略了对这些结构元件的重复说明。
1.概述
图1是用于描述本说明书中公开的技术的实施例的概述的说明图。参照图1，示出了真实空间1中的用户携带的图像处理设备100。
图像处理设备100可在屏幕上显示通过捕获真实空间而获得的图像。例如，图像处理设备100可以是用户装置，诸如智能手机、PDA(个人数字助理)、游戏终端或者便携式音乐播放器，或者图像处理设备100可以是信息处理设备，诸如PC(个人计算机)或者工作站。该图像处理设备还可包括用户可远程访问的其他装置，诸如服务器。
真实空间1是可以使用图像处理设备100的空间的示例。真实对象12a和12b存在于真实空间1中。真实对象12a是通告板。然而，应当理解，真实对象12a和12b以及接下来的描述中提供的其他真实对象仅仅是示例性的。真实对象可以是用户关注的任意对象。符号标记13a附加于真实对象12a。真实对象12b是用于信息显示的告示板。图像处理设备100获取通过捕获这样的真实空间1而获得的图像，并且在图像处理设备100的屏幕上显示所获取的图像。真实对象12a和12b的正面不一定与捕获图像的装置的光轴方向一致。这里，如果捕获图像的装置是用户图像捕获装置，则捕获图像的装置的光轴方向可确定用户视角。如本文中所使用的，“视角”是指对象在场景中的出现，如用户在特定的观看位置和方向所观看到的那样。因而，如果所捕获到的图像按原样显示在屏幕上，则用户可能无法正确地读取图像上示出的信息(例如，绘制在真实对象12a上的信息、或者由真实对象12b呈现的信息)。如果例如用户视角(例如，在某些情况下为装置的光轴方向)和真实对象12a的方位不具有适当的关系，则这样的情况可能发生。从而，如将从以下部分起详细地描述的那样，根据本实施例的图像处理设备100处理图像以产生“修改后的图像”，使得图像中示出的真实对象的基准平面(例如，“对象的方位”)面向图像平面(例如，期望的用户视角)，并且因此，例如通过使对象的方位与期望的用户视角对准来提高图像中示出的信息的可视性。生成“修改后的图像”还可以或者可替选地包括修改对象的方位。对对象的方位的修改可包括本文中所描述的任意示例修改以及任意其他适当的修改。例如，对对象的方位的修改可包括：在真实空间图像内施加对对象的方位的“伪修改(pseudo-modification)”，诸如通过对真实空间图像施加变换。应当理解，本文中所描述的任意操作(例如，图像处理等)都可在用户装置上在本地执行以及/或者可远程地执行，诸如通过远离用户装置的服务器(例如，“远程服务器”)来执行。
2.根据实施例的图像处理设备的示例配置
2-1.硬件配置
图2是示出了根据本实施例的图像处理设备100的硬件配置的示例的框图。参照图2，图像处理设备100包括成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、通信单元114、总线118和控制单元120。
成像单元
成像单元102可包括用于捕获图像的摄像装置模块。成像单元102通过使用图像传感器(诸如，CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体))来捕获真实空间图像，并且生成所捕获的图像。成像单元102还可以包括用于视频输入的成像电路和用于静止图像输入的成像电路这两种电路或者其中的一种电路。
传感器单元
传感器单元104是用于支持对图像处理设备100的位置和姿态(attitude)的识别并且检测至图像处理设备100的用户输入的一部分的一组传感器。例如，传感器单元104可以包括接收GPS(全球定位系统)信号并且测量图像处理设备100的纬度、经度和高度的GPS传感器。另外，传感器单元104还可以包括基于例如从无线接入点接收到的无线电信号的强度来测量图像处理设备100的位置的定位传感器。此外，传感器单元104还可以包括运动传感器，诸如测量图像处理设备100的三轴加速度的加速度传感器或者测量倾角的陀螺仪传感器。
输入单元
输入单元106是由用户用来操作图像处理设备100或者用来向图像处理设备100输入信息的输入装置。典型地，输入单元106包括检测用户对显示单元112的屏幕的触摸的触摸传感器。可替选地(或者，除此之外)，输入单元106可以包括诸如鼠标或触摸板的指向装置、识别图像中示出的用户的姿势的姿势识别模块、或者检测戴着头戴式显示器(HMD)的用户的视线方向的视线检测模块。此外，输入单元106还可以包括其他类型的输入装置，诸如键盘、键座、按钮、开关等。
存储单元
存储单元108可以包括存储介质(诸如，半导体存储器、硬盘等)，并且存储用于由图像处理设备100进行的处理的程序和数据。例如，存储在存储单元108中的数据可以包括由成像单元102生成的图像数据和由传感器单元104生成的传感器数据。要存储在存储单元108中的数据还可以例如包括在识别图像中示出的真实对象时所使用的模型数据。
显示单元
显示单元112是由LCD(液晶显示器)、OLED(有机发光二极管)、CRT(阴极射线管)等配置的显示模块。例如，显示单元112在屏幕上显示由成像单元102捕获的图像或者要由控制单元120处理的图像。
通信单元
通信单元114可以包括对图像处理设备100与其他装置的通信起媒介作用的通信接口。通信单元114可以支持任意无线通信协议或有线通信协议，并且建立至其他装置的通信连接。
总线
总线118可以将成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、通信单元114和控制单元120彼此连接。
控制单元
控制单元120可以包括处理器，诸如CPU(中央处理器)、DSP(数字信号处理器)等。控制单元120执行存储在存储单元108或其他存储介质中的程序，并且使图像处理设备100的各种功能发生。
2-2.功能配置
图3是示出了由图2所示的图像处理设备100的存储单元108和控制单元120实现的逻辑功能的示例性配置的框图。参照图3，图像处理设备100包括图像获取单元130、帧存储器132、模型数据库(DB)138、图像识别单元140、检测单元150、生成单元160、图像DB 162和显示控制单元170。
(1)图像获取单元
图像获取单元130可以获取示出真实空间的图像作为输入图像。例如，图像获取单元130还可以获取来自成像单元102的视频输入的最新帧作为输入图像。图像获取单元130还可以获取过去捕获到的且存储在存储单元108中的视频输入或者作为快照捕获到的静止图像的每一帧，作为输入图像。图像获取单元130将所获取的输入图像输出至图像识别单元140。
(2)模型DB
模型DB 138可以包括如下数据库：其中，预先累积有与作为图像处理设备100的识别目标的真实对象或其他对象的形状或外观有关的模型数据。在本实施例中，图像处理设备100的识别目标通常是具有可以表现某种信息的表面的真实对象，诸如广告板、通告板、告示板、海报、屏幕、交通标志等。模型数据可以包括限定这些真实对象的形状的数据。模型数据还可以包括附加于这些真实对象的符号标记、文本标签等的图像数据。此外，模型数据还可以包括从与这些真实对象相关的已知图像中提取的特征量集合的数据。
(3)图像识别单元
图像识别单元140识别从图像获取单元130输入的输入图像中示出的是哪个真实对象，并且还识别输入图像中示出的真实对象的三维位置和姿态。由图像识别单元140识别的真实对象的位置和姿态可以包括相对于已捕获到输入图像的装置的图像平面的相对位置和姿态。例如，图像识别单元140可以对照可由模型数据限定的真实对象的形状来检查从输入图像中提取的特征点集合。图像识别单元140还可以对照输入图像来检查可由模型数据限定的符号标记、文本标签等的图像数据。图像识别单元140还可以对照从输入图像中提取的特征量来检查可由模型数据限定的已知真实对象的图像的特征量。在任意情况下，图像识别单元140都可以识别出具有大于阈值的更理想的匹配得分(match score)的真实对象以与匹配得分对应的位置和姿态示出在输入图像中。另外，图像识别单元140可以在不使用模型数据的情况下简单地将出现在输入图像中的四边形图案识别为例如具有某种矩形图案的真实对象。
图4是用于描述图像识别单元140的识别结果的示例的图。参照图4，示出了要输入至图像识别单元140的示例性输入图像Im0。可识别输入图像Im0中示出的真实对象12a的位置Xa和姿态Wa以及真实对象12b的位置Xb和姿态Wb，作为图像识别单元140的图像识别的结果。可以通过三维全局坐标系(x，y，z)来给出每个真实对象的位置X，作为每个真实对象的参考点(例如，模型坐标系的原点)的位置。全局坐标系可以是将图像处理设备100的位置作为原点的、表示相对位置坐标的坐标系。可替选地，全局坐标系可以是固定地限定在真实空间中的坐标系。可以给出每个真实对象的姿态W，作为表示每个真实对象相对于全局坐标系的旋转的旋转矩阵或者四元数。此外，在本说明书中，为了简化说明，将每个真实对象的位置X和姿态W描述为单独的变量。然而，每个真实对象的位置X和姿态W也可以用一个齐次变换矩阵来表示，其中，该齐次变换矩阵的四行和四列表示全局坐标系与每个真实对象的模型坐标系之间的变换。在这种情况下，可以根据需要来从该一个齐次变换矩阵中提取每个真实对象的位置X和姿态W，并且可以使用每个真实对象的位置X和姿态W。图像识别单元140将已按以上方式识别出的、输入图像中示出的每个真实对象的标识符、位置和姿态输出至生成单元160和显示控制单元170。
(4)检测单元
检测单元150检测用户输入，并且将用户输入信息输出至生成单元160。要由检测单元150检测的用户输入(或者“用户操作”)可以例如包括至图2所示的输入单元106的触摸传感器的各种触摸输入(例如，触摸、轻击、双击、拖动、轻弹、挤压(pinch in)、伸展(pinch out)等)。此外，要由检测单元150检测的用户输入例如还可以包括由图2所示的传感器单元104的传感器组测量出的图像处理设备100的运动(例如，倾斜、摇动等)。
在本实施例中，由检测单元150检测到的第一用户输入可以表示用于从正常显示模式转变为对准显示模式的触发事件(trigger)。而输入图像是由显示装置以正常显示模式来显示的，由以下描述的生成单元160生成的图像可以以对准显示模式来显示。由检测单元150检测到的第二用户输入表示对准显示模式的终止。当对准显示模式终止时，图像处理设备100的状态返回到正常显示模式，并且再次显示输入图像。第一用户输入和第二用户输入可以是上述各种类型的用户输入的任意组合。
(5)生成单元
在对准显示模式下，生成单元160处理输入图像，使得由图像识别单元140识别出的真实对象的基准平面面向已捕获到输入图像的装置的图像平面，并且生成单元160从而生成处理后的图像。第一平面“面向”第二平面例如是指第一平面看起来基本上与第二平面平行。在以下描述中，将主要涉及如下情况：其中，真实对象的基准平面为真实对象的正面，并且处理后的图像为已被处理成使得真实对象的正面与图像平面平行对准的对准图像。在真实对象具有表现某种信息的平面的情况下，该平面的法线方向可以对应于真实对象的正面。如从图4的示例可以了解，如果确定了真实对象的姿态，则可以基于该姿态来确定真实对象的正面的方向。然而，真实对象的基准平面不限于这样的示例，并且该基准平面可以是从真实对象的侧面、顶面、背面或底面或者从某个角度看到的平面。例如，可以使用真实对象特有的模型坐标系来以模型数据预先限定真实对象的基准平面。
(5-1)对准图像生成方法
如上所述，在本实施例中，由图像识别单元140识别出的真实对象中的很多真实对象都是形状或外观具有矩形图案的基本上呈平面状的真实对象。然而，在真实对象的正面没有与图像平面平行对准的情况下，真实对象的矩形图案表示图像中除了矩形外的四边形。生成单元160以如下方式生成对准图像：使得真实对象的这样的矩形图案在对准图像中看起来基本上呈矩形。下面，将参照图5和图6来描述由生成单元160执行的对准图像生成方法的两个示例。
第一方法假定图像处理设备100使用三维渲染。在三维渲染中，可以基于以三维(模型)和虚拟视点(摄像装置位置)限定的真实对象的形状来显示真实对象的虚拟图形。因而，在第一方法中，生成单元160通过三维旋转视点或所识别出的真实对象以使得三维渲染的视点定位在真实对象的正面方向上来生成对准图像。
图5A和图5B是用于描述对准图像生成方法的第一示例的说明图。在图5A的左边，示意性地示出了输入图像中示出的真实对象12与图像处理设备100的图像平面103之间的位置关系。三维渲染的视点定位在图像平面103后面。X1和W1均表示真实对象12相对于图像平面103的相对位置和姿态。作为图像识别单元140的识别结果，获取位置X1和姿态W1。生成单元160在三维渲染的虚拟空间中将视点的位置旋转对应于姿态W1的旋转量α。因而，如从修改后的用户视角观看，生成了修改后的图像。因而，视点位于真实对象12的正面，并且可以通过渲染生成对准图像。
在图5B的左边，再次示出了与图5A所示的位置关系相同的、真实对象12与图像处理设备100的图像平面103之间的位置关系。生成单元160可以在三维渲染的虚拟空间中将真实对象旋转对应于姿态W1的旋转量α。从而，生成具有与真实空间对象图像的方位不同的方位的修改对象的图像。此外，在这种情况下，视点可以位于真实对象12的正面，并且可以通过渲染来生成对准图像。结果，真实对象12的正面上的矩形图案在对准图像上可以显示为矩形。
在第二种方法中，生成单元160通过对输入图像中对应于所识别出的真实对象的部分区域施加二维仿射变换来生成对准图像。参照图6，示出了如下情况：真实对象12的正面上的矩形图案以歪斜方式示出在输入图像中。这里，将真实对象12的平面内的两个基本向量记为xe和ye。此外，将在图像平面内正交的两个基本向量记为x′e和y′e。然后，可以通过以下公式得到用于对对应于真实对象12的部分区域的形状进行改变以使得部分区域看起来为矩形的仿射变换的变换矩阵Mtrans。
Mtrans＝(x′e，y′e)(xe，ye)-1       ...(1)
生成单元160可以通过使用这样的变换矩阵Mtrans来将输入图像中对应于真实对象12的部分区域中的每个像素的像素位置映射为对准图像中的处理后的像素位置，来生成对准图像。在图6的示例中，示出了如下情况：通过变换矩阵Mtrans将输入图像的部分区域中的像素位置P0映射为对准图像中的像素位置P0’。
此外，上述第一方法和第二方法还可以应用于如下情况：真实对象的基准平面为除了真实对象的正面外的平面。另外，在第一方法和第二方法这两种方法中，生成单元160都可以放大(或缩小)对准图像中的真实对象12的尺寸，使得用真实对象12表现的信息将具有适于读取的尺寸。
另外，生成单元160还可以根据针对作为对准目标的真实对象的从输入图像到对准图像的处理量来处理部分区域的周围区域。在第一方法中，从真实对象的输入图像到对准图像的处理量表示三维渲染中真实对象或视点的三维旋转的旋转量。在第二方法中，从真实对象的输入图像到对准图像的处理量表示通过变换矩阵Mtrans对像素位置的平移和旋转的量。在执行这样的处理时，虽然周围区域的图像会是歪斜的，但是可以在对准图像中保持在输入图像中示出的真实对象与其周围之间的视觉连续性。从而，使得用户能够容易了解已对输入图像中示出的哪个真实对象进行了处理。
此外，在预料到在对准图像中也难以读取用真实对象表现的信息的情况下，生成单元160可以用其他图像来替换真实对象的部分区域的图像。例如，图像DB 162预先将通过以高分辨率捕获每个真实对象的正面而获得的图像和每个真实对象的标识符彼此相关联地存储，其中，每个真实对象均为图像处理设备100的识别目标。从而，生成单元160可以使用真实对象的标识符来从图像DB162获取从图像识别单元140输入的与真实对象相关的图像，并且用所获取的图像来替代部分区域的图像。
(5-2)目标真实对象的指定
如图4所示，在输入图像中可以识别多个真实对象。在这种情况下，生成单元160可以根据用户的明确指定来确定要平行对准的真实对象。例如，可以通过对触摸传感器的触摸或者使用指向装置的点击来对与真实对象相关联的确定区域进行真实对象的指定。此外，生成单元160可以将输入图像中的、基准平面与图像平面成最大角度的真实对象或者具有最大部分区域的真实对象指定为要平行对准的真实对象。此外，生成单元160可以使输入图像中的所有的多个真实对象在对准图像中与图像平面平行对准。
(6)显示控制单元
在正常显示模式下，显示控制单元170在显示单元112的屏幕上显示输入图像。此外，在对准显示模式下，显示控制单元170在显示单元112的屏幕上显示由生成单元160生成的对准图像。
用于从正常显示模式转变为对准显示模式的触发事件可以是上述第一用户输入的检测。例如，第一用户输入可以包括至触摸传感器的触摸输入或者由运动传感器检测到的图像处理设备100的运动。此外，当满足以下条件中的任一条件时，显示控制单元170可以转变为对准显示模式：
a)输入图像中示出的真实对象的基准平面相对于图像平面的角度(真实对象的“方位角”)超过阈值，或者
b)输入图像中对应于所识别出的真实对象的部分区域的尺寸小于阈值。
如果满足这些条件，则表明难以读取通过每个真实对象表现的信息。因而，有益的是，即使在用户输入的情况下，如果满足任一条件，则仍自动显示适于读取信息的对准图像。
另外，如果在对准显示模式下检测到第二用户输入，则显示控制单元170结束对准图像的显示，并且返回到正常显示模式。第二用户输入可以是与第一用户输入相同类型的用户输入，或者可以是与第一用户输入不同类型的用户输入。此外，显示控制单元170可以在转变为对准显示模式之后过去了一段时间的情况下返回到正常显示模式。
在从正常显示模式转变为对准显示模式时，显示控制单元170可以通过显示装置来显示输入图像逐渐变成处理后的图像所依据的动画。例如，该动画是目标真实对象的基准平面逐渐对准成与图像平面平行所依据的动画。在这种情况下，生成单元160生成真实对象的姿态在输入图像与由生成单元160生成的对准图像之间逐渐变化的多个中间图像，并且这些中间图像通过显示控制单元170由显示装置依次显示。从而，可以增强输入图像与由用户感测到的对准图像之间的连续性。因而，用户可以直观地且容易地了解已对输入图像中示出的哪个真实对象进行了处理。
另外，在对准显示模式下，显示控制单元170还可以在屏幕上显示与平行于图像平面而显示的目标真实对象相关的虚拟对象，并且可以使得虚拟对象能够由用户操作。这里，虚拟对象可以是所谓的增强现实(AR)的注释，并且可以包括表现与每个真实对象相关的信息内容(例如，导航信息、广告信息、商店信息、新闻等)的对象。例如，在检测单元150检测到用于虚拟对象的第三用户输入的情况下，显示控制单元170改变虚拟对象的状态。虚拟对象的状态可以包括虚拟对象的位置、姿态、尺寸、滚动位置等(例如，在拖动虚拟对象的情况下，信息内容滚动，而在伸展虚拟对象的情况下，则信息内容放大)。在本实施例中，通过对准图像的显示来增强由真实对象表现的信息的可视性，并且从而，还使得与真实对象相关的虚拟对象的操作对于用户而言更容易。
3.要显示的图像的示例
接下来，将参照图7至图11来描述可以在本实施例中显示的图像的示例。
参照图7，输入图像Im1a显示在图像处理设备100的屏幕上。输入图像Im1a中示出了真实对象12d和真实对象12e。图像处理设备100的图像识别单元140识别到在输入图像Im1a中示出了真实对象12d和真实对象12e，并且还识别出每个真实对象的位置和姿态。假定在这种情况下，检测单元150检测到作为用于对准图像的显示的触发事件的第一用户输入(例如，用户在真实对象12d的检测区域上的轻击)。然后，生成单元160生成已被处理成使得真实对象12d的正面与图像平面平行对准的对准图像。
参照图8，用框13d围绕在输入图像Im1a内识别出的真实对象12d的部分区域。真实对象12d的部分区域包括在图中示出为用对角线划上阴影线的矩形图案14d。生成单元160以如下方式生成对准图像：使得真实对象12d的矩形图案14d在对准图像内看起来基本上呈矩形。参照图9，示出了矩形图案14d和围绕在根据输入图像Im1a生成的对准图像Im1b内的真实对象12d的部分区域的框13d。矩形图案14d在对准图案Im1b中基本上为矩形。此外，在本实施例中，生成单元160不仅处理要平行对准的真实对象的部分区域，还处理该部分区域的周围区域。在图9的示例中，示出了不仅处理由框13d围绕的真实对象12d的部分区域，而且处理示出真实对象12e的周围区域。
参照图10，由生成单元160生成的对准图像Im1b显示在图像处理设备100的屏幕上。用户可以通过参照如上所述的对准图像Im1b来从真实对象12d的正面观看由真实对象12d表现的信息。
此外，在显示对准图像的状态下，图像处理设备100的显示控制单元170可以将与图像平面平行对准的真实对象相关的虚拟对象叠加到对准图像上，并且显示该虚拟对象。此外，虚拟对象可以是能够由用户操作的。参照图11，虚拟对象15d叠加在图10中所示的对准图像Im1b中示出的真实对象12d上。例如，图11中示出了如下情况：通过用户在屏幕上拖动虚拟对象15d来使虚拟对象15d滚动至左边。另外，要叠加到对准图像上的虚拟对象可以是具有更高分辨率的真实对象图像、添加有信息量的真实对象图像、表现与真实对象相关的某种信息的文本、图标或图像等。
4.处理流程
图12是示出了根据本实施例的图像处理设备100执行的处理流程的示例的流程图。另外，假定在图12所示的处理开始时图像处理设备100处于正常显示模式。
参照图12，首先，图像获取单元130获取例如示出真实空间的图像作为输入图像(步骤S102)。接着，图像识别单元140识别由图像获取单元130获取的输入图像中示出了哪个(哪些)真实对象，并且还识别输入图像中示出的真实对象的三维位置和姿态(步骤S104)。
然后，显示控制单元170可以确定是否检测到用于转变为对准显示模式的触发事件(步骤S106)。在检测到用于对准显示模式的触发事件的情况下，显示控制单元170使得由图像获取单元130获取的输入图像显示在屏幕上(步骤S108)。接着，显示控制单元170可以将某个虚拟对象叠加到输入图像上。例如，可以将表示由图像识别单元140识别出的真实对象的位置和姿态的辅助虚拟对象(诸如，图8中的框13d)或者表示每个真实对象的上述确定区域的辅助虚拟对象叠加到输入图像上。接着，处理返回到步骤S102。
在步骤S106中已检测到用于转变为对准显示模式的触发事件的情况下，处理进入步骤S110。在步骤S110中，生成单元160根据用户的明确指定或者输入图像中的每个真实对象的尺寸或姿态来确定要平行对准输入图像中示出的哪个真实对象(步骤S110)。然后，生成单元160通过处理输入图像以使得所确定的真实对象的基准平面(例如，正面)与图像平面平行对准来生成对准图像(步骤S112)。接着，显示控制单元170使得由生成单元160生成的对准图像显示在屏幕上(步骤S114)。
接着，当检测到用于终止对准显示模式的触发事件(例如，上述第二用户输入、时间的流逝等)时，图像处理设备100的状态返回到正常显示状态，并且处理返回到步骤S102(步骤S116)。
5.总结
以上，已参照图1至图12详细描述了本技术的实施例。根据上述实施例，对输入图像进行处理，以使得输入图像中示出的真实对象的基准平面面向图像平面，并且显示处理后的图像。因而，可以容易地将真实世界中表现某种信息的真实对象的基准平面转向阅读者的方向。可以通过将对屏幕的触摸、终端的运动等作为触发事件来执行处理后的图像的显示。另外，由于通过显示处理后的图像增强了由真实对象表现的信息的可视性，因此，对与处理后的图像中示出的真实对象相关联地显示的虚拟对象(例如，AR应用的注释)的操作对于用户而言也变得容易。
此外，根据本实施例，当所识别出的真实对象的基准平面相对于图像平面的角度超过阈值时，或者当输入图像中对应于真实对象的部分区域的尺寸小于阈值时，也可以显示处理后的图像。因而，在很难读取由每个真实对象表现的信息的情况下，可以向用户提供适于信息的读取的图像，而无需等待用户输入。
此外，根据本实施例，在生成处理后的图像时，类似于真实对象，不仅处理对应于真实对象的部分区域，而且处理部分区域的周围区域。因此，在处理后的图像中也保持了输入图像中示出的真实对象与其周围之间的视觉连续性。从而，使得用户能够容易了解已经对输入图像中示出的哪个真实对象进行了处理。
此外，本说明书中所描述的图像处理设备100执行的处理可以通过使用软件、硬件以及软件与硬件的组合中的任意一个来实现。例如，配置软件的程序预先存储在设置在装置内部或外部的存储介质中。例如，每个程序在执行时均被装载到RAM(随机存取存储器)中，并且通过诸如CPU(中央处理单元)的处理器来执行。
另外，在本实施例中，主要描述了如下示例：处理后的图像显示在图像处理设备100的显示单元112的屏幕上。然而，作为其他实施例，可以基于输入图像中示出的真实对象的姿态的识别结果、根据从用户携带的终端装置接收输入图像的图像处理设备处的输入图像，生成处理后的图像。在这种情况下，可以将生成的处理后的图像从图像处理设备传送至终端装置，并且可以在终端装置的屏幕上显示处理后的图像。
本领域技术人员应当理解，在所附权利要求或其等同方案的范围内，根据设计要求和其它因素，可进行各种修改、组合、子组合以及变更。
另外，本技术还可以进行如下配置。
(1)一种图像处理设备，包括：
图像获取单元，用于获取示出真实空间的输入图像；
识别单元，用于识别输入图像中示出的真实对象的姿态；
生成单元，用于根据输入图像生成已被处理成使得由识别单元识别出的真实对象的基准平面面向输入图像的图像平面的处理后的图像；以及
显示控制单元，用于使显示装置显示由生成单元生成的处理后的图像。
(2)根据(1)所述的图像处理设备，
其中，基准平面是真实对象的正面，以及
其中，处理后的图像是已被处理成使得真实对象的正面与图像平面平行对准的对准图像。
(3)根据(2)所述的图像处理设备，
其中，真实对象是具有矩形图案的基本上呈平面状的真实对象，以及
其中，对准图像是已被处理成使得矩形图案看起来基本上呈矩形的图像。
(4)根据(3)所述的图像处理设备，
其中，生成单元通过三维旋转三维渲染的视点或真实对象以使得视点将定位在真实对象的正面方向上来生成对准图像。
(5)根据(3)所述的图像处理设备，
其中，生成单元通过对输入图像中对应于真实对象的部分区域施加二维仿射变换来生成对准图像。
(6)根据(4)或(5)所述的图像处理设备，
其中，生成单元还根据针对真实对象的从输入图像到对准图像的处理量来处理输入图像内对应于真实对象的部分区域的周围区域。
(7)根据(1)至(6)中任一项所述的图像处理设备，
其中，显示控制单元使得显示装置在识别出真实对象的状态下检测到第一用户输入的情况下显示处理后的图像。
(8)根据(7)所述的图像处理设备
其中，显示控制单元使得显示装置在显示处理后的图像的状态下检测到第二用户输入的情况下显示输入图像。
(9)根据(1)至(6)中任一项所述的图像处理设备，
其中，显示控制单元使得显示装置在真实对象的正面相对于图像平面的角度超过预定阈值的情况下显示处理后的图像。
(10)根据(1)至(6)中任一项所述的图像处理设备，
其中，显示控制单元使得显示装置在输入图像中对应于真实对象的部分区域的尺寸降到预定阈值以下的情况下显示处理后的图像。
(11)根据(1)至(10)中任一项所述的图像处理设备，
其中，显示控制单元使得显示装置在显示处理后的图像时显示输入图像逐渐变成处理后的图像的动画。
(12)根据(1)至(11)中任一项所述的图像处理设备，
其中，在显示处理后的图像的情况下，显示控制单元使得显示装置显示与真实对象相关的虚拟对象，并且使得虚拟对象能够由用户来操作。
(13)一种图像处理方法，包括：
获取示出真实空间的输入图像；
识别输入图像中示出的真实对象的姿态；
根据输入图像生成已被处理成使得所识别出的真实对象的基准平面面向输入图像的图像平面的处理后的图像；以及
使得显示装置显示所生成的处理后的图像。
(14)一种程序，用于使得用于控制图像处理设备的计算机用作：
图像获取单元，用于获取示出真实空间的输入图像；
识别单元，用于识别输入图像中示出的真实对象的姿态；
生成单元，用于根据输入图像生成已被处理成使得由识别单元识别出的真实对象的基准平面面向输入图像的图像平面的处理后的图像；以及
显示控制单元，用于使得显示装置显示由生成单元生成的处理后的图像。
另外，本技术还可以进行如下配置。
(1)一种设备，包括：
存储器，存储指令；以及
控制单元，被配置成执行所述指令，以：
检测真实空间图像内的关注对象；
检测所述真实空间图像内的对象相对于真实空间用户视角的方位；
生成对应于真实空间对象的、包括修改对象的图像的修改后的图像，以使得所述修改对象的方位对应于期望的用户视角；并且
显示所述修改后的图像。
(2)根据(1)所述的设备，其中，生成修改后的图像包括：生成具有与所述真实空间图像内的对象的方位不同的方位的所述修改对象的图像。
(3)根据(1)所述的设备，其中，生成修改对象的图像包括：生成所述修改对象的图像，以使得修改对象图像的形状不同于真实空间对象图像的形状。
(4)根据(3)所述的设备，其中，生成修改后的图像包括：对所述真实空间对象图像施加变换。
(5)根据(4)所述的设备，其中，施加变换包括：施加仿射变换。
(6)根据(1)所述的设备，其中，生成修改后的图像包括：生成从修改后的用户视角观看的图像。
(7)根据(6)所述的设备，其中，生成修改后的图像包括：对所述真实空间对象图像施加变换。
(8)根据(1)所述的设备，其中，生成修改后的图像是通过检测用户操作来触发的。
(9)根据(1)所述的设备，其中，生成修改后的图像是通过检测条件来触发的。
(10)根据(9)所述的设备，其中，所检测到的条件与所述真实空间图像内的对象的方位相关。
(11)根据(10)所述的设备，其中，所检测到的条件为：所述真实空间图像内的对象的方位角超过阈值。
(12)根据(10)所述的设备，其中，所检测到的条件为：所述真实空间对象图像的尺寸小于阈值。
(13)根据(1)所述的设备，其中，所述指令还包括用于进行如下操作的指令：
显示叠加在所述修改后的图像上的虚拟图像，所述虚拟图像与所述关注对象相关联；以及
接收用户命令，以对所述虚拟图像执行指定操作。
(14)根据(13)所述的设备，其中，所述指定操作包括：向与所述关注对象相关的用户提供信息。
(15)根据(14)所述的设备，其中，所述用户命令包括滚动包含所述信息的至少两个页面的拖动操作。
(16)根据(13)所述的设备，其中：
所述指定操作包括访问文档；以及
所述命令包括选择所述虚拟图像的一部分。
(17)根据(1)所述的设备，其中：
所述设备远离用户装置；以及
显示所述修改后的图像包括：将信号发送到所述用户装置以在所述用户装置上显示所述修改后的图像。
(18)根据(1)所述的设备，其中：
所述设备是用户装置；以及
生成修改后的图像包括：从远程服务器接收限定所述修改后的图像的数据。
(19)根据(1)所述的设备，其中，生成所述修改后的图像包括：通过对所述真实空间图像中包括所述真实空间对象的部分区域施加二维仿射变换来生成图像。
(20)一种方法，包括：
检测真实空间图像内的关注对象；
检测真实空间对象相对于真实空间用户视角的方位；
生成对应于所述真实空间对象的、包括修改对象的图像的修改后的图像，以使得所述修改对象的方位对应于期望的用户视角；以及
显示所述修改后的图像。
(21)一种存储有指令的有形体现的非暂态计算机可读介质，所述指令当由处理器执行时执行以下方法，所述方法包括：
检测真实空间图像内的关注对象；
检测真实空间对象相对于真实空间用户视角的方位；
生成对应于所述真实空间对象的、包括修改对象的图像的修改后的图像，以使得所述修改对象的方位对应于期望的用户视角；以及
显示所述修改后的图像。

Claims (21)

1.一种设备，包括：
存储器，存储指令；以及
控制单元，被配置成执行所述指令，以：
检测真实空间图像内的关注对象；
检测所述真实空间图像内的对象相对于真实空间用户视角的方位；
生成对应于真实空间对象的、包括修改对象的图像的修改后的图像，以使得所述修改对象的方位对应于期望的用户视角；并且
显示所述修改后的图像。
2.根据权利要求1所述的设备，其中，生成修改后的图像包括：生成具有与所述真实空间图像内的对象的方位不同的方位的所述修改对象的图像。
3.根据权利要求1所述的设备，其中，生成修改对象的图像包括：生成所述修改对象的图像，以使得修改对象图像的形状不同于真实空间对象图像的形状。
4.根据权利要求3所述的设备，其中，生成修改后的图像包括：对所述真实空间对象图像施加变换。
5.根据权利要求4所述的设备，其中，施加变换包括：施加仿射变换。
6.根据权利要求1所述的设备，其中，生成修改后的图像包括：生成从修改后的用户视角观看的图像。
7.根据权利要求6所述的设备，其中，生成修改后的图像包括：对所述真实空间对象图像施加变换。
8.根据权利要求1所述的设备，其中，生成修改后的图像是通过检测用户操作来触发的。
9.根据权利要求1所述的设备，其中，生成修改后的图像是通过检测条件来触发的。
10.根据权利要求9所述的设备，其中，所检测到的条件与所述真实空间图像内的对象的方位相关。
11.根据权利要求10所述的设备，其中，所检测到的条件为：所述真实空间图像内的对象的方位角超过阈值。
12.根据权利要求10所述的设备，其中，所检测到的条件为：所述真实空间对象图像的尺寸小于阈值。
13.根据权利要求1所述的设备，其中，所述指令还包括用于进行如下操作的指令：
显示叠加在所述修改后的图像上的虚拟图像，所述虚拟图像与所述关注对象相关联；以及
接收用户命令，以对所述虚拟图像执行指定操作。
14.根据权利要求13所述的设备，其中，所述指定操作包括：向与所述关注对象相关的用户提供信息。
15.根据权利要求14所述的设备，其中，所述用户命令包括滚动包含所述信息的至少两个页面的拖动操作。
16.根据权利要求13所述的设备，其中：
所述指定操作包括访问文档；以及
所述命令包括选择所述虚拟图像的一部分。
17.根据权利要求1所述的设备，其中：
所述设备远离用户装置；以及
显示所述修改后的图像包括：将信号发送到所述用户装置以在所述用户装置上显示所述修改后的图像。
18.根据权利要求1所述的设备，其中：
所述设备是用户装置；以及
生成修改后的图像包括：从远程服务器接收限定所述修改后的图像的数据。
19.根据权利要求1所述的设备，其中，生成所述修改后的图像包括：通过对所述真实空间图像中包括所述真实空间对象的部分区域施加二维仿射变换来生成图像。
20.一种方法，包括：
检测真实空间图像内的关注对象；
检测真实空间对象相对于真实空间用户视角的方位；
生成对应于所述真实空间对象的、包括修改对象的图像的修改后的图像，以使得所述修改对象的方位对应于期望的用户视角；以及
显示所述修改后的图像。
21.一种存储有指令的有形体现的非暂态计算机可读介质，所述指令当由处理器执行时执行以下方法，所述方法包括：
检测真实空间图像内的关注对象；
检测真实空间对象相对于真实空间用户视角的方位；
生成对应于所述真实空间对象的、包括修改对象的图像的修改后的图像，以使得所述修改对象的方位对应于期望的用户视角；以及
显示所述修改后的图像。
CN2012100805340A 2011-03-31 2012-03-23 图像处理设备、图像处理方法和程序 Pending CN102737405A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011078076A JP5724544B2 (ja) 2011-03-31 2011-03-31 画像処理装置、画像処理方法及びプログラム
JP2011-078076 2011-03-31

Publications (1)

Publication Number Publication Date
CN102737405A true CN102737405A (zh) 2012-10-17

Family

ID=46026620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100805340A Pending CN102737405A (zh) 2011-03-31 2012-03-23 图像处理设备、图像处理方法和程序

Country Status (4)

Country Link
US (5) US9443348B2 (zh)
EP (1) EP2509048B1 (zh)
JP (1) JP5724544B2 (zh)
CN (1) CN102737405A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835199A (zh) * 2015-05-21 2015-08-12 成都绿野起点科技有限公司 基于增强现实的3d重建方法
CN104835200A (zh) * 2015-05-21 2015-08-12 成都绿野起点科技有限公司 一种基于增强现实技术的识别图3d重建方法
CN107450718A (zh) * 2016-05-31 2017-12-08 联发科技股份有限公司 进行电子装置显示控制的方法和相关设备
WO2018068236A1 (zh) * 2016-10-10 2018-04-19 华为技术有限公司 一种视频流传输方法、相关设备及系统
CN108525299A (zh) * 2012-11-16 2018-09-14 索尼互动娱乐美国有限责任公司 一种用于增强远程服务的计算机应用的系统和方法
CN109167992A (zh) * 2018-08-08 2019-01-08 珠海格力电器股份有限公司 一种图像处理方法及装置
CN110827411A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应环境的增强现实模型显示方法、装置、设备及存储介质
CN113165657A (zh) * 2018-12-04 2021-07-23 株式会社爱信 路面检测装置以及路面检测程序
CN113301242A (zh) * 2020-02-21 2021-08-24 中兴通讯股份有限公司 拍摄方法、终端以及计算机可读存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741160B2 (ja) 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
KR101873525B1 (ko) * 2011-12-08 2018-07-03 삼성전자 주식회사 휴대단말기의 콘텐츠 표시장치 및 방법
EP3012587A4 (en) * 2013-06-17 2017-03-08 Sony Corporation Image processing device, image processing method, and program
CN104914985A (zh) * 2014-03-13 2015-09-16 扬智科技股份有限公司 手势控制方法及系统与视频流处理装置
CN104299249B (zh) * 2014-08-20 2016-02-24 深圳大学 高鲁棒性的标志点解码方法及系统
KR101668802B1 (ko) * 2014-09-03 2016-11-09 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
US9953446B2 (en) * 2014-12-24 2018-04-24 Sony Corporation Method and system for presenting information via a user interface
JP6465672B2 (ja) * 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
NZ735465A (en) 2015-03-05 2021-07-30 Magic Leap Inc Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
JP6529160B2 (ja) * 2015-05-22 2019-06-12 Kddi株式会社 Ａｒ情報表示装置
JP6491574B2 (ja) * 2015-08-31 2019-03-27 Kddi株式会社 Ａｒ情報表示装置
US10540768B2 (en) * 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Apparatus and method to segment object from image
US10013506B2 (en) * 2015-11-20 2018-07-03 Dassault Systems Solidworks Corporation Annotating real-world objects
KR20180090355A (ko) 2015-12-04 2018-08-10 매직 립, 인코포레이티드 리로컬리제이션 시스템들 및 방법들
US10120187B2 (en) * 2016-02-18 2018-11-06 Nvidia Corporation Sub-frame scanout for latency reduction in virtual reality applications
JP6448849B2 (ja) * 2016-03-23 2019-01-09 富士フイルム株式会社 デジタルカメラ及びデジタルカメラの表示方法
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
KR20210025721A (ko) 2016-08-02 2021-03-09 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
JP6829575B2 (ja) * 2016-10-03 2021-02-10 グローリー株式会社 画像処理装置、画像処理システム及び画像処理方法
US11164378B1 (en) * 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
JP6470323B2 (ja) * 2017-01-23 2019-02-13 ファナック株式会社 情報表示システム
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10762598B2 (en) 2017-03-17 2020-09-01 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
CN110419061B (zh) 2017-03-17 2023-09-29 奇跃公司 混合现实系统及使用该系统生成虚拟内容的方法
KR102366140B1 (ko) * 2017-03-17 2022-02-21 매직 립, 인코포레이티드 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
CN112513712B (zh) 2018-07-23 2023-05-09 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
WO2020023523A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Intra-field sub code timing in field sequential displays
WO2020044949A1 (ja) * 2018-08-29 2020-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN109635670A (zh) * 2018-11-21 2019-04-16 普联技术有限公司 人脸识别方法、装置、终端设备、移动设备及存储介质
US10922892B1 (en) 2019-04-30 2021-02-16 Splunk Inc. Manipulation of virtual object position within a plane of an extended reality environment
US20240119661A1 (en) * 2022-10-11 2024-04-11 Scale AI, Inc. Three-dimensional perspective correction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607824A (zh) * 2003-10-14 2005-04-20 卡西欧计算机株式会社 图像处理系统及图像处理方法和电子相机及图像处理装置
CN1671176A (zh) * 2004-03-19 2005-09-21 卡西欧计算机株式会社 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置
CN101248454A (zh) * 2005-08-25 2008-08-20 株式会社理光 图像处理方法和设备、数字照相机以及记录图像处理程序的记录介质
CN101257549A (zh) * 2007-02-27 2008-09-03 夏普株式会社 图像处理装置
WO2011007683A1 (ja) * 2009-07-13 2011-01-20 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
US20110032570A1 (en) * 2009-08-07 2011-02-10 Daisaku Imaizumi Captured image processing system and recording medium

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3800661B2 (ja) * 1996-04-23 2006-07-26 コニカミノルタフォトイメージング株式会社 デジタルカメラ
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP4251673B2 (ja) * 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
EP1133869A1 (en) * 1999-09-25 2001-09-19 Koninklijke Philips Electronics N.V. User interface generation
JP2002366976A (ja) * 2001-06-08 2002-12-20 Fujitsu Ltd オブジェクト表示プログラムおよびオブジェクト表示装置
US8226011B2 (en) * 2005-04-06 2012-07-24 Eidgenoessische Technische Hochshcule Zuerich Method of executing an application in a mobile device
EP1917639A4 (en) * 2005-08-25 2017-11-08 Ricoh Company, Ltd. Image processing method and apparatus, digital camera, and recording medium recording image processing program
US20110205167A1 (en) * 2007-06-13 2011-08-25 Massengill Family Trust Brain concussion screening method & apparatus
JP5334237B2 (ja) * 2007-11-29 2013-11-06 株式会社日立製作所 埋金設置位置照合方法および埋金設置位置照合システム
US8379914B2 (en) * 2008-01-18 2013-02-19 Mitek Systems, Inc. Systems and methods for mobile image capture and remittance processing
US8577118B2 (en) * 2008-01-18 2013-11-05 Mitek Systems Systems for mobile image capture and remittance processing
JP2009210432A (ja) * 2008-03-04 2009-09-17 Alpine Electronics Inc 運転支援装置
JP2010202018A (ja) 2009-03-03 2010-09-16 Alpine Electronics Inc 運転支援装置、駐車向き提示方法、駐車向き提示プログラム
JP2011078076A (ja) 2009-09-03 2011-04-14 Sony Corp 画像処理装置および方法、並びにプログラム
KR101753801B1 (ko) * 2010-06-10 2017-07-04 엘지디스플레이 주식회사 액정 표시장치 및 구동방법
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5742399B2 (ja) * 2011-04-06 2015-07-01 富士ゼロックス株式会社 画像処理装置及びプログラム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8340504B2 (en) * 2011-04-26 2012-12-25 Sony Computer Entertainment Europe Limited Entertainment device and method
US8565520B2 (en) * 2011-06-10 2013-10-22 Microsoft Corporation Determining foreground regions and background regions in an image
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
JP5488548B2 (ja) * 2011-08-04 2014-05-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US20150040074A1 (en) * 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
JP5951367B2 (ja) * 2012-01-17 2016-07-13 シャープ株式会社 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
US9208583B2 (en) * 2013-02-13 2015-12-08 Blackberry Limited Device with enhanced augmented reality functionality
US9430038B2 (en) * 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
US10740971B2 (en) * 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
US10134190B2 (en) * 2016-06-14 2018-11-20 Microsoft Technology Licensing, Llc User-height-based rendering system for augmented reality objects
JP6298130B2 (ja) * 2016-09-14 2018-03-20 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11727650B2 (en) * 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11682136B2 (en) * 2021-01-07 2023-06-20 Htc Corporation Display method, display system and non-transitory computer readable storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607824A (zh) * 2003-10-14 2005-04-20 卡西欧计算机株式会社 图像处理系统及图像处理方法和电子相机及图像处理装置
CN1671176A (zh) * 2004-03-19 2005-09-21 卡西欧计算机株式会社 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置
CN101248454A (zh) * 2005-08-25 2008-08-20 株式会社理光 图像处理方法和设备、数字照相机以及记录图像处理程序的记录介质
CN101257549A (zh) * 2007-02-27 2008-09-03 夏普株式会社 图像处理装置
WO2011007683A1 (ja) * 2009-07-13 2011-01-20 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
US20110032570A1 (en) * 2009-08-07 2011-02-10 Daisaku Imaizumi Captured image processing system and recording medium

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108525299A (zh) * 2012-11-16 2018-09-14 索尼互动娱乐美国有限责任公司 一种用于增强远程服务的计算机应用的系统和方法
CN108525299B (zh) * 2012-11-16 2021-09-21 索尼互动娱乐美国有限责任公司 一种用于增强远程服务的计算机应用的系统和方法
CN104835199A (zh) * 2015-05-21 2015-08-12 成都绿野起点科技有限公司 基于增强现实的3d重建方法
CN104835200A (zh) * 2015-05-21 2015-08-12 成都绿野起点科技有限公司 一种基于增强现实技术的识别图3d重建方法
CN107450718A (zh) * 2016-05-31 2017-12-08 联发科技股份有限公司 进行电子装置显示控制的方法和相关设备
WO2018068236A1 (zh) * 2016-10-10 2018-04-19 华为技术有限公司 一种视频流传输方法、相关设备及系统
US10897646B2 (en) 2016-10-10 2021-01-19 Huawei Technologies Co., Ltd. Video stream transmission method and related device and system
CN109167992A (zh) * 2018-08-08 2019-01-08 珠海格力电器股份有限公司 一种图像处理方法及装置
CN110827411A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应环境的增强现实模型显示方法、装置、设备及存储介质
CN113165657A (zh) * 2018-12-04 2021-07-23 株式会社爱信 路面检测装置以及路面检测程序
CN113301242A (zh) * 2020-02-21 2021-08-24 中兴通讯股份有限公司 拍摄方法、终端以及计算机可读存储介质

Also Published As

Publication number Publication date
EP2509048A3 (en) 2017-03-15
US20120328196A1 (en) 2012-12-27
US9715743B2 (en) 2017-07-25
US20170301130A1 (en) 2017-10-19
US20160358343A1 (en) 2016-12-08
JP5724544B2 (ja) 2015-05-27
US10360696B2 (en) 2019-07-23
JP2012212346A (ja) 2012-11-01
US9443348B2 (en) 2016-09-13
US20220092830A1 (en) 2022-03-24
EP2509048A2 (en) 2012-10-10
US11195307B2 (en) 2021-12-07
EP2509048B1 (en) 2019-02-27
US20190340790A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
US11195307B2 (en) Image processing apparatus, image processing method, and program
US11238513B1 (en) Methods and device for implementing a virtual browsing experience
JP5724543B2 (ja) 端末装置、オブジェクト制御方法及びプログラム
CN102867169B (zh) 图像处理设备和显示控制方法
CN103270537B (zh) 图像处理设备、图像处理方法和程序
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
CN103377487B (zh) 信息处理设备、显示控制方法以及程序
KR101533320B1 (ko) 포인터가 불필요한 3차원 객체 정보 획득 장치
US9268410B2 (en) Image processing device, image processing method, and program
KR20140090159A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN107562288B (zh) 基于红外触控装置的响应方法、红外触控装置和介质
WO2018233623A1 (zh) 图像显示的方法和装置
CN113934297B (zh) 一种基于增强现实的交互方法、装置、电子设备及介质
CN102750536A (zh) 图像处理设备、图像处理方法和程序
JP2017162432A (ja) 画像処理システム、情報処理装置、情報端末、プログラム
JP2017163195A (ja) 画像処理システム、プログラム、画像処理方法
US8941767B2 (en) Mobile device and method for controlling the same
CN113891166A (zh) 数据处理方法、装置、计算机设备及介质
JP2016029591A (ja) 情報処理装置、情報処理方法およびプログラム
TWI471733B (zh) 透過行動運算裝置提供資訊互動之方法與系統
CN117991967A (zh) 虚拟键盘交互方法、装置、设备、存储介质和程序产品
JP2011227510A (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ
TWM468749U (zh) 具備地理資訊和環境探索的英文學習裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20121017