CN103513421A - 影像处理装置、影像处理方法及影像处理系统 - Google Patents

影像处理装置、影像处理方法及影像处理系统 Download PDF

Info

Publication number
CN103513421A
CN103513421A CN201310149276.1A CN201310149276A CN103513421A CN 103513421 A CN103513421 A CN 103513421A CN 201310149276 A CN201310149276 A CN 201310149276A CN 103513421 A CN103513421 A CN 103513421A
Authority
CN
China
Prior art keywords
image
capturing element
mentioned
label
optical transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310149276.1A
Other languages
English (en)
Other versions
CN103513421B (zh
Inventor
西牧洋一
大桥良德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN201610670008.8A priority Critical patent/CN106023241B/zh
Publication of CN103513421A publication Critical patent/CN103513421A/zh
Application granted granted Critical
Publication of CN103513421B publication Critical patent/CN103513421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供一种影像处理装置、影像处理方法及影像处理系统。影像取得部取得光学透射式HMD所具有的第1拍摄元件所拍摄的影像，该光学透射式HMD用于提示在将虚拟三维空间中的三维图像投影到实际空间中时所观看的影像，所述第1拍摄元件拍摄包含佩戴该光学透射式HMD的用户的视野的区域。标记物检测部检测影像取得部所取得的第1拍摄元件拍摄的影像中所包含的标记物。在此，影像取得部还取得具有与第1拍摄元件的视场角至少部分重叠的视场角的第2拍摄元件所拍摄的影像。当第1拍摄元件拍摄的影像中没有拍摄到上述标记物时，标记物检测部检测第2拍摄元件所拍摄的影像中的上述标记物。

Description

影像处理装置、影像处理方法及影像处理系统
技术领域
本发明涉及影像处理装置、影像处理方法及影像处理系统。
背景技术
近年，用于提示立体影像的技术开发正在推进，可提示具有深度的立体影像的头戴式可视设备（Head Mounted Display，以下记述为“HMD”）正逐渐普及。在这样的HMD中，开发有在使用全息（holographic）元件、半反射镜（half mirror）等将立体影像提示给用户的同时，用户能够透视观看HMD外面的情景的光学透射式HMD。
另一方面，生成在用照相机等拍摄元件拍摄的现实世界的影像中附加有CG（Computer Graphics：计算机图形）等影像的影像，并对提示给用户的现实世界的影像的一部分进行修改的AR（Augmented Reality：增强现实）技术正进入实用阶段。在AR技术中，有时识别条型码等可识别的特定的信息（以下，称作“标记物”），与该信息捆绑地生成图像。
若将拍摄元件安装于光学透射式HMD，则能够拍摄映入用户视场中的标记物。能够与该标记物捆绑地生成AR图像、提示到HMD。但是，光学透射式HMD中所安装的拍摄元件的视场角会与用户头部的移动相联动地变动。因此，例如在用户携带标记物移动那样的情况等时，有时标记物会难以进入拍摄元件的视野，故希望能够精确度更高地确定标记物的位置。
发明内容
本发明是鉴于这样的课题而研发的，其目的在于提供一种提高可识别位置的特定信息的位置确定的精确度的技术。
为解决前述课题，本发明的一个方案是影像处理装置。该装置包括：取得光学透射式HMD所具有的第1拍摄元件所拍摄的影像的影像取得部，该光学透射式HMD用于提示在将虚拟三维空间中的三维图像投影到实际空间中时所观看的影像，所述第1拍摄元件拍摄包含佩戴该光学透射式HMD的用户的视野的区域；标记物检测部，检测上述影像取得部所取得的上述第1拍摄元件拍摄的影像中所包含的标记物。在此，上述影像取得部还取得具有与第1拍摄元件的视场角至少部分重叠的视场角的第2拍摄元件所拍摄的影像；当上述第1拍摄元件拍摄的影像中没有拍摄到上述标记物时，上述标记物检测部检测上述第2拍摄元件所拍摄的影像中的上述标记物。
本发明的另一方案是影像处理方法。该方法使处理器执行如下步骤：取得光学透射式HMD所具有的第1拍摄元件所拍摄的影像的步骤，该光学透射式HMD用于提示在将虚拟三维空间中的三维图像投影到实际空间中时所观看的影像，所述第1拍摄元件拍摄包含佩戴该光学透射式HMD的用户的视野的区域；取得具有与上述第1拍摄元件的视场角至少部分重叠的视场角的第2拍摄元件所拍摄的影像的步骤；以及检测上述第1拍摄元件和上述第2拍摄元件的至少一者所拍摄的影像中所包含的标记物的步骤。
本发明的另一方案是影像处理系统。该系统包括：光学透射式HMD，提示将虚拟三维空间中的三维影像投影到实际空间中时所观看的影像；上述光学透射式HMD所具备的第1拍摄元件，拍摄处于区域内的被摄物体，该区域是包含佩戴上述光学透射式HMD的用户的视野的区域；第2拍摄元件，具有与第1拍摄元件的视场角至少部分共有的视场角；以及影像生成部，将上述第1拍摄元件和上述第2拍摄元件的至少一者所拍摄的被摄物体作为标记物，生成要提示给上述光学透射式HMD的AR（Augmented Reality：增强现实）图像。
本发明的另一个方案是使计算机实现前述的方法的各步骤的程序。
该程序可以作为为进行视频和音频的解码器等硬件资源的基础控制而被内置于设备中的固件的一部分来提供。该固件例如被存储于设备内的ROM（Read Only Memory：只读存储器）、闪存存储器等半导体存储器中。为提供该固件，或为更新（update）固件的一部分，可以提供记录有该程序的计算机可读取的记录介质，该程序还可以通过通信线路来传送。
此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序、数据结构、记录介质等间变换后的实施方式，作为本发明的方案也是有效的。
附图说明
图1是示意性地表示实施方式的立体影像观察设备的外观的一个例子的图。
图2是示意性地表示实施方式的影像提示系统的整体结构的图。
图3是示意性地表示实施方式的影像处理装置的内部结构的图。
图4是表示实施方式的标记物和AR图像的一个例子的图。
图5的（a）－（b）是例示第1拍摄元件的视场角与标记物的位置关系、以及此时的光学透射式HMD的影像的图。
图6是例示第1拍摄元件的视场角与第2拍摄元件的视场角的关系的图。
图7是例示使用2台本实施方式的立体影像观察设备时的使用场景的图。
图8是表示实施方式的影像处理装置中的影像处理的流程的流程图。
具体实施方式
本发明将叙述用于参考的优选实施例。实施例并非限制本发明的范围，而是本发明的例示。
图1是示意性地表示实施方式的立体影像观察设备200的外观的一个例子的图。立体影像观察设备200包括提示立体影像的提示部202，第1拍摄元件204，以及收纳各种模块的壳体206。此外，虽然未图示，但立体影像观察设备200还具备用于输出声音的耳机。
提示部202包括：光学透射式HMD，将立体影像提示于用户的眼睛；以及液晶快门，变更透过光学透射式HMD的外界光线的透射率。第1拍摄元件204拍摄处于包含佩戴立体影像观察设备200的用户的视野的区域中的被摄物体。为此，第1拍摄元件204被设置成在用户佩戴立体影像观察设备200时、其被配置于用户的眉毛之间附近。第1拍摄元件204例如能够使用CCD（Charge Coupled Device：电荷耦合器）图像传感器、CMOS（Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体）图像传感器等以往的固体拍摄元件来实现。
壳体206既作为眼镜形状的立体影像观察设备200中的固定架来作用，又收纳立体影像观察设备200所使用的各种模块（未图示）。所谓立体影像观察设备200所使用的模块，是用于实现光学透射式HMD的包含全息图导光板的光学引擎、用于驱动液晶快门的驱动器及同步信号接收部、其它Wi－Fi（注册商标）模块等通信模块、电子罗盘、加速度传感器、倾斜传感器、GPS（Global Positioning System：全球定位系统）传感器、3G（3rd.Generation：第三代数字通信）模块、以及照度传感器等。这些模块只是例示，且立体影像观察设备200未必需要安装所有这些模块。立体影像观察设备200只要根据所设想的使用场景来决定安装哪些模块即可。
图1是例示眼镜型立体影像观察设备200的图。作为立体影像观察设备200的形状，除此之外考虑还可以是帽子形状、围绕用户头部一周固定的带子形状、覆盖用户的头部整体的头盔形状等各种形式，本领域技术人员当理解任何一种形状的立体影像观察设备200都包含在本发明的实施方式内。
图2是示意性地表示实施方式的影像提示系统100的整体结构的图。是示意性地表示实施方式的影像提示系统100的整体结构的图。实施方式的影像提示系统100包含立体影像观察设备200，监视器300，第2拍摄元件302，以及信息处理装置400。
监视器300再现内容（contents）的再现画面的至少一部分。监视器300能够使用一般的电视监视器来实现，但优选以帧连续（frame sequential）方式显示立体影像的三维监视器，以下，在本说明书中，以监视器300是三维监视器为前提。此外，三维监视器还兼有显示二维图像的一般的电视监视器的功能。
由于人的左右眼相距6cm左右，故从左眼看到的影像与从右眼看到的影像之间会产生视差。据说人脑将用左右眼感知到的视差图像作为用于认识深度的一个信息来利用。因此，将用左眼感知的视差图像和用右眼感知的视差图像分别投影在各自的眼睛上时，会被人作为具有深度的影像来认识。监视器300时分地交替显示左眼用视差图像和右眼用视差图像。监视器300能够使用液晶电视、等离子显示装置、有机EL监视器等以往的提示设备来实现。
第2拍摄元件302被设置于监视器300的前面中央部，拍摄正对于监视器的方向。此外，第2拍摄元件302可以被内置于监视器300，也可以被摆放于监视器300的前面。在后面详细叙述第2拍摄元件302。
立体影像观察设备200是光学透射式HMD。如上述那样，立体影像观察设备200具备用于观察监视器300的光学快门（未图示）。光学快门与监视器300的视差图像的切换同步地开闭左右快门。更具体地讲，在监视器300正显示左眼用视差图像时，光学快门关闭右眼用快门并打开左眼用快门，向佩戴立体影像观察设备200的用户提示左眼用视差图像。相反，在监视器300正显示右眼用视差图像时，光学快门关闭左眼用快门并打开右眼用快门，向用户提示右眼用视差图像。光学快门能够使用例如已知的液晶快门来实现。
液晶快门210与监视器300的视差图像的切换同步地开闭左右快门。更具体地讲，在监视器300正显示左眼用视差图像时，关闭右眼用快门并打开左眼用快门，向佩戴立体影像观察设备200的用户提示左眼用视差图像。相反，在监视器300正显示右眼用视差图像时，关闭左眼用快门并打开右眼用快门，向用户提示右眼用视差图像。
立体影像观察设备200接收用于切换快门的同步信号。同步信号被从监视器300或信息处理装置400中所设的未图示的信号发送部例如通过红外光等无线传输。
信息处理装置400取得用于在影像提示系统100中提示的立体影像及上述的同步信号。信息处理装置400例如是台式游戏机、便携式游戏机等。信息处理装置400使用内置的处理器来生成立体影像、同步信号，或介由未图示的网络接口从服务器等其它信息处理装置取得立体影像。
图3是示意性地表示实施方式的影像处理装置500的内部结构的图。实施方式的影像处理装置500作为上述的信息处理装置400的一部分来实现。或者，可以在生成用于介由因特网等网络发送给信息处理装置400的立体影像的服务器内实现，也可以被内置于立体影像观察设备200或监视器300。或者，影像处理装置500还可以是独立的一个装置。以下，以将实施方式的影像处理装置500作为上述的信息处理装置400的一部分来实现为前提进行说明。
影像取得部502取得用于拍摄包含佩戴立体影像观察设备200的用户的视野的区域的第1拍摄元件204所拍摄的影像。标记物检测部504检测由影像取得部502取得的、第1拍摄元件204所拍摄的影像中所包含的标记物。影像生成部506与标记物检测部504所检测出的标记物捆绑地生成要提示给立体影像观察设备200中的光学透射式HMD的AR图像。影像生成部506将所生成的AR图像发送给立体影像观察设备200，光学透射式HMD显示AR图像。
在此，所谓“标记物”，是影像生成部506所利用的信息，是能够确定在虚拟的三维空间中生成的图像的位置和方向的信息。此外，所谓“AR图像”，例如是影像生成部506与标记物建立关联地生成的图像，是与该标记物的位置和方向的变化联动地改变位置和方向的图像。
图4是表示实施方式的标记物与AR图像的一个例子的图。图4图示了由用户的手腕702正握持的棍状把手部及球状物体构成的标记物的一个例子。在图4所示的例子中，标记物710是实际存在的物体。第1拍摄元件204对存在于包含用户的视野的区域中的标记物710进行追踪拍摄，并发送给影像取得部502。标记物检测部504从影像取得部502所取得的影像中确定标记物710的位置及方向，在虚拟的三维空间中的对应位置，与标记物710建立关联地生成AR图像712。在图4所示的例子中，AR图像712是表现火焰的对象（object）。
影像生成部506按照以与AR图像712建立关联的标记物710的位置为原点而设定的坐标系714，生成AR图像712。因此，当用户改变标记物710的位置及方向时，被AR图像712作为基准的坐标系714也被改变。当坐标系714被改变时，AR图像712的位置及方向也随之改变。此外，被AR图像712作为基准的坐标系714的原点可以不处于与相关的标记物重合的位置，无论在哪种情况下，标记物和与标记物建立关联地生成的AR图像都存在于三维空间中的不同的位置坐标处。因此，例如有可能出现用户的视线从标记物710处偏移，标记物710从第1拍摄元件204的视场角内移出，但被关联于标记物710的AR图像712还留在立体影像观察设备200的光学透射式HMD的显示区域中这样的状态。
图5的（a）－（b）是例示第1拍摄元件204的视场角与标记物710的位置关系及此时的光学透射式HMD的影像208的图。
图5的（a）是表示第1拍摄元件204的视场角内包含标记物710的情况的图。由于第1拍摄元件204的视场角内包含标记物710，故标记物检测部504能够在影像取得部502所取得的影像中检测出标记物710。因此，光学透射式HMD的影像208中显示第1拍摄元件204所拍摄的标记物710和由影像生成部506与标记物710捆绑地生成的AR图像712。
图5的（b）是表示标记物710偏离第1拍摄元件204的视场角时的图。由于第1拍摄元件204的视场角内没有包含有标记物710，故标记物检测部504不能够在影像取得部502所取得的影像中检测出标记物710。在图5的（b）中，以虚线图示了光学透射式HMD的影像208中的AR图像712和与AR图像712捆绑的标记物710，但由于标记物检测部504不能检测出标记物710，故影像生成部506不能生成AR图像712，从而光学透射式HMD的影像208中不会显示出AR图像712。
若用户的视线、即第1拍摄元件204的拍摄方向从图5的（a）所示的位置移动至图5的（b）所示的位置，则在这过程中，标记物710会从第1拍摄元件204的视场角偏离。此时，对于用户来说，会看到AR图像712突然从光学透射式HMD的影像208中消失，故有可能使用户觉得别扭。此别扭的感觉例如能够通过在标记物710从第1拍摄元件204的视场角偏离之后，影像生成部506或标记物检测部504推定标记物710的位置，影像生成部506基于所推定的位置生成AR图像712来得到缓和，但有应生成AR图像712的位置的精确度降低的可能性。
因此，影像取得部502还取得具有与第1拍摄元件204的视场角至少部分重叠的视场角的第2拍摄元件302所拍摄的影像。标记物检测部504检测第1拍摄元件204和第2拍摄元件302的至少一者所拍摄的影像中所包含的标记物。更具体地讲，在第1拍摄元件204所拍摄的影像中没有拍摄到标记物的情况下，标记物检测部504检测第2拍摄元件302所拍摄的影像中的标记物。
在图5的（a）－（b）所示的例子中，第2拍摄元件302被设置在监视器300的靠身前处。如图5的（b）所示的例子那样，即使标记物710从第1拍摄元件204的视场角偏移出了，只要第2拍摄元件302的视场角内包含有标记物710，标记物检测部504就能够检测出标记物710。由此，影像生成部506能够在光学透射式HMD的影像208中显示AR图像712或其一部分。
图6是例示第1拍摄元件204的视场角与第2拍摄元件302的视场角的关系的图。在图6中，被标号210a和标号210b所表示的2条线段夹着的区域表示第1拍摄元件204的视场角。此外，被标号304a及标号304b所表示的2条线段夹着的区域表示第2拍摄元件302的视场角。此外，在图6中以标号208来表示的线段是光学透射式HMD的提示影像208的区域。
在图6中，图示了第1标记物710a和第2标记物710b这2个标记物。在此，第1标记物710a中的至少球状物体包含于第1拍摄元件204的视场角和第2拍摄元件302的视场角这两者内。另一方面，第2标记物710b没有包含在第1拍摄元件204的视场角内，而是仅包含在第2拍摄元件302的视场角内。
在与第2标记物710b捆绑地由影像生成部506生成的AR图像被包含在光学透射式HMD的影像208中的情况下，影像生成部506基于由标记物检测部504从第2拍摄元件302所拍摄的影像中检测出的第2标记物710b的位置来生成AR图像。
与此不同，第1标记物710a包含于第1拍摄元件204的视场角和第2拍摄元件302的视场角两者内。因此，影像生成部506通过统合第1拍摄元件204的影像中所包含的第1标记物710a的信息和第2拍摄元件302的影像中所包含的第1标记物710a的信息这2个信息，能够提高第1标记物710a的位置精度。
如上述的那样，佩戴于用户头部的立体影像观察设备200中具有第1拍摄元件204，当用户倾斜头部时，第1拍摄元件204也与用户头部的移动联动地移动。因此，例如在用户在不倾斜头部的状态下、使第1标记物710a倾斜了时第1拍摄元件204进行拍摄的情况下，和在用户不使第1标记物710a倾斜的状态下、倾斜了头部时第1拍摄元件204进行拍摄的情况下，所拍摄的影像成为相似的影像。即，仅凭第1拍摄元件204所拍摄的影像，难以判别出是用户正倾斜着头部，还是第1标记物710正倾斜着。
另一方面，由于第2拍摄元件302独立于用户头部地存在，故只要解析第2拍摄元件302所拍摄的影像，就能够判断是用户正倾斜着头部，还是第1标记物710a正倾斜着。因此，标记物检测部504在第1拍摄元件204所拍摄的影像和第2拍摄元件302所拍摄的影像这两者中都拍摄到标记物的情况下，基于第2拍摄元件302所拍摄的影像来检测标记物的倾斜。影像生成部506根据标记物检测部504所检测出的标记物的倾斜，倾斜地生成与该标记物捆绑的AR图像。
由此，例如在与第1标记物710a捆绑的AR图像是盛满了汤的盘子的情况下，由于能够正确地判断出第1标记物710a的倾斜，故影像生成部506能够根据第1标记物710a的倾斜来生成汤从盘子中洒出的影像。
像这样，在标记物偏离出第1拍摄元件204的视场角的情况下，若第2拍摄元件302能够拍摄到该标记物，则影像生成部506能够与该标记物捆绑地生成AR图像。在该意义下，只要第2拍摄元件302的视场角与第1拍摄元件204的视场角至少部分重叠，则第2拍摄元件302可被设置于任何位置。另一方面，在图2所示那样的本实施方式的影像提示系统100中，用户通过立体影像观察设备200中的光学透射式HMD来观察监视器300的影像是前提，影像生成部506所生成的影像的至少一部分也被显示于监视器300。因此，认为用户观看监视器300的机会较多。
因此，在佩戴光学透射式HMD的用户正对于监视器300时，优选第2拍摄元件302被设置为正对于该用户。具体来讲，优选第2拍摄元件302被安装或放置于监视器300的边框的中央上部或下部。由此，能够提高用户所持的标记物进入第2拍摄元件302的视场角的概率。
以上，说明了第2拍摄元件302独立于立体影像观察设备200地单独存在的情况。第2拍摄元件302未必独立于立体影像观察设备200，例如可以是与佩戴第1立体影像观察设备200a的第1用户不同的第2用户所佩戴的第2立体影像观察设备200b所具备的拍摄元件。以下，对这种情况进行说明。
图7是例示使用2台实施方式的立体影像观察设备200时的使用情景的图。在图7所示的例子中，第1用户600a和第2用户600b这2个用户分别佩戴有第1立体影像观察设备200a和第2立体影像观察设备200b。此外，第1用户600a持有第1标记物710a，第2用户600b持有第2标记物710b。
假设标记物检测部504检测到第1立体影像观察设备200a所具备的第1拍摄元件204和第2立体影像观察设备200b所具备的第2拍摄元件302的至少一者所拍摄的影像中包含有第1标记物710a或第2标记物710b。此时，影像生成部506与第1标记物710a捆绑地生成表示刀身的第1AR图像712a。此外，影像生成部506还与第2标记物710b捆绑地生成表示刀身的第2AR图像712b。像这样，在图7所示的例子中，图示了第1用户600a和第2用户600b使用以AR图像生成的虚拟的刀身来进行武打游戏的情况。
考虑如图7所示的例子那样，在多个用户一边互动一边进行游戏的情况下，用户关注自己所握持的标记物的时间不长，而关注其它用户的动向的时间多数较长。例如，在图7所示的例子中，第1用户600a既关注第2用户600b所操纵的刀身的AR图像712b，又在视场中捕捉自身所操纵的刀身的AR图像712a，但未必总是在看相当于刀柄部分的第1标记物710a。另一方面，第1用户600a佩戴的第1立体影像观察设备200a所具备的第1拍摄元件204的视场角内包含第2用户600b所握持的第2标记物710b的时间会较长。
因此，影像生成部506将第1拍摄元件204和第2拍摄元件302的至少一者所拍摄的被摄物体作为标记物，来生成提示给具备第1拍摄元件204的第1立体影像观察设备200a中的光学透射式HMD和具备第2拍摄元件的第2立体影像观察设备200b中的光学透射式HMD双方的AR图像。由此，能够由影像生成部506与标记物检测部504从第2拍摄元件302所拍摄的影像中检测出的第1标记物710a捆绑地生成提示给第1用户600a佩戴的光学透射式HMD的第1AR图像712a。此外，影像生成部506所生成的第1标记物710a被提示给第1用户600a所佩戴的光学透射式HMD和第2用户600b所佩戴的光学透射式HMD双方，故能够实现多个用户一边互动一边进行游戏的情况。
此外，例如即使因被第2用户600b的身体遮挡住而不能够从第1拍摄元件204拍摄到第2标记物710b，只要第2拍摄元件302拍摄到第2标记物710b，影像生成部506就能够使第2用户600b所操纵的刀身的AR图像712b显示于第1用户所佩戴的光学透射式HMD。
图8是表示本实施方式的影像处理装置500中的影像处理的流程的流程图。本流程图中的处理例如于影像处理装置500的电源被接通时开始。
影像取得部502取得第1拍摄元件204所追踪拍摄（流し撮り）的影像A（S2）。影像取得部502还取得第2拍摄元件302所追踪拍摄的影像B（S4）。
若标记物检测部504在第1拍摄元件204所追踪拍摄的影像A中检测出标记物（S6的Y），且在第2拍摄元件302所追踪拍摄的影像B中也检测出同一标记物（S8的Y），则影像生成部506统合从影像A检测出的标记物的信息和从影像B检测出的标记物的信息，来生成AR图像（S10）。
若标记物检测部504在第1拍摄元件204所追踪拍摄的影像A中检测出标记物（S6的Y），且没能从第2拍摄元件302所追踪拍摄的影像B中检测出该标记物（S8的N），则影像生成部506基于从影像A中检测出的标记物来生成AR图像（S12）。
若标记物检测部504没有能够从第1拍摄元件204所追踪拍摄的影像A中检测出标记物（S6的N），且从第2拍摄元件302所追踪拍摄的影像B中检测出标记物（S14的Y），则影像生成部506基于从影像B检测出的标记物来生成AR图像（S12）。若标记物检测部504没有能够从第1拍摄元件204所追踪拍摄的影像A中检测出标记物（S6的N），且也没有能够从第2拍摄元件302所追踪拍摄的影像B中检测出标记物（S14的N），则影像生成部506不做特别处理。
在影像生成部506生成AR图像、或者从影像A及影像B的任何一者中都没有检测到标记物的情况下，本流程图中的处理结束。
以上结构的影像处理装置500的利用场景如下。即使标记物已偏移出用户佩戴的立体影像观察设备200所具备的第1拍摄元件204的视场角，只要共有第1拍摄元件204的视场角的至少一部分的第2拍摄元件302拍摄到了该标记物，标记物检测部504就能够检测出该标记物。影像生成部506将与标记物检测部504所检测出的标记物捆绑地生成的AR图像提示于用户佩戴的立体影像观察设备200中的光学透射式HMD。
如以上所述那样，通过实施方式的影像处理装置500，能够提供一种提高可识别位置的特定信息的位置确定的精确度的技术。即使不特别在立体影像观察设备200中装配陀螺仪传感器（gyro sensor）等用于检测倾斜的模块，也能够区分是用户正倾斜着头部，还是标记物正倾斜着。
一般地，将用于追踪一度识别出的标记物的计算成本与用于从影像中重新检测出标记物的计算成本进行比较，用于检测标记物的成本更高。因此，通过以多个拍摄元件拍摄标记物，跟丢标记物的可能性减小，能够抑制重新检测标记物的计算成本。
以上基于实施方式对本发明进行了说明。本领域技术人员当理解实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包含在本发明的范围内。
（第1变形例）
以上说明了将第2拍摄元件302与第1拍摄元件204同样地使用于标记物的拍摄的情况。作为替代方案或追加方案，第2拍摄元件302也可以用于检测用户的视线。具体来说，第2拍摄元件302拍摄用户的眼睛，影像处理装置500中的未图示的视线检测部解析用户的视线方向。由此，例如即使在用户不倾斜头部而仅移动眼球地变更视点的情况下，也能够确定用户的视场。
（第2变形例）
以上主要说明了存在2个拍摄标记物的拍摄元件的情况，但拍摄元件的数量不限定于2个，可以是3个以上。通过增加拍摄元件的数量，能够减小跟丢标记物的可能性，且提高检测标记物的精确度。

Claims (8)

1.一种影像处理装置，其特征在于，包括：
取得光学透射式HMD所具有的第1拍摄元件所拍摄的影像的影像取得部，该光学透射式HMD用于提示在将虚拟三维空间中的三维图像投影到实际空间中时所观看的影像，所述第1拍摄元件拍摄包含佩戴该光学透射式HMD的用户的视野的区域，和
标记物检测部，检测上述影像取得部所取得的上述第1拍摄元件拍摄的影像中所包含的标记物；
其中，上述影像取得部还取得具有与第1拍摄元件的视场角至少部分重叠的视场角的第2拍摄元件所拍摄的影像；
当上述第1拍摄元件拍摄的影像中没有拍摄到上述标记物时，上述标记物检测部检测上述第2拍摄元件所拍摄的影像中的上述标记物。
2.如权利要求1所述的影像处理装置，其特征在于，还包括：
影像生成部，与上述标记物检测部所检测出的标记物捆绑地生成要提示给上述光学透射式HMD的AR（Augmented Reality：增强现实）图像。
3.如权利要求2所述的影像处理装置，其特征在于，
在上述第1拍摄元件拍摄的影像和上述第2拍摄元件拍摄的影像这两者中都拍摄到上述标记物的情况下，上述标记物检测部基于上述第2拍摄元件拍摄的影像来检测上述标记物的倾斜；
上述影像生成部根据上述标记物的倾斜，倾斜地生成上述AR图像。
4.如权利要求2或3所述的影像处理装置，其特征在于，
上述第2拍摄元件是与佩戴具有上述第1拍摄元件的光学透射式HMD的用户不同的用户所佩戴着的、不同于上述光学透射式HMD的其它光学透射式HMD所具备的拍摄元件。
5.如权利要求4所述的影像处理装置，其特征在于，
上述影像生成部将上述第1拍摄元件和上述第2拍摄元件的至少一者所拍摄的被摄物体作为标记物，来生成要提示给具备上述第1拍摄元件的光学透射式HMD和具备上述第2拍摄元件的光学透射式HMD这两者的AR图像。
6.一种影像处理方法，其特征在于，使处理器执行如下步骤：
取得光学透射式HMD所具有的第1拍摄元件所拍摄的影像的步骤，该光学透射式HMD用于提示在将虚拟三维空间中的三维图像投影到实际空间中时所观看的影像，所述第1拍摄元件拍摄包含佩戴该光学透射式HMD的用户的视野的区域；
取得具有与上述第1拍摄元件的视场角至少部分重叠的视场角的第2拍摄元件所拍摄的影像的步骤；以及
检测上述第1拍摄元件和上述第2拍摄元件的至少一者所拍摄的影像中所包含的标记物的步骤。
7.一种影像处理系统，其特征在于，包括：
光学透射式HMD，提示将虚拟三维空间中的三维影像投影到实际空间中时所观看的影像；
上述光学透射式HMD所具备的第1拍摄元件，拍摄处于区域内的被摄物体，该区域是包含佩戴上述光学透射式HMD的用户的视野的区域；
第2拍摄元件，具有与第1拍摄元件的视场角至少部分共有的视场角；以及
影像生成部，将上述第1拍摄元件和上述第2拍摄元件的至少一者所拍摄的被摄物体作为标记物，生成要提示给上述光学透射式HMD的AR（Augmented Reality：增强现实）图像。
8.如权利要求7所述的影像处理系统，其特征在于，还包括：
监视器，显示上述影像生成部所生成的影像；
上述第2拍摄元件被设置为在佩戴上述光学透射式HMD的用户正对于上述监视器时正对该用户。
CN201310149276.1A 2012-06-29 2013-04-26 影像处理装置、影像处理方法及影像处理系统 Active CN103513421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610670008.8A CN106023241B (zh) 2012-06-29 2013-04-26 影像处理装置、影像处理方法及影像处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012147342A JP5538483B2 (ja) 2012-06-29 2012-06-29 映像処理装置、映像処理方法、および映像処理システム
JP2012-147342 2012-06-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610670008.8A Division CN106023241B (zh) 2012-06-29 2013-04-26 影像处理装置、影像处理方法及影像处理系统

Publications (2)

Publication Number Publication Date
CN103513421A true CN103513421A (zh) 2014-01-15
CN103513421B CN103513421B (zh) 2016-09-07

Family

ID=49777575

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610670008.8A Active CN106023241B (zh) 2012-06-29 2013-04-26 影像处理装置、影像处理方法及影像处理系统
CN201310149276.1A Active CN103513421B (zh) 2012-06-29 2013-04-26 影像处理装置、影像处理方法及影像处理系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610670008.8A Active CN106023241B (zh) 2012-06-29 2013-04-26 影像处理装置、影像处理方法及影像处理系统

Country Status (3)

Country Link
US (4) US8912980B2 (zh)
JP (1) JP5538483B2 (zh)
CN (2) CN106023241B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN107157588A (zh) * 2017-05-08 2017-09-15 上海联影医疗科技有限公司 影像设备的数据处理方法以及影像设备
CN107646098A (zh) * 2015-07-07 2018-01-30 谷歌有限责任公司 用于在虚拟现实中跟踪手持式设备的系统
CN108616752A (zh) * 2018-04-25 2018-10-02 北京赛博恩福科技有限公司 支持增强现实交互的头戴设备及控制方法
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
CN105573486B (zh) * 2014-05-30 2019-08-16 索尼电脑娱乐美国公司 具有与移动计算设备介接的接口的头戴式设备(hmd)系统
JP2019162355A (ja) * 2018-03-20 2019-09-26 株式会社バンダイナムコエンターテインメント プログラム及びコンピュータシステム
CN116206740A (zh) * 2023-03-07 2023-06-02 上海熙软科技有限公司 基于医院总账的财物数据管理系统

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5538483B2 (ja) * 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
CN104065859B (zh) * 2014-06-12 2017-06-06 青岛海信电器股份有限公司 一种全景深图像的获取方法及摄像装置
JP6525010B2 (ja) * 2014-08-05 2019-06-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
US10122929B2 (en) * 2014-10-06 2018-11-06 Lg Electronics Inc. Digital image processing device which creates and displays an augmented reality (AR) image
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
US10484824B1 (en) 2015-06-26 2019-11-19 Lucasfilm Entertainment Company Ltd. Content presentation and layering across multiple devices
CN105242400B (zh) * 2015-07-10 2017-12-29 上海鹰为智能科技有限公司 虚拟现实眼镜
US10511895B2 (en) * 2015-10-09 2019-12-17 Warner Bros. Entertainment Inc. Cinematic mastering for virtual reality and augmented reality
US11351472B2 (en) * 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US9846971B2 (en) * 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US11663783B2 (en) 2016-02-10 2023-05-30 Disney Enterprises, Inc. Systems and methods for using augmented reality with the internet of things
US10163198B2 (en) 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
US10422976B2 (en) 2016-02-26 2019-09-24 Samsung Electronics Co., Ltd. Aberration corrected optical system for near-eye displays
US10587834B2 (en) 2016-03-07 2020-03-10 Disney Enterprises, Inc. Systems and methods for tracking objects for augmented reality
CA3069596C (en) * 2016-07-13 2023-10-24 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
GB2555410B (en) * 2016-10-25 2020-11-04 Sony Interactive Entertainment Inc Video content synchronisation method and apparatus
JP2018078475A (ja) * 2016-11-10 2018-05-17 富士通株式会社 制御プログラム、制御方法および制御装置
CN106780757B (zh) * 2016-12-02 2020-05-12 西北大学 一种增强现实的方法
NL2017964B1 (en) * 2016-12-09 2018-06-19 Opticon Sensors Europe B V Device for capturing bar code information
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10437343B2 (en) 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
JP7070547B2 (ja) * 2017-03-22 2022-05-18 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
US10481680B2 (en) 2018-02-02 2019-11-19 Disney Enterprises, Inc. Systems and methods to provide a shared augmented reality experience
US10961008B2 (en) * 2018-02-02 2021-03-30 Cuong Cao Vessel display
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US10546431B2 (en) 2018-03-29 2020-01-28 Disney Enterprises, Inc. Systems and methods to augment an appearance of physical object for an augmented reality experience
US11454783B2 (en) 2018-04-25 2022-09-27 Samsung Electronics Co., Ltd. Tiled triplet lenses providing a wide field of view
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020028191A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US12016719B2 (en) 2018-08-22 2024-06-25 Magic Leap, Inc. Patient viewing system
US10974132B2 (en) 2018-10-02 2021-04-13 Disney Enterprises, Inc. Systems and methods to provide a shared interactive experience across multiple presentation devices based on detection of one or more extraterrestrial bodies
CN109873939A (zh) * 2019-02-19 2019-06-11 北京灵优智学科技有限公司 最优角度实现的摄像装置
US11014008B2 (en) 2019-03-27 2021-05-25 Disney Enterprises, Inc. Systems and methods for game profile development based on virtual and/or real activities
US10916061B2 (en) 2019-04-24 2021-02-09 Disney Enterprises, Inc. Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11163997B2 (en) * 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality
US10918949B2 (en) 2019-07-01 2021-02-16 Disney Enterprises, Inc. Systems and methods to provide a sports-based interactive experience
US11132051B2 (en) * 2019-07-09 2021-09-28 Disney Enterprises, Inc. Systems and methods to provide an interactive environment in response to touch-based inputs
JP2022542363A (ja) * 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
WO2021106502A1 (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 頭部装着型表示装置、画像表示システム、及び画像表示方法
US11169600B1 (en) * 2019-12-06 2021-11-09 Snap Inc. Virtual object display interface between a wearable device and a mobile device
EP4010753A1 (en) * 2020-02-04 2022-06-15 Google LLC Systems, devices, and methods for directing and managing image data from a camera in wearable devices
CN111368577B (zh) * 2020-03-28 2023-04-07 吉林农业科技学院 一种图像处理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899690A2 (en) * 1997-09-01 1999-03-03 Mixed Reality Systems Laboratory Inc. Apparatus and method for presenting mixed virtual reality shared among operators
CN101669146A (zh) * 2007-04-24 2010-03-10 索尼电脑娱乐公司 使用摄像机和电视监视器的三维物体扫描
CN101548547B (zh) * 2007-08-16 2011-10-26 索尼电脑娱乐公司 利用与倾斜角信息相结合的视频输入的对象检测
JP2011242591A (ja) * 2010-05-18 2011-12-01 Fujifilm Corp ヘッドマウントディスプレイ装置
CN102306158A (zh) * 2006-05-02 2012-01-04 索尼计算机娱乐公司 信息显示设备
WO2012086188A1 (ja) * 2010-12-24 2012-06-28 パナソニック株式会社 カメラ装置、画像処理システム、画像処理方法および画像処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450704B2 (ja) * 1997-09-01 2003-09-29 キヤノン株式会社 位置姿勢検出装置及び情報処理方法
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
JP5111210B2 (ja) * 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
JP5156571B2 (ja) * 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
JP5604909B2 (ja) * 2010-02-26 2014-10-15 セイコーエプソン株式会社 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
CN102209253A (zh) * 2011-05-12 2011-10-05 深圳Tcl新技术有限公司 立体显示方法及立体显示系统
JP5538483B2 (ja) * 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899690A2 (en) * 1997-09-01 1999-03-03 Mixed Reality Systems Laboratory Inc. Apparatus and method for presenting mixed virtual reality shared among operators
CN102306158A (zh) * 2006-05-02 2012-01-04 索尼计算机娱乐公司 信息显示设备
CN101669146A (zh) * 2007-04-24 2010-03-10 索尼电脑娱乐公司 使用摄像机和电视监视器的三维物体扫描
CN101548547B (zh) * 2007-08-16 2011-10-26 索尼电脑娱乐公司 利用与倾斜角信息相结合的视频输入的对象检测
JP2011242591A (ja) * 2010-05-18 2011-12-01 Fujifilm Corp ヘッドマウントディスプレイ装置
WO2012086188A1 (ja) * 2010-12-24 2012-06-28 パナソニック株式会社 カメラ装置、画像処理システム、画像処理方法および画像処理プログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573486B (zh) * 2014-05-30 2019-08-16 索尼电脑娱乐美国公司 具有与移动计算设备介接的接口的头戴式设备(hmd)系统
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN104699247B (zh) * 2015-03-18 2017-12-12 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN107646098A (zh) * 2015-07-07 2018-01-30 谷歌有限责任公司 用于在虚拟现实中跟踪手持式设备的系统
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
CN107157588A (zh) * 2017-05-08 2017-09-15 上海联影医疗科技有限公司 影像设备的数据处理方法以及影像设备
CN107157588B (zh) * 2017-05-08 2021-05-18 上海联影医疗科技股份有限公司 影像设备的数据处理方法以及影像设备
JP2019162355A (ja) * 2018-03-20 2019-09-26 株式会社バンダイナムコエンターテインメント プログラム及びコンピュータシステム
JP7137944B2 (ja) 2018-03-20 2022-09-15 株式会社バンダイナムコエンターテインメント プログラム及びコンピュータシステム
CN108616752A (zh) * 2018-04-25 2018-10-02 北京赛博恩福科技有限公司 支持增强现实交互的头戴设备及控制方法
CN116206740A (zh) * 2023-03-07 2023-06-02 上海熙软科技有限公司 基于医院总账的财物数据管理系统
CN116206740B (zh) * 2023-03-07 2023-12-26 上海熙软科技有限公司 基于医院总账的财物数据管理系统

Also Published As

Publication number Publication date
US20160187655A1 (en) 2016-06-30
CN106023241B (zh) 2019-09-17
CN106023241A (zh) 2016-10-12
US9684173B2 (en) 2017-06-20
US20150070391A1 (en) 2015-03-12
US9311754B2 (en) 2016-04-12
US8912980B2 (en) 2014-12-16
JP2014011655A (ja) 2014-01-20
US20140002329A1 (en) 2014-01-02
CN103513421B (zh) 2016-09-07
US9123158B2 (en) 2015-09-01
JP5538483B2 (ja) 2014-07-02
US20150325053A1 (en) 2015-11-12

Similar Documents

Publication Publication Date Title
CN103513421A (zh) 影像处理装置、影像处理方法及影像处理系统
CN108292489B (zh) 信息处理装置和图像生成方法
AU2016262576B2 (en) Privacy-sensitive consumer cameras coupled to augmented reality systems
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
CN109952759B (zh) 用于具有hmd的视频会议的改进的方法和系统
CN105301771B (zh) 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
KR101703924B1 (ko) 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템
CN104995583A (zh) 用于混合现实环境的直接交互系统
CN105452994A (zh) 虚拟物体的同时优选观看
CN114730094A (zh) 具有人工现实内容的变焦显示的人工现实系统
CN102959616A (zh) 自然交互的交互真实性增强
WO2019039378A1 (ja) 情報処理装置および画像表示方法
JP2016131782A (ja) 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
CN207216145U (zh) 一种穿戴式设备
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP6518645B2 (ja) 情報処理装置および画像生成方法
JP2017046065A (ja) 情報処理装置
JP2022015647A (ja) 情報処理装置および画像表示方法
CN107426522B (zh) 基于虚拟现实设备的视频方法和系统
JP2019083029A (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP2019121074A (ja) Ｖｒ空間における自撮り装置、方法、およびプログラム
JP2000182058A (ja) 三次元運動入力方法及び三次元運動入力システム
KR20220120266A (ko) Ar 스마트 글래스 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant