CN1324534C - 视频图像合成设备及视频图像合成方法 - Google Patents

视频图像合成设备及视频图像合成方法 Download PDF

Info

Publication number
CN1324534C
CN1324534C CNB031347479A CN03134747A CN1324534C CN 1324534 C CN1324534 C CN 1324534C CN B031347479 A CNB031347479 A CN B031347479A CN 03134747 A CN03134747 A CN 03134747A CN 1324534 C CN1324534 C CN 1324534C
Authority
CN
China
Prior art keywords
mentioned
video image
zone
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB031347479A
Other languages
English (en)
Other versions
CN1497504A (zh
Inventor
田中利果
大岛登志一
富手要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1497504A publication Critical patent/CN1497504A/zh
Application granted granted Critical
Publication of CN1324534C publication Critical patent/CN1324534C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种视频图像合成设备及视频图像合成方法，将CG等图像重叠显示于现实世界的视频图像或透过式显示装置，使用者能容易地指定不想重叠显示图像的区域。为此，当使用者将设有例如标记的框架用手挡在眼前时，该框架就被拍摄到摄取了现实世界的视频图像中。通过检测出视频图像中的标记的位置，来检测出使用者指定的区域，以使在该区域中不重叠虚拟图像。

Description

视频图像合成设备及视频图像合成方法
技术领域
本发明涉及将由计算机生成的视频图像和信息(CG：ComputerGraphics)重叠到现实世界的视频图像中的视频图像合成设备及视频图像合成方法，特别涉及向使用者关注的在现实空间区域上的CG显示控制。
背景技术
使用在现实世界的视频图像上重叠了CG的视频图像、支持各种行动的技术，作为与扩张现实感(AR：Augmented Reality)和复合现实感(MR：Mixed Reality)相关的技术，研究非常活跃。例如，有为透视患者体内情况而提示医师的医疗辅助的用途、在工厂中将产品的组装顺序重叠显示到实物上的操作辅助的用途、还有在现实风景中指导显示地名和名称等的用途等。
然而，通过重叠显示CG，会存在由CG隐藏而看不见的现实空间区域。如果隐藏的区域是使用者不感兴趣的区域则没有问题，但以往由于没有那样的考虑，即使是使用者关注的现实空间区域，也按照预先设定的内容进行了CG重叠。
在G.Reitmayr and D.Schmalstieg.“Mobile CollaborativeAugmented Reality”In Proc.IEEE Virtual Reality 2001，pages 114-123中，由AR系统中的关于CG显示位置的分类(Head-stabilized：根据用户的视点来固定信息、Body-stabilized：根据用户的身体的位置来固定信息、World-stabilized：与现实世界的位置一致地来调整信息)，特别是进行移动AR系统中的适当的CG显示位置的考察。另外，在日本专利申请公开特开2000-276610号公报(JP-A-2000-276610)中关于代理显示(agent display)等，提案出一种不使用户感到不适地显示使用方便的代理人物(agent character)的系统。但是两者关于CG显示的情况都是利用一些试探法(经验法则)，而没有考虑关注的现实空间被CG覆盖而隐藏的情况。
另外，显示特定的现实物体(例如使用者的手等)使其始终可见的技术(掩码处理技术)，也使用例如色度键技术等来实现。可是，现实世界是时刻变化着的，使用者并不总是关注同一个现实物体。
由这种情况，在使用者想要观察的现实空间区域被CG隐藏的情况下，则使用者一般(1)卸下HMD，如果可能，(2)切换显示CG和现实图像，甚至如果可能，(3)(构成妨碍的CG)选择虚拟物体，移动到其他地方。由于在(2)中，一齐显示/不显示全部的CG，故不能有选择地仅显示一部分CG，另外，在(3)中，必须进行所谓“选择移动”虚拟物体的烦琐的操作。
发明内容
本发明就是鉴于这样的现有技术的问题点而完成的，其主要目的是，实现一种将由计算机生成的图像重叠到使用者观察的现实世界中的视频图像合成装置，可进行控制以通过简便的设定，在使用者想关注的现实空间区域中不进行CG显示。
为此，本发明的第1技术方案提供一种视频图像合成方法，在使用者所观察的现实世界中，重叠由计算机生成的虚拟图像，其特征在于包括以下步骤：输入上述现实世界的摄像图像；输入上述使用者的视点的位置·姿势信息；基于上述位置·姿势信息生成虚拟图像；根据用户的指示设定虚拟图像消除区域；以及根据上述虚拟图像消除区域，在现实图像上重叠上述虚拟图像；其中，在上述重叠后的图像的与虚拟图像消除区域对应的区域，包含上述现实图像。
另外，本发明的第2技术方案提供一种视频图像合成设备，在使用者观察的现实世界中，重叠由计算机生成的虚拟图像，其特征在于包括：输入上述现实世界的摄像图像的图像输入装置；输入上述使用者的视点的位置·姿势信息的位置姿势信息输入装置；基于上述位置·姿势信息生成虚拟图像的虚拟图像生成装置；根据用户的指示设定虚拟图像消除区域的设定装置；以及根据上述虚拟图像消除区域，在现实图像上重叠上述虚拟图像的重叠装置；其中，在上述重叠后的图像的与虚拟图像消除区域对应的区域，包含上述现实图像。
另外，本发明的第3技术方案提供一种视频图像合成方法，在使用者所观察的现实世界的视频图像中重叠虚拟图像，其特征在于包括以下步骤：输入上述使用者所观察的现实世界的视频图像的图像输入步骤；输入上述使用者的视点的位置·姿势信息的位置姿势信息输入步骤；基于上述位置·姿势信息生成虚拟图像的虚拟图像生成步骤；检测出上述使用者所指定的预定区域的指定区域检测步骤；以及除去与上述指定区域检测步骤检测出的视频图像中的区域相对应的部分，将上述虚拟图像重叠到上述视频图像中的重叠步骤。
附图说明
附图包含在说明书中，构成其一部分，表示本发明的实施形式，并与说明书的记述一起用于说明本发明的原理。
图1A和1B是说明使用框架(frame)指定CG消除区域的本发明的概念的图。
图2A～2D是表示CG消除框架的结构例的图。
图3是表示有关本发明的第1实施形式的视频图像合成设备的概略结构例的方框图。
图4是说明有关本发明的第1实施形式的视频图像合成设备的动作的流程图。
图5A和5B是表示在有关本发明的第2实施形式的视频图像合成设备中使用的记录针(stylus)的例子的图。
图6是表示有关本发明的第1实施形式的视频图像合成设备的概略结构例的方框图。
图7是说明有关本发明的第1实施形式的视频图像合成设备的动作的流程图。
图8是示意说明有关本发明的第3实施形式的视频图像合成设备中的CG消除区域的指定方法的图。
图9A和9B是表示在有关本发明的第3实施形式的视频图像合成设备中，使用者用手指定CG消除区域的方法的例子的图。
图10是表示有关本发明的第3实施形式的视频图像合成设备的概略结构例的方框图。
图11是说明有关本发明的第3实施形式的视频图像合成设备的动作的流程图。
图12是说明有关本发明的第3实施形式的CG消除区域抽取动作的流程图。
图13是说明有关本发明的第3实施形式的CG消除区域抽取动作的流程图。
具体实施方式
下面参照附图对本发明的优选实施形式进行详细说明。
(第1实施形式)
有关本发明的第1实施形式的视频图像合成设备的一例，是当使用者安装显示设备眺望风景时，辅助显示与其对应的位置信息和名称的MR系统。
在本实施形式中，显示设备上使用可测量位置·姿势的视频透明(video see through)HMD。也就是，在HMD中内置位置·姿势测量传感器及摄像机，来自使用者的大致视点位置的视频图像可与使用者头部的位置·姿势信息(严格来讲是摄像机的位置·姿势)一起取得。
另外，在本实施形式中，为了使使用者可以指定不希望重叠显示CG的区域(CG消除区域)，使用将标记(marker)和CG消除区域对应起来的用户界面(以下称为CG消除框架)。通过从来自使用者的视点位置的视频图像抽取附加在CG消除框架中的标记，就能够抽取CG消除区域。
图2A～2D中，表示CG消除框架(标记和CG消除区域的对应起来)的例子(这里为简便起见，增加以下约束，使CG消除框架与设置在HMD中的摄像机(摄像单元)的摄像面相平行来进行使用)。小圆是标记，斜线部分是CG消除区域。斜线部分可以切去也可以存在，在存在的情况下则需要用透明(半透明)材料构成，或输入对应于斜线部分的现实世界的图像的方法。CG消除框架由使用者手持的把柄部分21和框架部分22构成，在使用者观察如图1A所示那样的重叠图像时，例如在想消除“教堂”对白框上的重叠图像的情况下，则将该框架挡在眼前，一边观看用摄像机所拍摄的现实空间图像，一边使框架对合到所希望的位置(不想显示CG的区域)。
如下所述，从设置在框架上的标记求得用框架所指定的区域，在根据本实施形式的MR系统中，由于不在该区域上重叠CG，故如图1B所示，使用者能够看到由重叠图像所隐藏的现实世界的图像。在后述的第2实施形式中，显示设备是光学透明类型的，如果除去现实世界是透过显示设备直接被观察或被拍摄的图像外，则都相同。
在图2A中，四边形的框架的4个角上分别以3个标记为一组进行附加。只要抽取任何1组的标记，就可计算出CG消除区域。另外，在图2B中附加标记以围住圆形框架。由于如果决定3点则可确定1圆，则只要能抽取任意的3个标记，就可将其内部作为CG消除区域而算出。图2C是将图2B的标记缩减到3点的图。在将许多标记CG附加到消除框架感到麻烦时有效。在图2D中，将具有方向性的标记的前面的区域(例如圆)定义为CG消除区域。这当不想在CG描绘单元和CG消除区域的交界处放置标记时有效。
框架的颜色是任意的，但当考虑到为了容易地检测，标记使用一般在现实物体中不使用的荧光色等，则最好是采用与标记对比性的颜色。另外，框架大小(CG消除区域的大小)是任意的，但如果过大则CG消除区域也变得过大，包含在视场中的CG的大半就显示不了，相反，如果过小则位置的调整将变难，所以考虑一般的手的长度(由于在摄影图像中所占的框架的比例根据从摄像机到框架的距离而变化，所以考虑能变化的范围)，设定适当的大小。
图3是表示作为本发明的第1实施形式中的视频图像合成设备的一例的MR系统的概略结构例的方框图。
摄像单元1在这里是内置于HMD内的摄像机。摄像单元1分别拍摄使用者的右眼和左眼观察到的现实空间的视频图像，将摄影视频图像作为视频图像信号输出到摄影视频图像取入单元2中。另外，在本说明书中为使说明简单，不特别分开说明左眼用图像和右眼用图像的处理，显然，为了生成用于HMD显示的左眼用合成图像和右眼用合成图像，实际上进行左眼、右眼用的2系统的处理。
摄影视频图像取入单元2将由摄像单元1输入的视频图像信号变换成适于视频图像合成单元6及CG消除区域抽取单元3的形式，送往视频图像合成单元6和CG消除区域抽取单元3。
在CG消除区域抽取单元3中，从由摄影视频图像取入单元2输入的视频图像中，抽取附加了上述CG消除框架的标记，以抽取CG消除区域。将视频图像上的消除区域原样作为CG消除区域即可。然后消除区域抽取单元3将所抽取的CG消除区域输出到视频图像合成单元6中。
摄影位置·姿势测量单元4在此内置于HMD内，依照来自CG生成单元5的请求，或者没有来自CG生成单元5的请求，将摄像单元1的位置·姿势信息送往CG生成单元5。摄影位置·姿势测量单元4考虑利用例如地磁传感器、陀螺仪(gyro)或光学式的传感器。
CG生成单元5从摄影位置·姿势测量单元4中取出摄像单元1的位置·姿势信息，推定摄像单元1的位置·摄影方向。如果能推定摄像单元1的位置·摄影方向，则从摄像单元1的透镜参数中求出视场，因此，CG生成单元5从数据单元7中取出进入摄像单元1的视场的部分的数据，生成待显示在由摄像单元1所拍摄的视频图像中的CG，并输出到视频图像合成单元6。
视频图像合成单元6分别从摄影视频图像取入单元2读入摄影视频图像，从CG生成单元5读入CG，从CG消除区域抽取单元3读入CG消除区域。然后，将来自CG生成单元5的CG合成到来自摄影视频图像取入单元2的摄影视频图像中。此时，在重叠到从CG消除区域抽取单元3得到的CG消除区域的部分中不描绘CG。由此，就生成仅CG消除区域的CG被消除的合成视频图像。
如果将CG消除框架的形状(设计)做成放大镜等，则使外观与功能一致，作为用户界面就更好。另外，也可不是不在CG消除区域中描绘CG，而是例如依照CG消除框架的种类，描绘透明度高的CG(操作表示透明度的α成分值)、或使CG闪烁地进行描绘。由视频图像合成单元6所生成的CG被送往显示单元8(在本实施形式中为HMD)。
数据单元7例如由硬盘构成，存有送给CG生成单元5的数据。作为在数据单元7中存储的数据，考虑有例如文本信息和全景视频图像、三维CG(计算机图形)数据等。数据单元7依照来自CG生成单元5的请求，将适当的数据送往CG生成单元5。例如在CG生成单元5请求将合成到摄像单元1的视场中的三维CG数据时，数据单元7就从所存储的三维CG数据中取出包含在摄像单元1的视场中的三维CG数据并送出。此外，数据单元7并不限于硬盘，只要是能够保存数据的介质则什么都可，例如也可以由磁带或存储器等构成。
显示单元8在本实施形式中是HMD。显示从视频图像合成单元6送出的合成视频图像信号。另外，在本实施形式的MR系统中，也如以往所公知的MR系统那样，HMD具有右眼用图像显示单元和左眼用图像显示单元，通过在视频图像合成单元6中生成右眼用的显示图像和左眼用的显示图像并提供给HMD，使用者就可体验三维CG显示。
关于具有如上那样的结构、作为有关本发明的第1实施形式的视频图像合成设备的一例的MR系统的动作，用如图4所示的流程图在下面进行说明。此外，设在数据单元7中预先存储着必要的数据。
首先，在步骤S1中启动系统。
在步骤S2中，从摄像单元1取得视频图像，所取得的摄影视频图像在摄影视频图像取入单元2中被变换成适当的格式，送往视频图像合成单元6和CG消除区域抽取单元3。
在步骤S3中，从读入到CG消除区域抽取单元3的摄影视频图像中抽取出标记，算出CG消除区域。然后将计算出的CG消除区域送往视频图像合成单元6。
在步骤S4中，摄影位置·姿势测量单元4测量摄像单元1的位置·姿势，测量出的位置·姿势信息被送往CG生成单元5。
在步骤S5中，CG生成单元5从由摄影位置·姿势测量单元4送出的位置·姿势信息推定摄像单元1的视场，并从数据单元7取得包含于摄像单元1的视场的范围的数据。
在步骤S6中，CG生成单元5使用从数据单元7中取得的数据生成CG。所生成的视频图像被送往视频图像合成单元6。
在步骤S7中，从摄影视频图像取入单元2送出的摄影视频图像和从CG生成单元5送出的计算机视频图像在视频图像合成单元6中进行合成。此时，在从CG消除区域抽取单元3送出的CG消除区域部分中不合成CG。据此，就生成消除了CG消除区域的CG的合成视频图像。合成后的合成视频图像被送往显示单元8。
在步骤S8中，显示单元8显示从视频图像合成单元6送出来的视频图像信息。
此后在步骤S9中，检查是否结束系统，在使系统结束的情况下，则在步骤S10中使系统结束，在不使其结束的情况下，则返回步骤S2，重复上述处理。
如上所述，根据第1实施形式，例如当使用者安装HMD眺望风景时，在辅助显示与其对应的位置信息和名称的MR系统中，即使在关注现实物体被CG隐藏了的情况下，只要使CG消除框架在对应的位置上遮挡，就能观察到关注现实物体。
(第2实施形式)
有关本发明的第2实施形式的视频图像合成设备的一例，是为了透视患者体内的情况而提示医师的医疗辅助系统。在这里，作为显示设备，使用光学透明型HMD。这时因为在视频透明型HMD中，现实世界的显示分辨率存在界限。
另外，作为指定CG消除区域的UI，在本实施形式中位置·姿势的输入设备在这里使用记录针。图5A和5B是表示记录针的例子的图。在这里为简便，描述固定了使用者的视点位置·姿势的情况，但实际如下所述，要考虑使用者的视点位置·姿势和记录针的位置·姿势的相对关系。记录针51例如具有钢笔形状的，在内部设置有位置姿势传感器。从位置·姿势传感器检测出的位置与记录针前端的距离d，推定记录针前端位置，由该前端位置和检测出的记录针的倾角θ，求出用记录针的前端所指定的区域。在本实施形式中，把与记录针前端接触的虚圆52相对应的区域设为CG消除指定区域。实际上，根据记录针的倾角θ把从该虚圆52求出的椭圆区域设为CG消除区域。另外，在无法得到记录针的倾角(姿势信息)的情况下，也可以直接使用虚圆52。记录针的位置、姿势信息以及未图示的ON-OFF开关信息，可通过连接到记录针上的信号线或者发信机(communicator)从外部取得。
在本实施形式中，将位置·姿势输入设备作为UI来使用的理由是因为：
(1)由于光学透明型HMD中与视频透明型HMD不同，一般不内置摄像机，所以(列举第1实施形式)在利用图像处理实现CG消除区域指定时，则重新需要摄像机。
(2)在手术辅助系统中，为了能够让医师能够始终把握病患部周围的状态和病患部与手术器具的位置关系等，将这些位置关系实时地用传感器等进行测量对医师进行提示是很重要的。因此，假定提供使位置·姿势测量在某种程度上可准确进行的环境。
(3)在利用手术支援系统进行手术的情况下，即便病患部周围需要CG的辅助，也要考虑到
想把CG显示在手边非常近处的情况，和
在手边非常近处不想显示CG的情况混合存在。
考虑这样的情况，可以将记录针的ON-OFF按钮分配成CG消除区域定义的ON-OFF。
另外，如果在手术器具中设置位置·姿势传感器，则只要简单地替换“带传感器的手术道具”和“无传感器的手术道具”，就能够简单地进行CG显示方法的切换。
图6是表示有关本发明的第2实施形式的MR系统的概略结构例的方框图。
头部位置·姿势测量单元14内置于后述的作为显示单元18的HMD内，依照来自CG消除区域抽取单元13和CG生成单元15的请求，或者没有来自CG消除区域抽取单元13和CG生成单元15的请求，将头部位置·姿势信息送往CG消除区域抽取单元13和CG生成单元15。头部位置·姿势测量单元14考虑利用例如地磁传感器、陀螺或光学式的传感器。
记录针状态检测单元19从记录针20取得记录针信息(位置·姿势·按钮的开关等)，依照来自CG消除区域抽取单元13的请求，或者没有来自CG消除区域抽取单元13的请求，而送往CG消除区域抽取单元13。
在CG消除区域抽取单元13中，从由头部位置·姿势测量单元14输入的位置·姿势数据以及由记录针状态检测单元19输入的记录针信息，计算出CG消除区域。如上所述，在本实施形式中，从头部的位置·姿势和记录针的位置·姿势，能够计算出图像面上的记录针前端位置和相对图像面的记录针的姿势。因此，将从记录针前端扩展到图像面上的椭圆(从相对图像面的记录针的姿势信息决定椭圆率)区域定义为CG消除区域。CG消除区域抽取单元13将抽取出的CG消除区域输出到视频图像合成单元16。
CG生成单元15从头部位置·姿势测量单元14取出头部位置·姿势信息，并推定头部位置·方向。如果能推定位置·姿势则可求得使用者的视场，因此CG生成单元15从数据单元17取出进入使用者视场的部分的数据，生成重叠于使用者视场的CG，并输出到视频图像合成单元16。
视频图像合成单元16分别从CG生成单元15读入CG，从CG消除区域抽取单元13读入CG消除区域。并且基于来自CG生成单元15的CG和来自CG消除区域抽取单元13的CG消除区域数据，合成CG。由视频图像合成单元16所生成的CG被送往显示单元18。
数据单元17例如由硬盘构成，存有送给CG生成单元15的数据。作为在数据单元17中存储的数据，考虑有例如文本信息和全景视频图像、三维CG数据等。数据单元17依照来自CG生成单元15的请求，将适当的数据送往CG生成单元15。例如在CG生成单元15请求将合成到使用者视场中的三维CG数据时，数据单元17就从所存储的三维CG数据中取出包含在使用者视场中的三维CG数据并送出。此外，数据单元17并不限于硬盘，只要是能够保存数据的介质则什么都可，例如也可以由磁带或存储器等构成。
显示单元18在这里是光学透明型HMD。通过将从视频图像合成单元16送出的合成视频图像信号投影到例如半透明反射镜上，而重叠在透过半透明反射镜可观看的现实世界上进行显示。
关于具有以上那样的结构、作为本发明的第2实施形式中的视频图像合成设备的一例的MR系统的动作，用如图7所示的流程图在下面进行说明。此外，设在数据单元17中预先存储着必要的数据。
首先，在步骤S11中启动系统。
在步骤S12中，记录针状态检测单元19检测记录针的状态，并将检测出的信息送往CG消除区域抽取单元13。
在步骤S13中，头部位置姿势测量单元14测量使用者的位置·姿势，所测量出的位置·姿势信息被送往CG消除区域抽取单元13和CG生成单元15。
在步骤S14中，基于从记录针状态检测单元19输入的记录针位置·姿势信息、以及从头部位置·姿势测量单元14输入的头部位置·姿势信息，CG消除区域抽取单元13计算出CG消除区域。此CG消除区域被送往视频图像合成单元16。
在步骤S15中，CG生成单元15从由头部位置·姿势测量单元14送出的头部位置·姿势信息推定使用者的视场，并从数据单元17取得包含于使用者视场的范围的数据。
在步骤S16中，生成单元15使用从数据单元17取得的数据，生成CG。所生成的视频图像被送往视频图像合成单元16。
在步骤S17中，从生成单元17送出的计算机视频图像基于来自CG消除区域抽取单元13的CG消除区域数据，在视频图像合成单元16中进行合成(在从CG消除区域抽取单元13送出的CG消除区域的部分中不描绘CG)。合成后的合成视频图像被送往显示单元18。
在步骤S18中，通过将从视频图像合成单元16送出的视频图像信息显示在光学透明型HMD的显示单元18上，使使用者辨识重叠于现实空间的CG。
此后在步骤S19中，检查是否结束系统，在使系统结束的情况下，则使系统结束，在不使其结束的情况下，则返回步骤S12，重复上述处理。
如上所述，根据第2实施形式，例如在利用手术支援系统进行手术的情况下，就可容易地进行想将CG显示到手边非常近处的情况，和在手边非常近处不想显示CG的情况的切换。
(第3实施形式)
在有关本发明的第1实施形式的视频图像合成设备中，使用如图2所示的框架指定CG消除区域。
有关本实施形式的视频图像合成设备，其特征在于在有关第1实施形式的视频图像合成设备中，不是用框架而是可使用使用者的手来指定CG消除区域。
具体来说，在本实施形式中，如图9A和9B所示，把用使用者的手围住的区域(斜线所示的区域)作为CG消除区域。即使用者能够通过用两手或单手形成窥视孔，将所希望的区域指定成CG消除区域。图9A是用双手，图9B是用单手指定CG消除区域的例子。这样，通过可用手指定CG消除区域，就不但不必准备框架，使用者还能够用自然的动作指定CG消除区域。
使用者在观察如图1A所示那样的重叠图像时，例如，在想消除对白框“教堂”上的重叠视频图像的情况下，就用手作成窥视孔，挡在所希望的位置(不想显示CG的区域)  (参照图8)。
有关本实施形式的视频图像合成设备，采用如下结构：为了使挡在使用者眼前的手不被CG隐藏而总是可见，从自使用者的视点位置的视频图像抽取出使用者的手区域，在该区域中进行不描绘CG的掩码处理(使使用者眼前的物体不被CG隐藏而能看见的处理)。进行这样的掩码处理的结构，例如像在日本专利申请特愿2002-95535中所提案那样，可利用例如色度键(chroma key)技术来实现。
一般在手的掩码处理过程中，包含抽取自使用者的视点的视频图像中的、使用者手的区域的过程，因此，容易抽取出自使用者的视点的视频图像中的手的内部区域。
也就是有关本实施形式的视频图像合成设备，通过仅在可进行手的掩码处理的MR系统中，加上抽取自观测者视点的视频图像中的手的内部区域(图9A和9B的斜线区域)的处理就可实现。
如下所述，通过从自使用者的视点位置的视频图像中抽取出使用者的手区域，进而抽取其内部区域(窥视孔区域)，来求出所指定的区域。
通过在自观测者的视点的视频图像中的使用者的手区域以及手的内部区域上不重叠CG，就解决了挡在眼前的手被CG隐藏的问题，进而可不被CG隐藏地观看现实空间的预定区域。因此，在本实施形式中，通过将手区域和手的内部区域作为CG消除区域同样地进行处理，来简化处理。
当然，也可以将手区域与CG消除区域(手的内部区域)区别进行处理。在此情况下，将皮肤色部分作为手区域抽取，将其内部区域作为CG消除区域进行检测，但此时为了容易抽取手区域，也可以使使用者戴上蓝色的手套，将蓝色区域作为手区域进行抽取，在手区域中合成皮肤色的CG，在CG消除区域中进行不显示CG的处理。
图10是表示作为有关本发明的第3实施形式的视频图像合成设备的一例的MR系统的概略结构例的方框图。在图10中，对与图3相同的结构要素附加相同的参照数字并省略重复的说明。
即，CG消除区域抽取单元3’从由摄影视频图像取入单元2输入的视频图像中，如果必要使用来自数据单元7的与手区域抽取相关的数据(例如规定上述的特定颜色的数据)，抽取出手区域以及用手围住的区域(手的内部区域)，并至少将手的内部区域作为CG消除区域。然后，消除区域抽取单元3将抽取出的CG消除区域输出到视频图像合成单元6。
摄影位置·姿势测量单元4在此内置于HMD内，依照来自CG生成单元5的请求将摄像单元1的位置·姿势信息，或者没有来自CG生成单元5的请求，将摄像单元1的位置·姿势信息送往生成单元5。摄影位置·姿势测量单元4考虑利用例如地磁传感器、陀螺或光学式的传感器。
CG生成单元5从摄影位置·姿势测量单元4取出摄像单元1的位置·姿势信息，推定摄像单元1的位置·摄影方向。如果能推定摄像单元1的位置·摄影方向，则从摄像单元1的透镜参数求出视场，CG生成单元5从数据单元7取出进入摄像单元1的视场的部分的数据，生成待显示在由摄像单元1所拍摄的视频图像中的CG，并输出到视频图像合成单元6。
视频图像合成单元6分别从摄影视频图像取入单元2读入摄影视频图像，从CG生成单元5读入CG，从CG消除区域抽取单元3’读入CG消除区域。然后，将来自CG生成单元5的CG合成到来自摄影视频图像取入单元2的摄影视频图像中。此时，在重叠到从CG消除区域抽取单元3’得到的CG消除区域的部分中不描绘CG。由此，就生成仅CG消除区域的CG被消除的合成视频图像。
另外，也可以不是不在CG消除区域中描绘CG，而是描绘例如透明度高的CG(操作表示透明度的α成分值)，或使CG闪烁地进行描绘。由视频图像合成单元6中所生成的CG被送往显示单元8(在本实施形式中为HMD)。
7是数据单元例如由硬盘构成，存有送给CG生成单元5和CG消除区域抽取单元3’的数据。作为存储于数据单元7中的数据，考虑有例如文本信息、全景视频图像和三维CG(计算机图形)数据等数据，进而还有抽取手区域和手内部区域这种特定区域所必需的数据(规定特定颜色的数据等)等。
数据单元7依照来自CG生成单元5的请求将适当的数据送往CG生成单元5。例如在CG生成单元5请求将合成到摄像单元1的视场的三维CG数据时，数据单元7从所存储的三维CG数据中取出包含于摄像单元1的视场中的三维CG数据并送出。
进而，数据单元7依照来自CG消除抽取单元3’的请求，将适当的数据送往CG消除区域抽取单元3’。
8是显示单元，在本实施形式中为HMD。显示从视频图像合成单元6送出的合成视频图像信号。此外，在本实施形式的MR系统中，也如以往所公知的MR系统那样，HMD具有右眼用图像显示单元和左眼用图像显示单元，通过在视频图像合成单元6中生成右眼用的显示图像和左眼用的显示图像提供给HMD，使用者就可体验三维CG显示。
使用图11的流程图说明具有以上那样的结构、作为有关本发明的第3实施形式的视频图像合成设备的一例的MR系统的整体动作。如从图11和表示第1实施形式中的动作的图4的流程图的比较可知那样，有关本实施形式的视频图像合成设备的动作，除摄影位置·姿势信息取得步骤和CG消除区域抽取步骤的顺序相反这一点，以及CG消除区域抽取处理的内容不同这一点外都是相同的。此外，设在数据单元7中预先存储着必要的数据。
首先，在步骤S1中启动系统。
在步骤S2中，从摄像单元1取得视频图像，所取得的摄影视频图像在摄影视频图像取入单元2中变换成适当的格式，送往视频图像合成单元6及CG消除区域抽取单元3。
在步骤S3’中，摄影位置·姿势测量单元4测量摄像单元1的位置·姿势，测量出的位置·姿势信息被送往CG生成单元5。
在步骤S4’中，从读入到CG消除区域抽取单元3的摄影视频图像计算出CG消除区域。
由于此步骤S4’是本实施形式的特征性的步骤，所以进一步使用流程图详细地进行说明。
首先用图12的流程图，说明为抽取出手区域使用抽取特定颜色的图像处理进行情况下的步骤S4’的处理的一例。
在步骤S4a-1中，CG消除区域抽取单元3’如果必要从数据单元7中读入与手区域相关的数据。作为与手区域相关的数据，是与手的肤色相关的信息。一般，认为这些与手区域相关的数据读入一次就足够了，但例如在测量实时变化的光源的位置、每次都需要与此相应的肤色数据的情况下，就需要此步骤。
在步骤S4a-2中，以与手区域相关的数据为基础，从读入到CG消除区域抽取单元3’的摄影视频图像，抽取出手区域。
在步骤S4a-3中，抽取出视频图像上的手区域的内部区域。
在步骤S4a-4中，将视频图像上的手区域和手区域的内部区域原样作为CG消除区域进行抽取。
当然，用上述方法之外的、手的掩码处理中的手区域抽取方法来实现步骤S4也可以。
然后计算出的CG消除区域被送往视频图像合成单元6。
在步骤S5中，CG生成单元5从由摄影位置·姿势测量单元4送出的位置·姿势信息推定摄像单元1的视场，从数据单元7取得包含于摄像单元1的视场中的范围的数据。
在步骤S6中，CG生成单元5使用从数据单元7取得的数据生成CG。所生成的视频图像被送往视频图像合成单元6。
在步骤S7中，从摄影视频图像取入单元2送出的摄影视频图像和从CG生成单元5送出的计算机视频图像在视频图像合成单元6中进行合成。此时，在从CG消除区域抽取单元3送出的CG消除区域的部分中不合成CG。由此，就生成消除了CG消除区域的CG。合成后的合成视频图像被送往显示单元8。
在步骤S8中，显示单元8显示从视频图像合成单元6送来的视频图像信息。
此后在步骤S9中，检查是否结束系统，在使系统结束的情况下，则在步骤S10中使系统结束，在不使其结束的情况下，则返回步骤S2，重复上述处理。
如上所述，根据第3实施形式，例如当使用者安装HMD眺望风景时，在辅助显示与其对应的位置信息和名称的MR系统中，即便在关注现实物体被CG隐藏了的情况下，只要用手作成窥视孔，遮挡在对应的位置上，就可以观察到关注现实物体。
(第4实施形式)
尽管在上述的第1实施形式和第2实施形式中，作为显示单元使用HMD，但也可以不用HMD，而应用于例如日本专利申请公开特开平10-051711号公报所公开那样的，调整显示设备和视点的位置生成重叠图像的head up display(HUD)光学透明型AR系统等。
(其他实施形式)
另外，尽管第2实施形式以光学透明型HMD为对象进行了说明，但也可适用于使用在第1实施形式中所说明那样的视频透明型HMD的实施形式。
另外，尽管在第3实施形式中，表示了利用掩码处理而不使用框架等道具来指定CG消除区域的例子，但即便在使用图2所示的框架等来指定CG消除区域的情况下，也可以使用掩码处理。在该情况下，通过在具有图2A和2B所示那样的框的框架中，设框为某种特定颜色，将部分CG消除区域定义为“某特定颜色的内部区域”，就可以用与第3实施形式相同的处理进行CG消除处理。
在此情况下，在框架的框中也可以不设标记。另外，在框架的框中所用的特定颜色并不限定于皮肤色，例如可以蓝色或红色等任何颜色都可，但最好是设定成在背景色中不包含的颜色。
另外，尽管在第3实施形式中，对为抽取出手区域，利用掩码处理的情况进行了说明，但也可以通过掩码处理以外的方法来抽取手区域。例如，可以使设置了多个位置传感器的手套戴在使用者的手上，从手套的传感器输出来抽取手区域。
使用图13所示的流程图，来说明用该方法抽取手区域情况下的CG消除区域抽取步骤S4’的处理。
在步骤S4b-1中，测量手的位置信息。
在步骤S4b-2中，从测量出的手的位置信息和使用者的视点位置信息中，计算出自使用者的视点位置的视频图像上的手区域。
在步骤S4b-3中，抽取自使用者的视点位置的视频图像上的手区域的内部区域。
在步骤S4b-4中，从自使用者的视点位置的视频图像上的手区域及手区域的内部区域，计算出CG消除区域。
之后同样地进行步骤S5以后的处理即可。
另外，不仅是上述实施形式，将实现前述实施形式的功能的软件的程序，从记录介质直接或者使用有线/无线通信提供给具有可执行该程序的计算机的系统或设备，该系统或设备的计算机通过执行所提供的该程序来达到相同功能的情况也包含在本发明中。
从而，为了用计算机实现本发明的功能处理，而提供并安装在该计算机中的程序代码本身也将实现本发明。也就是，用于实现本发明的功能处理的计算机程序本身也包含在本发明中。
在该情况下，只要具有程序的功能，则不限程序的形式，例如可以是目标代码、由解释程序所执行的程序、提供给OS的脚本数据等。
作为用于提供程序的记录介质，例如有软盘、硬盘、磁带等的磁记录介质、MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RW等的光/光磁存储介质、非易失性的半导体存储器等。
作为使用了有线/无线通信的程序提供方法，列举出在计算机网络的服务器上存储形成本发明的计算机程序本身、或被压缩的包含自动安装功能的文件等、可在客户计算机上形成本发明的计算机程序的数据文件(程序数据文件)，向连接着的客户计算机下载程序数据文件的方法。在此情况下，也可以将程序数据文件分割成多个分段文件，将分段文件配置在不同的服务器上。
也就是，使由计算机实现本发明的功能处理用的程序数据文件对多个用户进行下载的服务器装置也包含在本发明中。
另外，也可以加密本发明的程序并保存在CD-ROM等存储介质中发布给用户，对满足预定条件的用户例如经由因特网从主页下载解密的密钥信息来进行提供，通过使用该密钥信息来执行被加密的程序，并使其安装到计算机上而实现。
另外，除通过计算机执行所读出的程序，上述实施形式的功能得以实现外，基于该程序的指令，在计算机上运行的OS等执行实际处理的一部分或全部，通过该处理上述实施形式的功能也可得以实现。
进而，在从记录介质读出的程序被写入到插入计算机的功能扩充板或连接到计算机的功能扩展单元上所具有的存储器以后，基于该程序的指令，该功能扩充板或功能扩充单元上所具有的CPU等执行实际处理的一部分或全部，通过该处理上述实施形式的功能也可得以实现。
根据本发明，关于在现实空间上重叠CG的MR系统，在想观看的现实空间被CG隐藏的情况下，通过简单地指定不想显示CG的区域，部分性地不显示(消除)该区域的CG，就能够观看关注现实空间。
进而，本发明还可应用于由多个或者单个单元构成的系统。不言而喻，本发明还可应用于，通过提供执行由本系统或者发明所定义的处理的程序而得以实现的情况。

Claims (8)

1.一种视频图像合成方法，在使用者所观察的现实世界中，重叠由计算机生成的虚拟图像，其特征在于包括以下步骤：
输入上述现实世界的摄像图像；
输入上述使用者的视点的位置·姿势信息；
基于上述位置·姿势信息生成虚拟图像；
根据用户的指示设定虚拟图像消除区域；以及
根据上述虚拟图像消除区域，在现实图像上重叠上述虚拟图像；
其中，在上述重叠后的图像的与虚拟图像消除区域对应的区域，包含上述现实图像。
2.一种视频图像合成设备，在使用者观察的现实世界中，重叠由计算机生成的虚拟图像，其特征在于包括：
输入上述现实世界的摄像图像的图像输入装置；
输入上述使用者的视点的位置·姿势信息的位置姿势信息输入装置；
基于上述位置·姿势信息生成虚拟图像的虚拟图像生成装置；
根据用户的指示设定虚拟图像消除区域的设定装置；以及
根据上述虚拟图像消除区域，在现实图像上重叠上述虚拟图像的重叠装置；
其中，在上述重叠后的图像的与虚拟图像消除区域对应的区域，包含上述现实图像。
3.一种视频图像合成方法，在使用者所观察的现实世界的视频图像中重叠虚拟图像，其特征在于包括以下步骤：
输入上述使用者所观察的现实世界的视频图像的图像输入步骤；
输入上述使用者的视点的位置·姿势信息的位置姿势信息输入步骤；
基于上述位置·姿势信息生成虚拟图像的虚拟图像生成步骤；
检测出上述使用者所指定的预定区域的指定区域检测步骤；以及
将上述虚拟图像除去与上述指定区域检测步骤检测出的视频图像中的区域相对应的部分后，重叠到上述视频图像中的重叠步骤。
4.根据权利要求3所述的视频图像合成方法，其特征在于：
上述指定区域检测步骤，从上述拍摄的视频图像中检测出上述对应的视频图像中的区域。
5.根据权利要求4所述的视频图像合成方法，其特征在于：
上述指定区域检测步骤，检测出包含于上述拍摄的视频图像中的、设置在上述使用者操作的区域指定装置中的标记，并基于该标记的位置检测出上述对应的区域。
6.根据权利要求3所述的视频图像合成方法，其特征在于：
上述指定区域检测步骤，基于上述使用者操作的区域指定装置的位置姿势信息，检测出上述对应的视频图像中的区域。
7.根据权利要求3所述的视频图像合成方法，其特征在于：
上述指定区域检测步骤，基于被特定颜色围住的区域的信息，检测出上述对应的视频图像中的区域。
8.根据权利要求3所述的视频图像合成方法，其特征在于：
上述指定区域检测步骤，基于用上述使用者的手形成的封闭区域的信息，检测出上述对应的视频图像中的区域。
CNB031347479A 2002-09-30 2003-09-29 视频图像合成设备及视频图像合成方法 Expired - Fee Related CN1324534C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002287054 2002-09-30
JP287054/2002 2002-09-30
JP204813/2003 2003-07-31
JP2003204813A JP4298407B2 (ja) 2002-09-30 2003-07-31 映像合成装置及び映像合成方法

Publications (2)

Publication Number Publication Date
CN1497504A CN1497504A (zh) 2004-05-19
CN1324534C true CN1324534C (zh) 2007-07-04

Family

ID=31980657

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031347479A Expired - Fee Related CN1324534C (zh) 2002-09-30 2003-09-29 视频图像合成设备及视频图像合成方法

Country Status (5)

Country Link
US (1) US7487468B2 (zh)
EP (1) EP1404126B1 (zh)
JP (1) JP4298407B2 (zh)
CN (1) CN1324534C (zh)
DE (1) DE60313412T2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI647552B (zh) * 2017-03-23 2019-01-11 日商東芝三菱電機產業系統股份有限公司 鋼鐵廠之分析支援裝置

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
KR100611182B1 (ko) * 2004-02-27 2006-08-10 삼성전자주식회사 회전상태에 따라 메뉴표시상태를 변경하는 휴대형전자기기 및 그 방법
JP4367926B2 (ja) * 2004-05-17 2009-11-18 キヤノン株式会社 画像合成システムおよび画像合成方法、および画像合成装置
US7657125B2 (en) * 2004-08-02 2010-02-02 Searete Llc Time-lapsing data methods and systems
US9155373B2 (en) * 2004-08-02 2015-10-13 Invention Science Fund I, Llc Medical overlay mirror
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
JP4500632B2 (ja) * 2004-09-07 2010-07-14 キヤノン株式会社 仮想現実感提示装置および情報処理方法
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
DE102004046430A1 (de) * 2004-09-24 2006-04-06 Siemens Ag System zur visuellen Situations-bedingten Echtzeit-basierten Unterstützung eines Chirurgen und Echtzeit-basierter Dokumentation und Archivierung der vom Chirurgen während der Operation visuell wahrgenommenen Unterstützungs-basierten Eindrücke
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
JP4137078B2 (ja) 2005-04-01 2008-08-20 キヤノン株式会社 複合現実感情報生成装置および方法
DE602005013752D1 (de) * 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
US20070065143A1 (en) * 2005-09-16 2007-03-22 Richard Didow Chroma-key event photography messaging
US20070064125A1 (en) * 2005-09-16 2007-03-22 Richard Didow Chroma-key event photography
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP4789745B2 (ja) * 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
EP1887526A1 (en) * 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP2008278103A (ja) * 2007-04-27 2008-11-13 Nippon Hoso Kyokai <Nhk> 映像合成装置及び映像合成プログラム
JP4909176B2 (ja) * 2007-05-23 2012-04-04 キヤノン株式会社 複合現実感提示装置及びその制御方法、コンピュータプログラム
US7724322B2 (en) * 2007-09-20 2010-05-25 Sharp Laboratories Of America, Inc. Virtual solar liquid crystal window
US9703369B1 (en) * 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
US8189035B2 (en) * 2008-03-28 2012-05-29 Sharp Laboratories Of America, Inc. Method and apparatus for rendering virtual see-through scenes on single or tiled displays
JP4725595B2 (ja) * 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
WO2010032079A2 (en) 2008-09-17 2010-03-25 Nokia Corp. User interface for augmented reality
US9204050B2 (en) 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
JP5168161B2 (ja) * 2009-01-16 2013-03-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5136442B2 (ja) * 2009-01-27 2013-02-06 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5201015B2 (ja) 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
KR20110006022A (ko) * 2009-07-13 2011-01-20 삼성전자주식회사 가상 오브젝트 기반의 이미지 처리 방법 및 장치
KR100957575B1 (ko) * 2009-10-01 2010-05-11 (주)올라웍스 단말기의 움직임 또는 자세에 기초하여 비주얼 서치를 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
JP2011118842A (ja) * 2009-12-07 2011-06-16 Canon Inc 情報処理装置、表示制御方法及びプログラム
US20110202603A1 (en) * 2010-02-12 2011-08-18 Nokia Corporation Method and apparatus for providing object based media mixing
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
JP5564300B2 (ja) * 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US9158777B2 (en) * 2010-03-30 2015-10-13 Gravity Jack, Inc. Augmented reality methods and apparatus
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
JP5211120B2 (ja) 2010-07-30 2013-06-12 株式会社東芝 情報表示装置及び情報表示方法
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
US8861797B2 (en) 2010-11-12 2014-10-14 At&T Intellectual Property I, L.P. Calibrating vision systems
JP5691632B2 (ja) * 2011-02-24 2015-04-01 株式会社大林組 画像合成方法
JP5776218B2 (ja) * 2011-02-24 2015-09-09 株式会社大林組 画像合成方法
US8601380B2 (en) * 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
US8558759B1 (en) 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
JP5683402B2 (ja) * 2011-07-29 2015-03-11 三菱電機株式会社 画像合成装置及び画像合成方法
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9052804B1 (en) 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US20130201178A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System and method providing a viewable three dimensional display cursor
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2013235080A (ja) * 2012-05-08 2013-11-21 Sony Corp 画像表示装置、画像表示プログラム及び画像表示方法
JP5687670B2 (ja) * 2012-08-31 2015-03-18 株式会社コナミデジタルエンタテインメント 表示制御システム、ゲームシステム、表示制御装置、及びプログラム
JP6007079B2 (ja) * 2012-11-22 2016-10-12 株式会社日立システムズ 仮想のぞき穴画像生成システム
US20140179369A1 (en) * 2012-12-20 2014-06-26 Nokia Corporation Apparatus and method for providing proximity-based zooming
TWI649675B (zh) 2013-03-28 2019-02-01 新力股份有限公司 Display device
WO2014185920A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Three dimensional user interface in augmented reality
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
DE112014006745T5 (de) 2014-06-13 2017-05-18 Mitsubishi Electric Corporation Informationsverarbeitungseinrichtung, Anzeigeeinrichtung für ein Bild mit Einblendungsinformationen, Marker-Anzeigeprogramm, Anzeigeprogramm für ein Bild mit Einblendungsinformationen, Marker-Anzeigeverfahren, und Anzeigeverfahren für ein Bild mit Einblendungsinformationen
JP6335696B2 (ja) * 2014-07-11 2018-05-30 三菱電機株式会社 入力装置
US9696551B2 (en) * 2014-08-13 2017-07-04 Beijing Lenovo Software Ltd. Information processing method and electronic device
JP6186457B2 (ja) * 2016-01-19 2017-08-23 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
JP6217772B2 (ja) * 2016-02-12 2017-10-25 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
JP6419278B1 (ja) * 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
TWI692968B (zh) * 2018-04-26 2020-05-01 財團法人工業技術研究院 三維建模裝置及應用於其之校準方法
JP6559870B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US11194438B2 (en) * 2019-05-09 2021-12-07 Microsoft Technology Licensing, Llc Capture indicator for a virtual world
JP7330507B2 (ja) * 2019-12-13 2023-08-22 株式会社Agama-X 情報処理装置、プログラム、及び、方法
EP4131923A4 (en) * 2020-03-30 2023-08-23 Sony Group Corporation IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
CN114885090A (zh) * 2021-04-27 2022-08-09 青岛海尔电冰箱有限公司 冰箱内图像获取方法、冰箱及计算机存储介质
CN114979487B (zh) * 2022-05-27 2024-06-18 联想(北京)有限公司 图像处理方法、装置及电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084557A (en) * 1997-05-23 2000-07-04 Minolta Co., Ltd. System for displaying combined imagery
US20010005218A1 (en) * 1998-09-04 2001-06-28 Sportvision, Inc. System for enhancing a video presentation of a live event

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2332547A1 (fr) * 1975-11-21 1977-06-17 Angenieux Pierre Variateur optique de grandissement d'image
DE69032645T2 (de) * 1990-04-02 1999-04-08 Koninkl Philips Electronics Nv Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
DE69533870T2 (de) * 1994-10-19 2005-05-25 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Bilddekodierung
JPH08265619A (ja) 1995-03-27 1996-10-11 Canon Inc ビデオカメラおよびレンズシステムのズーム方法
EP0772350A3 (en) 1995-10-30 1997-07-23 Photron Kk Inlay system and method for producing composite images
US6317128B1 (en) 1996-04-18 2001-11-13 Silicon Graphics, Inc. Graphical user interface with anti-interference outlines for enhanced variably-transparent applications
US6181302B1 (en) * 1996-04-24 2001-01-30 C. Macgill Lynde Marine navigation binoculars with virtual display superimposing real world image
US5790104A (en) * 1996-06-25 1998-08-04 International Business Machines Corporation Multiple, moveable, customizable virtual pointing devices
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP4251673B2 (ja) * 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP4453936B2 (ja) 1998-07-15 2010-04-21 信越石英株式会社 エキシマレーザー用光学部材の製造方法
JP4013100B2 (ja) 1998-09-21 2007-11-28 富士フイルム株式会社 電子カメラ
US7076737B2 (en) * 1998-12-18 2006-07-11 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7225229B1 (en) * 1998-12-18 2007-05-29 Tangis Corporation Automated pushing of computer user's context data to clients
US7046263B1 (en) * 1998-12-18 2006-05-16 Tangis Corporation Requesting computer user's context data
US6801223B1 (en) * 1998-12-18 2004-10-05 Tangis Corporation Managing interactions between computer users' context models
US7080322B2 (en) * 1998-12-18 2006-07-18 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7055101B2 (en) * 1998-12-18 2006-05-30 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7107539B2 (en) * 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US6791580B1 (en) * 1998-12-18 2004-09-14 Tangis Corporation Supplying notifications related to supply and consumption of user context data
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
JP3368226B2 (ja) 1999-03-26 2003-01-20 キヤノン株式会社 情報処理方法及び情報処理装置
WO2002015110A1 (en) * 1999-12-07 2002-02-21 Fraunhofer Crcg, Inc. Virtual showcases
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US6803928B2 (en) * 2000-06-06 2004-10-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Extended virtual table: an optical extension for table-like projection systems
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
JP3848092B2 (ja) 2001-03-13 2006-11-22 キヤノン株式会社 画像処理装置及び方法、並びにプログラム
JP2002362184A (ja) * 2001-06-11 2002-12-18 Honda Motor Co Ltd 車両用表示装置
US7206434B2 (en) * 2001-07-10 2007-04-17 Vistas Unlimited, Inc. Method and system for measurement of the duration an area is included in an image stream
JP3848130B2 (ja) 2001-10-31 2006-11-22 キヤノン株式会社 撮像装置、撮像装置と記録装置とを有するシステム及びその制御方法
JP3840091B2 (ja) 2001-10-31 2006-11-01 キヤノン株式会社 撮像装置、撮像装置と記録装置とを有するシステム及びその制御方法
JP3884942B2 (ja) 2001-10-31 2007-02-21 キヤノン株式会社 撮像装置、撮像装置と記録装置とを有するシステム及びその制御方法
US20040139156A1 (en) * 2001-12-21 2004-07-15 Matthews W. Donald Methods of providing direct technical support over networks
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US20040068758A1 (en) * 2002-10-02 2004-04-08 Mike Daily Dynamic video annotation
JP4134785B2 (ja) * 2003-03-28 2008-08-20 株式会社デンソー 表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084557A (en) * 1997-05-23 2000-07-04 Minolta Co., Ltd. System for displaying combined imagery
US20010005218A1 (en) * 1998-09-04 2001-06-28 Sportvision, Inc. System for enhancing a video presentation of a live event

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI647552B (zh) * 2017-03-23 2019-01-11 日商東芝三菱電機產業系統股份有限公司 鋼鐵廠之分析支援裝置

Also Published As

Publication number Publication date
EP1404126A2 (en) 2004-03-31
JP2004178554A (ja) 2004-06-24
US20040070611A1 (en) 2004-04-15
DE60313412T2 (de) 2008-01-17
CN1497504A (zh) 2004-05-19
US7487468B2 (en) 2009-02-03
DE60313412D1 (de) 2007-06-06
EP1404126B1 (en) 2007-04-25
JP4298407B2 (ja) 2009-07-22
EP1404126A3 (en) 2004-12-15

Similar Documents

Publication Publication Date Title
CN1324534C (zh) 视频图像合成设备及视频图像合成方法
CN1200246C (zh) 图像处理装置及其辅助装置提供方法
Santi et al. Augmented reality in industry 4.0 and future innovation programs
CN1320423C (zh) 图像显示装置和方法
JP5354842B2 (ja) 画像処理方法および画像処理装置
JP5983053B2 (ja) ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム
CN1293519C (zh) 用于处理信息的设备、方法和程序
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
KR102056193B1 (ko) 이동 단말기 및 그 제어 방법
WO2014128789A1 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
CN1503567A (zh) 图像处理方法及其装置
CN1875398A (zh) 图像显示装置及图像显示方法
CN101036110A (zh) 使用组、堆栈、和版本集显示数字图像
CN101067762A (zh) 信息处理设备及其控制方法和图像处理设备
CN103210424B (zh) 图像和标注的显示
JP7310123B2 (ja) 撮影装置及びプログラム
JP2005000631A (ja) 歯科口腔測色写真システム
Parsa et al. Current and future photography techniques in aesthetic surgery
US11676338B2 (en) Systems, methods and apparatus for calculating position and rotation from a manually set reference point in a spatial mesh
EP2107529A2 (en) Storage medium storing image conversion programm and image conversion apparatus
JP7533944B2 (ja) コンピュータプログラム、情報処理装置、情報処理システム及び拡張現実画像表示方法
JP5966657B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2014235561A (ja) 画像処理プログラム、画像処理装置および画像処理システム
JP2006018444A (ja) 画像処理システム及び付加情報指示装置
JP5910136B2 (ja) 画像出力装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070704

Termination date: 20190929