CN104285243A - 三维图像显示设备及其光标显示方法和计算机程序 - Google Patents

三维图像显示设备及其光标显示方法和计算机程序 Download PDF

Info

Publication number
CN104285243A
CN104285243A CN201380023659.2A CN201380023659A CN104285243A CN 104285243 A CN104285243 A CN 104285243A CN 201380023659 A CN201380023659 A CN 201380023659A CN 104285243 A CN104285243 A CN 104285243A
Authority
CN
China
Prior art keywords
cursor
image
eye
display
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380023659.2A
Other languages
English (en)
Inventor
三国伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Publication of CN104285243A publication Critical patent/CN104285243A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种三维图像显示设备，包括：光标描画控制单元，所述光标描画控制单元控制第一模式的光标描画和第二模式的光标描画，在所述第一模式下在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上不显示光标，在所述第二模式下通过使用针对左眼和右眼二者的图像的视差来将光标显示为具有深度；以及图像分析单元，所述图像分析单元在光标描画从所述第一模式切换到所述第二模式时，根据在针对所述一只眼的图像上光标指示的位置执行图像匹配，以在针对所述另一只眼的图像上搜索对应位置，并获得在针对所述另一只眼的图像上的光标显示位置。

Description

三维图像显示设备及其光标显示方法和计算机程序
技术领域
相关申请的引用
本申请基于2012年5月9日提交的日本专利申请No.2012-107594的优先权，并要求该专利申请的优先权权益，该申请的全部公开通过引用合并于此。
本发明涉及一种三维(3D)图像显示设备及其光标显示方法和计算机程序。具体地，本发明涉及一种3D显示设备，使用双眼视差来在伪3D显示空间中用光标指示操作目标对象。
背景技术
例如移动电话、智能电话和游戏机的移动设备采用通过使用双眼视差来显示3D图像的3D显示设备。当使用这些3D显示设备时，存在需要指示3D空间中的对象的情况。通常，可以通过在图像上移动例如光标或指针的位置标识标记，来指示3D空间中的对象。可以以多种方式来称呼这种在图像上使用箭头等来指示操作目标位置的位置标识标记，例如光标、指针等。在本描述中，这种位置标识标记被称作光标。即，在本描述中，将例如指针的位置标识标记统称为光标。
传统3D显示设备使用多种方法来在3D空间中指示对象。可以将这些方法分为两类。
第一类方法中，在3D空间中也将光标显示为具有深度。为了移动光标，除了在水平和垂直方向上进行二维控制，还准备了深度方向上的控制操作系统。这样，直接指示3D空间中的坐标。例如，专利文献1(PTL 1)中的图4公开了通过使用键和开关(更具体地，方向键32和Y轴交互转换开关31)，来在3D空间中移动指针(光标)。
第二类方法与在真实世界中用操作员的手指来指示对象基于相同的构思。由于手指较近且对象较远，当操作员聚焦于对象时，操作员看起来仿佛存在两个手指。然而，人左眼和右眼有区别地识别对象(下文将主要用于识别的眼睛称作主视眼)。因此，第二种方法中，当手指指向正确方向时，使用由主视眼观察到的手指的图像来确定对象。
PTL 2公开了用于提供自然的操作环境的3D对象操作方法。根据PTL 2，将主视眼(右眼或左眼)视线上的对象选择作为与光标相对应的对象。如PTL 2中的图5所公开，如果操作员仅用他/她的右眼进行观察，则操作员看起来是光标位置506与对象A的操作点502相重叠(501)。此外，如果操作员仅用他/她的左眼进行观察，则操作员看起来是光标位置506与对象B的操作点504相重叠(503)。PTL 2公开了操作员将该操作员的主视眼观察到的操作点选择作为操作员的所需操作点。例如，在PTL 2的图5的示例中，如果右眼是操作员的主视眼，则操作点502被选择作为操作员的所需操作点。如果左眼是主视限，则操作点504被选择作为操作员的所需操作点。
此外，PTL 3公开了通过调整左眼视点和右眼视点之间的距离和通过改变视线的深度，来调整所产生的图像的立体效果并改变对象空间的外观。
引用列表
专利文献
【PTL 1】
日本专利特开公报No.2011-153995A
【PTL 2】
日本专利特开公报No.2004-362218A
【PTL 3】
日本专利特开公报No.2003-107603A
发明内容
技术问题
通过本发明提供以下分析。当使用双眼视差在伪3D显示空间中用光标指示操作目标对象时，可以使用背景技术中所述的第一类方法。然而，由于3D显示设备仅执行伪3D空间显示(更具体地，由于无论对象远近，眼睛的聚焦位置不发生改变)，操作员无法在生理上充分地感到他/她正在观看3D图像，难以调整深度方向。
第二类方法中，也通过非主视眼来显示和观察光标。因此，由于操作员看到光标或对象的两个重复图像，难以执行位置调整操作。
鉴于以上情况提出了本发明，本发明的目的在于提供一种光标显示环境，能够实现在伪3D空间中容易进行位置调整并且是容易可见的。
解决问题的方案
根据本发明的第一方面，提供了一种使用双眼视差的三维图像显示设备，所述设备包括：光标描画控制单元，所述光标描画控制单元控制第一模式的光标描画和第二模式的光标描画，在所述第一模式下在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上不显示光标，在所述第二模式下通过使用针对左眼和右限二者的图像的视差来将光标显示为具有深度；以及图像分析单元，所述图像分析单元在光标描画从所述第一模式切换到所述第二模式时，根据在针对所述一只眼的图像上光标指示的位置执行图像匹配，以在针对所述另一只眼的图像上搜索对应位置，并获得在针对所述另一只眼的图像上的光标显示位置。
根据本发明的第二方面，提供了一种针对使用双眼视差的三维图像显示设备的光标显示方法，所述方法包括：当将光标描画从第一模式切换到第二模式时，在针对左眼和右眼中一只眼的图像上检测由光标指示的图像位置，其中在所述第一模式下在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上不显示光标，在所述第二模式下通过使用针对左眼和右眼二者的图像的视差来显示三维光标；通过执行图像匹配，在针对所述另一只眼的图像上搜索对应位置；以及根据搜索到的位置，在针对所述另一只眼的图像上显示光标。
所述方法与特定机器(即，使用双眼视差的三维图像显示设备)相关联。
根据本发明的第三方面，提供了一种计算机程序，引起使用双眼视差的三维图像显示设备的计算机执行光标显示处理，所述计算机程序执行：第一模式的显示处理，用于在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上隐藏光标；第二模式的显示处理，用于通过使用针对左眼和右眼二者的图像的视差来将光标显示为具有深度；以及用于执行以下操作的处理：在光标显示从所述第一模式切换为所述第二模式时，根据在针对所述一只眼的图像上光标指示的位置，执行图像匹配，以搜索在针对所述另一只眼的图像上的对应位置，获得在针对所述另一只眼的图像上的光标显示位置，并切换到在所述第二模式下进行显示。
所述计算机程序可以被记录在计算机可读存储介质中。所述存储介质可以是非暂时性的存储介质，例如，半导体存储器、硬盘、磁性记录介质或光学记录介质。可以将本发明实现为计算机程序产品。
发明的有益效果
根据本发明的每个方面，能够提供一种光标显示环境，能够实现在使用双眼视差的伪3D显示中容易进行位置调整并且是容易可见的。
附图说明
图1是示出了根据第一示例实施例的3D图像显示设备的总体配置的框图。
图2(a)示出了根据第一示例实施例的虚拟深度位置；图2(b)示出了根据第一示例实施例的实际显示屏幕；且图2(c)示出了根据PTL 2的实际显示屏幕。
图3示出了根据第一示例实施例，当移动光标时3D图像显示设备执行的操作。
图4示出了根据第一示例实施例，当停止光标时3D图像显示设备执行的操作。
图5示出了根据第一示例实施例，当描画3D光标时3D图像显示设备执行的操作。
图6是示出了根据第一示例实施例的处理的流程图。
图7示出了根据第一示例实施例的用于计算3D坐标的方法。
图8示出了根据第二示例实施例的操作。
图9是示出了根据第二示例实施例的处理的流程图。
图10示出了根据第三示例实施例的对光标方向的指示。
图11示出了根据第三示例实施例的通过指示位置和方向来提取搜索图像。
图12是示出了根据第三示例实施例的整体处理的流程图。
图13是示出了根据第三示例实施例的光标描画处理的流程图。
具体实施方式
将描述对本发明示例实施例的概述。仅将以下概述中的参考符号用作用于容易理解本发明的示例，而不是要将本发明限制于所述模式。
如图1所示，根据本申请所公开的示例实施例的3D图像显示设备(10)包括：光标描画控制单元(20)，控制第一模式的光标描画和第二模式的光标描画，在所述第一模式下在针对左眼和右眼之一的图像上显示光标，在针对另一只眼的图像上不显示光标，在所述第二模式下通过使用针对左眼和右眼二者的图像的视差来将光标显示为具有深度。
例如，在第一模式下，仅针对主视眼显示光标，在第二模式下，光标被显示在与该光标指示的对象的深度相匹配的位置处。因此，在任一模式下都不会出现两个光标图像。
根据示例实施例的3D图像显示设备(10)还包括图像分析单元(30)，当光标描画从第一模式切换到第二模式时，根据在针对一只眼的图像上光标指示的位置执行图像匹配，以在针对另一只眼的图像上搜索对应位置，并获得在针对所述另一只眼的图像上的光标显示位置。
由于通过在左眼图像和右眼图像之间执行匹配，来获得在不显示光标的图像上的光标显示位置，因此可以相对容易地显示深度与由光标指示的对象的深度相匹配的光标。例如，当操作员移动光标时，在第一模式下显示光标。在确定光标的位置之后，在第二模式下显示光标。这样，能够提供一种光标显示环境，支持在使用双眼视差的伪3D显示中进行容易的位置调整并且是容易可见的。
下文中，将更详细地描述根据示例实施例的光标显示示例。图2(a)示出了在根据示例实施例的光标显示中的虚拟深度位置，图2(b)示出了实际显示屏幕。
在图2(a)中，在将图像实际显示在显示表面505期间，右眼观看到从右眼投影中心508观看的图像，左眼观看到从左眼投影中心507观看的图像。即，左眼和右眼从它们各自的视点观看图像。当操作员用左眼和右眼二者观看对象B(503)和对象A(501)时，由于双眼视差，操作员看起来是对象B(503)远离显示表面505，且对象A(501)离对象B(503)更远。
在根据示例实施例的第一模式下，在针对左眼和右眼之一的图像上显示光标，且在针对另一只眼的图像上不显示光标。可以将主视眼选择作为对其显示光标的眼睛。例如，如果主视眼是左眼，则将光标506L显示在左眼图像上，且不将光标506R显示在右眼图像上。即，如果操作员仅用他/她的左眼观看该图像，则除了对象A和B之外，操作员还可以看到光标506L指示对象B的操作点502。然而，如果在操作员可以观看到对象A和B的期间，该操作员只用他/她的右眼观看该图像，则操作员无法看到光标506R。因此，如果操作员用他/她的左眼和右眼二者观看该图像，则操作员可以看到光标506L指示对象B的操作点502。在第一模式下，由于光标仅显示在针对一只眼的图像上，操作员无法感觉到光标具有深度。然而，左眼和右眼不会观看到位于不同位置处的两个光标。
接下来，在根据示例实施例的第二模式下，光标506L显示在左眼图像上，且光标506R显示在右眼图像上。即，由于双眼视差，操作员看起来是光标506L和光标506R位于由光标指示的对象B的操作点502处。由于光标指示的对象B的深度与光标506L和506R的深度相匹配，所以当操作员用双眼聚焦在光标上时，操作员不会观看到对象B在背景上的两个重复的(或重叠的)图像。此外，当操作员用双眼聚焦在对象B上时，操作员不会观看到重复的(或重叠的)两个光标图像。
即，如图2(b)所示，在第一或第二模式下，操作员看起来均是光标正指示对象B的操作点502，且任何其他地方都不存在重复的其它光标图像。具体地，当操作员移动光标时，可以在第一模式下显示光标，当操作员不移动光标时，可以在第二模式下显示光标。
为了进行比较，图2(c)示出了在PTL 2的图5中的实际显示屏幕。即，在PTL 2的示例中，当操作员仅用他/她的左眼观看图像时，操作员看起来是光标506L的头部(尖端)指示对象B的操作点504。相反，当操作员仅用他/她的右眼观看图像时，操作员看起来是光标506R的头部(尖端)指示对象A的操作点502。PTL 2公开了将针对操作员主视眼(左眼或右眼)的光标位置选择作为操作员的所需操作点。即，由于存在两个操作点502和504(即，光标头部(尖端)呈现为重叠的位置)，如果操作员聚焦在背景中的对象上，则操作员看起来是两个光标图像显示为相重叠。如果操作员聚焦于光标上，则操作员看起来是两个背景图像显示为相重叠。因此，即使操作员将针对主视眼的光标的位置选择作为操作员的所需操作点，然而可设想的是无法容易地执行位置调整，并且光标可容易观看的。
相反，根据本申请所公开的示例实施例，在第一或第二模式下，都仅存在一个操作点502(光标头部呈现为相重叠的位置)。因此，由于操作员不会观看到两个光标或背景图像，可以提供支持容易的位置调整和可容易观看的光标显示环境。
即，根据示例实施例，由于针对操作员聚焦的对象仅显示一个光标，操作员可以容易地执行操作。此外，如下文所述，由于通过根据图像特征执行搜索来显示具有匹配深度的光标，所以光标的空间位置位于图2(a)的点502处。即，可以即刻在视觉上查看空间位置。此外，由于唯一地确定了空间坐标，所以还可以得到实际空间中的3D坐标。
下文中，将参考附图更详细地描述实现上述光标显示的具体示例实施例。
【第一示例实施例】
图1(a)是示出了根据第一示例实施例的3D图像显示设备的整体配置的框图。将参考图1(a)描述根据第一示例实施例的3D图像显示设备10的配置。尽管图1将3D图像显示设备10示出为便携式终端设备，然而3D图像显示设备10不限于便携式终端设备。即，可以将任意设备用作3D图像显示设备10，只要该设备可以通过使用双眼视差来显示伪3D图像。3D图像显示设备10包括两个摄像机，左摄像机单元50L和右摄像机单元50R。左右摄像机单元50L和50R是分别用于捕获左眼图像和右眼图像的摄像机。左摄像机单元50L与左图像存储器40L相连，右摄像机单元50R与右图像存储器40R相连。通过左摄像机单元50L捕获到的图像被存储在左图像存储器40L，通过右摄像机单元50R捕获到的图像被存储在右图像存储器40R。
此外，可以通过光标描画控制单元20来向图像存储器40L和40R进行写入。通过在图像上写入光标形状数据，可以将光标叠加在该图像上。向3D显示控制单元80传输存储在左图像存储器40L和右图像存储器40中的图像数据，3D显示控制单元在3D显示单元90上显示伪3D图像。用户可以将显示在3D显示单元90上的图像视为3D图像。
光标描画控制单元20与左图像存储器40L和右图像存储器40R相连，并控制对于左图像存储器40L和右图像存储器40R的光标描画。光标描画控制单元20包括光标坐标存储器21、光标形状存储器22、主视眼设置存储器23和移动标志24。如图1(c)所示，光标坐标存储器21存储在左图像存储器40L中描画的光标的X坐标和Y坐标，并存储在右图像存储器40R中描画的光标的X坐标和Y坐标。光标形状存储器22存储要描画的光标的形状。主视眼设置存储器23存储对将左眼或右眼用作主视眼加以指示的信息。移动标志24存储指示光标是否正在移动的信息。
当光标描画从仅在左眼图像或右眼图像上显示光标的第一模式切换为在左眼图像和右眼图像中的每个图像上均显示光标的第二模式时，图像分析单元30根据在光标显示图像上由光标指示的位置，来执行图像匹配，以搜索在无光标显示图像上的对应位置，并获得在无光标显示图像上的光标显示位置。图像分析单元30包括搜索图像存储器31和匹配图像搜索单元32。图像分析单元30与左图像存储器40L和右图像存储器40R相连。图像分析单元30可以提取在左图像存储器40L或右图像存储器40R中的图像的一部分，并将所提取的部分存储在搜索图像存储器31中。图像分析单元30可以访问整个图像存储器40L或40R，搜索与存储在搜索图像存储器31中的图像相似的图像所在的位置。即，搜索图像存储器31存储包括与根据左图像存储器40L或右图像存储器40R显示的光标相关的部分在内的图像，匹配图像搜索单元32可以搜索没有显示光标的图像存储器以寻找存在相似图像的位置。
由于与图像压缩或多种类型的图像处理相关的现有技术可以用于这种搜索，所以省略对搜索的详细描述。具体地，已经研发了使用硬件来高速执行这种处理的装置。因此，可以高速执行搜索处理。
主控制单元60包括存储器61，存储用于控制光标描画控制单元20和图像分析单元30的程序和控制数据，所述存储器61用作工作数据存储器。操作单元70接收来自用户的操作。主控制单元60可以根据从操作单元70接收的输入来控制整个3D图像显示设备10。
此外，如图1(b)所示，图1(a)的左图像存储器40L和右图像存储器40R中的每个图像存储器可以具有双缓冲器配置，包括摄像机数据缓冲器41以及处理与描画数据缓冲器42。摄像机数据缓冲器41存储从对应摄像机传送的数据，处理与描画数据缓冲器42执行写入处理。更具体地，在对所传送的数据进行拷贝之后，处理与描画数据缓冲器42在该拷贝上描画并叠加光标图像等。在这种情况下，由于可以在来自对应摄像机的图像是静态的情况下执行光标操作，可以改善使用性。
接下来，将参考图3到6来描述根据第一示例实施例的3D图像显示设备10的基本操作。图3示出了第一模式下(例如，当用户正在执行指示光标位置的操作且光标正在移动时)的操作。图4示出了当例如在结束移动光标之后，模式从第一模式切换到第二模式时执行的操作。图5示出了在第二模式下显示具有深度的3D光标的操作。图6是示出了图3到5中的处理的流程图。
首先，参考图3描述当用户正在执行指示光标位置的操作并且光标正在移动时执行的操作(第一模式)。在图3中，通过粗线条指示了在光标正在移动时主要进行操作的组块以及当主视眼是左眼时用于主要控制的信号线。相反，通过虚线指示了在这种情况下很少用于控制的信号线。当光标正在移动时，移动标志24被设置为开。当移动标志24是开时，光标描画控制单元20将光标形状存储器22的数据写入通过主视眼设置存储器23设置的左图像存储器40L或右图像存储器40R。由于图3示出了将左眼设置在主视眼设置存储器23中的情况，光标描画控制单元20将光标符号仅写入左图像存储器40L。光标描画控制单元20不将光标符号写入右图像存储器40R。在光标坐标存储器21中，仅使用左描画坐标。主控制单元60根据来自操作单元70的指令更新左描画坐标的值。这样，尽管用户正在指示(移动)光标的位置，但是仅在针对主视眼的图像上显示光标。
如图6(a)的流程图所示，当移动光标时，在步骤S1，将移动标志24(参照图1或3)设置为开。接下来，重复步骤S2到S5的循环处理。当用户例如通过用指点设备指示并描画光标来开始移动该光标时，开始从步骤S1到S5的处理。
在图6(a)的步骤S2中，执行光标描画处理(M1)。图6(b)示出了在光标描画处理(M1)中的详细步骤。在光标描画处理(M1)中，如果在主视眼设置存储器23中将左眼设置为主视眼(步骤S11中，是)，则执行步骤S12到S14。首先，向左图像存储器40L设置光标符号的目的地(步骤S12)。接下来，将目的地坐标位置设置为光标坐标存储器21中的左描画坐标(参照图1(c))(步骤S13)。接下来，根据在步骤S12和S13进行的设置，将光标形状存储器22中的描画数据传送到左图像存储器40L(步骤S14)。由于移动标志24是开(步骤S15中，是)，结束光标描画过程(M1)。
如果在主视眼设置存储器23中将右眼设置为主视眼(步骤S11中，否)，则操作进行到步骤S16。由于移动标志24是开(步骤S16中，是)，执行步骤S17到S19。从步骤S17到S19的处理与从步骤S12到S14的处理相同，除了将右图像存储器40R用于代替左图像存储器40L，并且在光标坐标存储器21中将目的地坐标位置从左描画坐标改变为右描画坐标。即，如果移动标志24是开，则根据主视眼设置存储器的内容，仅在左图像存储器和右图像存储器之一上执行光标描画。在另一图像存储器上不执行光标描画。
将参考图6(a)进一步描述当光标正在移动时执行的处理。如果结束了步骤S2中的光标描画处理(M1)，则主控单元60等待来自操作单元70的输入，以确定用户是否指示光标的移动或用户是否确定光标的位置。如果主控单元60从操作单元70接收到对光标的移动位置加以指示的输入或确定光标位置的输入，则操作进行到步骤S4。在步骤S4，确定来自操作单元70的输入是否是确定光标位置的输入。如果该输入用于对光标的移动加以指示(步骤S4中，否)，则操作进行到步骤S5。在步骤S5，根据来自操作单元70的输入，更新在光标坐标存储器21中的主视眼侧坐标值。接下来，操作返回到在步骤S2的光标描画处理(M1)。如果步骤S4的确定结果是将来自操作单元70的输入确定为用于确定光标位置的输入，则结束光标移动处理。接下来，操作进行到用于将光标显示从单眼显示(模式1)切换到双眼显示(模式2)的处理。
图4(a)示出了当3D图像显示设备10将光标显示从单眼显示(模式1)切换到双眼显示(模式2)时执行的操作。即，图4(a)示出了用于在用户停止光标移动之后(例如，在用户释放用于移动光标的指点设备之后)显示3D光标的准备阶段中每个组块的操作。在图4(a)中，通过粗线条指示了在显示3D光标的准备状态下主要进行操作的组块和用于主要控制的信号线。此外，通过虚线指示了在这种情况下很少用于进行控制的信号线。此外，图4(b)特别关注于左右图像存储器40L和40R的分别操作以及图像分析单元30的操作。
在该阶段中，首先，主控单元60控制图像分析单元30和光标描画控制单元20，使得从光标坐标存储器21向图像分析单元30传送与设置在主视眼设置存储器23中的眼睛(即，针对该眼睛，直到当前不断更新了坐标)相对应的光标坐标(光标头部显示所在的坐标)。此外，向图像分析单元30中的搜索图像存储器31传送坐标位置周围的图像。如图4(b)所示，将左图像存储器40L中位于光标头部位置周围的图像传送到搜索图像存储器31。
接下来，启动匹配图像搜索单元32。匹配图像搜索单元32将搜索图像存储器31中的图像与右图像存储器40R中的内容进行比较。匹配图像搜索单元32在右图像存储器40R中搜索与搜索图像存储器31中的图像相似的图像。在图4B中，找到了矩形环绕的部分。关于该部分，左侧椭圆形501和右侧椭圆形503的位置在左眼和右眼之间不同。尽管左侧椭圆部分501的密度与搜索图像存储器31中的内容不同，然而由于占据大部分图像的右侧椭圆部分503的密度完全匹配，所以找到该部分作为搜索结果。由于搜索结果的中心坐标与左图像存储器40L中的光标头部相对应，主控单元60将这些坐标设置为光标坐标存储器21中的右描画坐标。
用于将光标显示从单眼显示(模式1)切换到双眼显示(模式2)的处理与图6(a)流程图中的步骤S6到S10相对应。首先，主控单元60将移动标志24设置为关，作为针对显示3D光标的准备(步骤S6)。接下来，提取在与直到当前不断更新的图像存储器(左图像存储器40L或右图像存储器40R)相对应的光标的位置周围的图像，并向搜索图像存储器31传送所述图像(步骤S7)。接下来，引起匹配图像搜索单元32执行搜索(步骤S8)。接下来，根据搜索结果，在光标坐标存储器21中将坐标值设置为针对非主视眼的光标坐标(步骤S9)。这样，将左右描画坐标设置在光标坐标存储器21中。接下来，根据坐标值，执行光标描画处理(M1)(步骤S10)。在步骤S10的光标描画处理(M1)中，移动标志24设置为关，而不是开。因此，无论主视眼设置如何，光标形状存储器中的描画数据传送到左图像存储器和右图像存储器二者中，在左右眼图像中的每个图像上描画光标(在图6(a)中，执行步骤S12到S14以及S17到S19)。在该光标描画中，当在左右眼图像中的每个图像上描画光标时，由于描画的光标的位置在左右眼图像之间不同，用户可以将光标视为与所示深度相匹配的图像。
图5(a)示出了当3D图像显示设备10在左右眼图像中的每个图像上显示具有深度的3D光标时执行的整体操作。图5(b)示出了当显示3D光标时左图像存储器40L和右图像存储器40R中的图像数据。如图5(a)所示，根据光标坐标存储器21中的内容，将光标形状存储器22中的内容传送到左右图像存储器40L和40R。如图5(b)所示，所显示的光标的坐标在左右图像存储器40L和40R之间是不同的。然而，如果将左右椭圆形503看作参考，则将光标显示在左右图像存储器40L和40R之间的相同位置处。因此，用户可以在深度与通过光标指示的对象503的深度相匹配的位置处看到3D光标。
如上所述，根据第一示例实施例的3D图像显示设备可以描画深度与由光标指示的对象的深度相匹配的光标，而无需计算该光标的3D坐标。因此，3D图像显示设备需要简单处理，并可以执行高速操作。尽管在该阶段没有保持光标的空间坐标，但是由于已确定左右图像的显示位置，可以后向计算3D坐标。
图7示出了根据第一示例实施例的用于计算3D坐标的方法。图7示出了与已经描述的图2(a)和2(b)所示情况相同的情况。即，图7(a)和7(b)与图2(a)和2(b)相同。图7(d)示出了3D坐标系，其中向摄像机101的垂直方向102、水平方向103和深度方向104中的每个方向给予坐标轴。图7(c)是示出了从上方观看到的沿水平和深度方向延伸的平面的图(即，图7(c)是平面图)。由于摄像机的镜头和图像传感器固定安装在装置上，所以视角(＝2α)是固定值。由于与视角相对应的点数(＝2w)也是取决于装置的显示系统的固定值，所以可以根据来自中心的点数，计算左图像上的光标位置(操作点)502与对应镜头的正面形成的角度θ。这同样适用于右侧。此外，两个镜头(507，508)之间的距离D是对于该装置而言唯一的、已知的且固定的值。因此，由于确定了一侧以及由该侧的两端形成的角度，所以唯一性地确定了由光标位置502和两个镜头(507，508)形成的三角形。根据装置的长度D，获得实际环境中到光标位置502的距离L，确定深度方向的坐标值。如果确定了距离L，则可以后向计算出实际环境中到点X的距离，可以将该距离用于水平方向的坐标。此外，通过使用实际环境中点和距离之间的比例常数，还确定垂直方向的坐标。因此，确定了3D空间中的坐标。这样，根据本发明示例实施例的3D图像显示设备描画深度方向相匹配的坐标，而无需计算3D坐标。这不意味着无法得到3D空间中的坐标。可以将本发明用作3D空间中的测量方法。
如上所述，当用户移动光标时，根据第一示例实施例的3D图像显示设备针对目标对象仅显示一个光标。因此，可以执行简单的并且容易的操作。此外，由于可以将光标显示在针对用户主视眼的图像上，可以提供引起较少负担的操作系统。此外，在用户结束移动操作之后，3D图像显示设备自动执行根据图像特征的搜索，在针对另一只眼的图像上搜索对应位置，并在针对所述另一只眼的图像上显示光标。因此，尽管3D图像显示设备需要光处理负荷，然而用户可以容易地指示具有匹配深度的光标位置，可以在视觉上检查空间位置。
此外，可以通过使用这一系列操作的结果，来获得3D空间坐标。因此，有可能提供一种能够仅通过指示在二维空间中的位置，来在3D空间中指示坐标的装置。如果将所述装置用于测量装置等，则由于可以省略一个维度的输入操作，能够提高装置的操作性。
【第二示例实施例】
图8示出了根据第二示例实施例的3D图像显示设备。根据第二示例实施例的3D图像显示设备的整体配置与根据如图1(b)所述的第一示例实施例的3D图像显示设备10的整体配置相似。然而，如图8(a)所示，根据第二示例实施例的3D图像显示设备与根据第一示例实施例的3D图像显示设备的不同之处在于：将多个光标的坐标存储在光标坐标存储器21，通过使用这多个光标来指示多个位置。下文中，将描述根据第一示例实施例的3D图像显示设备和根据第二示例实施例的3D图像显示设备之间的不同点。将省略对与根据第一示例实施例相同的配置和操作的描述。
如图8(a)所示，在根据第二示例实施例的3D图像显示设备中，扩展光标坐标存储器21，使得可以同时操作并显示两个光标。在用户执行指示夹在两个光标之间的区域的操作这一假设下，配置了该装置。如图8(a)所示，坐标系1指示左侧光标506-1的描画位置，坐标系2指示右侧光标506-2的描画位置。此外，由于对于光标506-1和光标506-2中的每个光标，需要左图像存储器中的描画位置和右图像存储器中的描画位置，光标坐标存储器21存储光标描画坐标的总共四个点。
与根据第一示例实施例的3D图像显示设备不同，当获取在光标位置周围的搜索图像时，根据第二示例实施例的3D图像显示设备不传送图像存储器中的光标头部的位置周围的图像，而传送在光标头部前的图像。这种操作是可能的，因为存在以下特性：当通过两个光标指示区域时，目标位置存在于夹在两个光标之间的区域中。在第二示例实施例中，将这种特性用于提取搜索图像。
即，除了提取在由光标指示的位置附近的图像之外，根据第二示例实施例的3D图像显示设备还从由多个光标指示的区域内的图像中，提取由光标指示的位置附近的图像。
图8(b)和8(c)是用于进行比较的图。图8(b)和8(c)示出了简单提取由光标指示的位置附近的图像的情况。主视眼是左眼，在图8B的左图像存储器40L中，如图8(a)的图像存储器40内的光标506-1和506-2所示，定位了光标，所述光标指示对象B(503)的左端和右端。在图8(b)中，通过附图标记111L和112L来表示从左图像存储器40L提取到搜索图像存储器31的图像。附图标记111L表示在光标506-1头部附近的图像，附图标记112L表示在光标506-2头部附近的图像。在图8(c)中，通过附图标记111R和112R来分别表示与图像111L和112L中的区域相对应的右图像存储器40R内的图像。如图8(b)的图像111L的放大视图所示，对象A(501)的区域A在所提取的图像111L中较大。当光标506-1指示对象B(503)的左端时，由于对象A(501)的区域A在所提取的图像111L中较大，所以区域B的面积较小，所述区域B是在搜索期间预期完全匹配的右侧椭圆部分(对象B(503))。这意味着搜索图像包括许多噪声分量。
图8(d)和8(e)示出了除了提取由光标指示的位置附近的图像之外，根据第二示例实施例的3D图像显示设备还从在由多个光标指示的区域内的图像提取由这些光标指示的位置附近的图像的情况。在图8(d)中，通过附图标记121L和122L来表示从左图像存储器40L提取到搜索图像存储器31的图像。在图8(e)中，通过附图标记121R和122R来分别表示与图像121L和122L相对应的右图像存储器40R内的图像。图8(d)示出了图像121L的放大视图。如图像121L的放大视图所示，引起较大误差的对象A较小，而区域B较大，以便提取在光标头部前方的区域。可以通过所提取区域中的这种差别来改善搜索的准确度。
图9是示出了根据第二示例实施例的操作的流程图。在第二示例实施例中，执行光标对描画处理(M2)，作为光标描画处理。图9(b)所示的流程图所示，3D图像显示设备被配置为当交换坐标1和坐标2时调用光标描画处理(参照图6(b))。因此，在移动光标期间，无论用户是否在操作光标中的任何一个，用户不会看到两个光标图像，并可以容易地执行操作。此外，在确定光标的位置之后，针对两个光标中的每个光标执行搜索处理，提取鉴于每个光标方向而获得的坐标，并将坐标传送到搜索图像。因此，可以针对所需使用来准确地执行搜索。
更详细地描述了图9的流程图。如图9(a)所示，当移动光标506-1或506-2(参照图8(a))时，在步骤21将移动标志24设置为开。接下来，重复步骤S22到S25的循环处理。在步骤S22，执行光标对描画处理(M2)。图9(b)示出了光标对描画处理(M2)的具体步骤。在步骤S41，在存储于光标坐标存储器21中的针对光标506-1的坐标和针对光标506-2的坐标之间，可以进行设置，以便使用作为针对光标506-1的坐标系的坐标1。接下来，在步骤S42，执行光标描画处理(M1)。已参考图6(b)描述了光标描画处理(M1)。接下来，在步骤S43，进行设置，以便使用作为针对光标506-2的坐标系的坐标2。接下来，在步骤S44，再次执行光标描画处理(M1)。即，在光标对描画处理(M2)中，在步骤S42和S44，针对两个光标执行光标描画处理(M1)。
进一步描述图9(a)的流程图。在步骤S23中，3D图像显示设备等待来自操作单元70的用于指示光标移动的用户输入或用于确定光标位置的用户输入。如果3D图像显示设备从操作单元70接收到用于指示光标移动的输入或用于确定位置的输入，则操作进行到步骤S24。如果3D图像显示设备没有接收到用于确定位置的输入(如果3D图像显示设备接收到用于指示移动位置的输入)，则操作进行到步骤S25。在步骤S25，在存储于光标坐标存储器21中的两个光标的坐标之间，更新正在移动的光标的坐标值。尽管正在移动的光标的坐标值包括左描画坐标和右描画坐标，但是更新与主视眼相对应的坐标值。接下来，操作返回到步骤S22，重复相同处理。
在步骤S24，如果3D图像显示设备接收到用于确定位置的输入，则操作进行到从步骤S26到S33的处理。在步骤S26中，将移动标志24设置为关。接下来，提取并传送在坐标1右侧(沿坐标2的方向)附近的坐标，作为搜索图像存储器31中的搜索图像(步骤S27)，其中坐标1是针对光标506-1的坐标(参照图8(a))。接下来，引起匹配图像搜索单元32操作并执行搜索(步骤S28)。接下来，根据搜索结果，在与光标坐标存储器21中的光标坐标1相对应地设置在非主视眼图像上的坐标值(步骤S29)。接下来，提取并传送在坐标2左侧(沿坐标1的方向)附近的坐标，作为搜索图像存储器31中的搜索图像(步骤S23)，其中坐标2是针对光标506-2的坐标。接下来，搜索匹配图像(步骤S31)。接下来，在与光标坐标2相对应地设置在非主视眼图像上的坐标值(步骤S32)。最后，在步骤S33中，执行光标对描画处理(M2)。这样，结束位置指示操作。
【第三示例实施例】
在第二示例实施例中，通过使用目标部分存在于两个光标内部(夹在两个光标之间的区域内)的特性，改善了准确度。在第三示例实施例中，即使在仅使用一个光标的情况下，仍可应用用于改善准确度的机制。第三示例实施例的特征在于光标可以指示方向。
图10示出了根据第三示例实施例的3D图像显示设备的特性及其光标指示操作和处理。根据第三示例实施例的3D图像显示设备的整体配置与根据如图1(a)所述的第一示例实施例的3D图像显示设备10的整体配置相似。然而，如图10(b)所示，根据第三示例实施例的3D图像显示设备的不同之处在于：光标坐标存储器21存储描画起始坐标和描画结束坐标，以便指示光标方向。
接下来，参考图10(a)和10(c)描述了根据第三示例实施例的光标指示操作。在图10(a)中，当前正在操作的光标存在于阴影位置120处。当指示更新的光标位置时，用户在A点开始拖曳操作以指示方向，并在B点结束拖曳操作以指示更新后的位置。在这种情况下，将A点设置为光标坐标存储器中的左描画开始坐标(如果主视眼是左眼)，将B点设置为左描画结束坐标。当描画光标时，该结束点与光标头部相对应。因此，描画与图10(c)所示的起始点相符的光标。该指示方法仅是一个示例。备选地，用户可以通过指示头部坐标并且通过凭借轻弹操作(用户首先用他/她的手指等指向光标头部的坐标，并快速移动和释放该手指的操作)指示方向，来输入光标头部和方向。通过示出了以上输入方法来进行以下描述，在所述方法中通过拖曳操作的起始点和结束点来指示方向。
如第二示例实施例所示，在第三示例实施例中，当获取光标部分周围的搜索图像时，不单单将图像存储器中的光标头部位置周围的图像传送到搜索图像存储器31。提取在光标头部前的图像并将其传送到搜索图像存储器31。然而，与第二示例实施例不同，由于方向是任意地，如图11所示，要提取的图像的位置根据光标的方向而不同。图11示出了八个方向。然而，实践中，可以例如通过确定光标头部与四边中的至少一个相接触且中心坐标位于沿光标方向延伸的线条上这一规则，并且通过执行计算，来执行针对任意方向的处理。根据这种提取方法，与第二示例实施例相同，可以获得具有较少噪声分量的图像，作为搜索源。因此，可以改善针对非主视眼搜索图像的准确度。
接下来，将参考流程图描述根据第三示例实施例的处理。图12是示出了根据第三示例实施例的整体位置指示操作的流程图。第三示例实施例与第一示例实施例的不同之处在于用于提取搜索图像的处理。此外，在第三示例实施例中，当根据搜索结果在针对非主视眼的图像上设置光标坐标时，考虑到方向对得到的坐标执行偏移。此外，为了考虑到光标描画处理的方向来描画光标，添加了用于产生光标图像数据的处理。
首先，在图12中，在确定位置之后，在步骤S57，提取并传送位于光标结束位置的延长线附近的图像，作为搜索图像。所述操作是图11所示的操作。根据该图像执行搜索，所获得的坐标是在针对非主视眼的图像上在光标结束位置的延长线附近的图像坐标。因此，执行与图11所示的偏移相反的偏移，将所获得的坐标设置为在光标头部的坐标。在坐标存储器中将该坐标设置为结束点。此外，可以通过在主视眼图像上获得与从结束点到起始点的线条相平行的线条，并通过将在针对非主视眼的图像上的这些起始点与结束点之间的距离设置为与在针对主视眼的图像上的起始点和结束点之间的距离相同，来设置起始点的坐标(步骤S59)。这样，当针对非主视限显示光标时，3D图像显示设备可以显示不仅深度与该图像的深度相匹配而且箭头形状与在针对主视眼的图像上的光标箭头形状相同的光标。图13(a)示出了在图12的步骤S52和S60中执行的光标描画处理(M3)的详情。在根据第一示例实施例的光标描画处理(M1；参照图6(a))中，在步骤S19仅传送光标形状存储器中的描画数据。然而，在根据第三示例实施例的光标描画处理(M33)中，将该步骤扩展为步骤S69的光标产生与传送处理(M4)。图13(b)示出了该处理的详情。在图13(b)的光标产生与传送处理(M4)中，首先，根据方向来产生光标图像图案(步骤S71到S73)。通过使用主控单元60中的存储器61来执行所述产生。传送光标形状存储器22中的内容(步骤S71)，根据起始坐标和结束坐标来执行图像处理以便旋转该数据(步骤S72和S73)。此外，由于当描画光标时旋转了头部的坐标，所以计算并传送用于校正所述旋转的校正值(步骤S74和S75)。这样，描画了头部在所示坐标处并具有所示旋转角度的光标。
根据第三示例实施例，当搜索针对非主视眼的图像时，3D图像显示设备可以使用具有较少噪声分量的图像。因此，可以改善搜索准确度。此外，由于可以设置任意方向并且光标显示方向与所设方向相匹配，有利的是可以准确地指示屏幕上的对象，并可以提高用于指示光标的方法的自由度。
图1所示的3D图像显示设备的配置是本公开所公开的3D图像显示设备的适合示例。可以使用任意配置。例如，3D图像显示设备不必包括例如左摄像机单元50L和右摄像机单元50R的摄像机。可将本公开应用于从外部接收伪3D图像或显示通过动画创建的伪3D图像的设备。此外，可以通过图像分析单元30或光标描画控制单元20执行通过主控单元60执行的部分处理或所有处理。备选地，可以通过主控单元60来执行由图像分析单元30和光标描画控制单元20执行的部分处理或所有处理。即，只要有通过使用某些硬件和/或软件来执行图像分析单元30、光标描画控制单元20和主控单元60的功能的装置，就可应用本发明。
根据第一到第三示例实施例中任何一个的3D图像显示设备不仅可应用于一般图像显示设备，而且可应用于移动电话、智能电话和可以显示3D图像的其他设备(例如，游戏机、平板PC(个人计算机)、膝上型PC、或PDA(个人数据助手：移动信息终端))。此外，3D图像显示设备可以用于指示在创建3D图像的CAD设备、远程手术设备以及远程诊断和治疗设备上的3D图像中的位置。即，可将本公开应用于通过使用光标(例如指针等位置指示标记的通用名称)来指示位置并通过使用双眼视差来显示伪3D图像的任意设备。
此外，尽管在每个示例实施例中每个光标具有箭头形状，但是每个光标可以具有任意形状，只要每个光标时可以指示屏幕上的位置(方向)的符号。例如，如果如第一和第二示例实施例那样固定了光标的方向，则在仅针对一只眼显示光标的第一模式下，可以将光标的位置显示在两条直线(一条是水平线，另一条是垂直线)的相交位置处，这些直线平行于显示表面并彼此垂直。在将3D光标显示为具有深度的第二模式下，可以将指示位置的光标显示在三条直线(一条是水平线、一条是垂直线、另一条是与显示表面相垂直并沿深度方向的线条)的相交位置处，这三条直线彼此垂直。
此外，当然可以将任意装置(例如，鼠标、轨迹球、键、开关或触摸面板)用作光标位置(方向)指示装置。
在示例实施例中，当移动光标时，使用针对一只眼显示光标的第一模式，当确定光标的位置时，使用显示3D光标的第二模式。然而，可以通过任意操作或在任意时间来执行在第一模式和第二模式之间的切换。根据上述示例实施例中的每个示例实施例，当光标显示从第一模式切换到第二模式时，执行图像匹配以在没有显示光标的图像上确定光标显示位置。因此，可以容易地将光标显示从第一模式(针对一只眼显示光标)切换到第二模式(显示3D光标)。由于可以通过在左眼图像或右眼图像上停止显示光标，来容易地执行从第二模式切换到第一模式，将省略对其的描述。
此外，作为适合示例，已经描述了在第一模式下在针对主视眼的图像上显示光标的情况。然而，根据用户偏好等，可以将光标显示在针对任意眼的图像上。
下文中，将描述本公开和附图所公开的与本发明相关的适合模式。
【模式1】
一种使用双眼视差的三维图像显示设备，所述设备包括：
光标描画控制单元，所述光标描画控制单元控制第一模式的光标描画和第二模式的光标描画，在所述第一模式下在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上不显示光标，在所述第二模式下通过使用针对左眼和右眼二者的图像的视差来将光标显示为具有深度；以及
图像分析单元，所述图像分析单元在光标描画从所述第一模式切换到所述第二模式时，根据在针对所述一只眼的图像上光标指示的位置执行图像匹配，以在针对所述另一只眼的图像上搜索对应位置，并获得在针对所述另一只眼的图像上的光标显示位置。
【模式2】
根据模式1的三维图像显示设备；
其中所述图像分析单元提取在针对所述一只眼的图像上光标所示的位置附近的图像，从针对所述另一只眼的图像提取与所提取的图像相似的图像，并确定在针对所述另一只眼的图像上的光标显示位置。
【模式3】
根据模式1或2的三维图像显示设备；
其中所述光标描画控制单元控制光标描画，使得将多个光标同时显示在单个图像上；以及
其中所述图像分析单元提取在针对所述一只眼的图像上所述多个光标指示的区域内的图像，从针对所述另一只眼的图像提取与所提取的图像相似的图像，并确定在针对所述另一只眼的图像上的光标显示位置。
【模式4】
根据模式1到3中的任一模式的三维图像显示设备；
其中所述光标描画控制单元控制对指示位置和方向的光标的显示；以及
其中所述图像分析单元根据在针对所述一只眼的图像上光标指示的位置和方向来提取图像，从针对所述另一只眼的图像提取与所提取的图像相似的图像，并确定在针对所述另一只眼的图像上的光标显示位置和方向。
【模式5】
根据模式1到4中的任一模式的三维图像显示设备；
其中所述光标描画控制单元控制光标描画，使得当移动所述光标时执行所述第一模式的光标描画，并当停止所述光标时执行所述第二模式的光标描画。
【模式6】
根据模式1到5中的任一模式的三维图像显示设备，包括：
左眼图像存储器和右眼图像存储器；
其中当在所述第一模式下控制光标描画时，所述光标描画控制单元控制针对所述左眼图像存储器和所述右眼图像存储器之一的光标描画；以及
其中当光标描画从所述第一模式切换到所述第二模式时，所述光标描画控制单元根据所述图像分析单元得到的在针对所述另一只眼的图像上的光标显示位置，控制针对所述另一只眼的图像存储器的光标描画。
【模式7】
根据模式1到6中的任一模式的三维图像显示设备；
其中在执行所述第一模式的光标描画时，能够将主视眼设置为所述一只眼。
【模式8】
根据模式1到7中的任一模式的三维图像显示设备，还包括：用于当执行第二模式的光标描画时，根据左眼图像上的光标显示位置、右眼图像上的光标显示位置以及左眼图像的视点和右眼图像的视点之间的距离，来计算由光标指示的位置的三维空间坐标的装置。
【模式9】
一种针对使用双眼视差的三维图像显示设备的光标显示方法，所述方法包括：
当将光标描画从第一模式切换到第二模式时，在针对左眼和右眼中一只眼的图像上检测由光标指示的图像位置，其中在所述第一模式下在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上不显示光标，在所述第二模式下通过使用针对左眼和右眼二者的图像的视差来显示三维光标；通过执行图像匹配，在针对所述另一只眼的图像上搜索对应位置；以及根据搜索到的位置，在针对所述另一只眼的图像上显示光标。
【模式10】
根据模式9的光标显示方法；
其中在第一模式下，可以在针对主视眼的图像上显示光标，所述针对主视眼的图像是左眼图像或右眼图像。
【模式11】
根据模式9或10的光标显示方法；
其中当将光标描画从第一模式切换到第二模式时，提取在针对一只眼的图像上由光标指示的位置附近的图像；从针对另一只眼的图像提取与所提取的图像相似的图像；以及确定在针对所述另一只眼的图像上的光标显示位置。
【模式12】
根据模式9到11中的任一模式的光标显示方法；
其中当将多个光标同时显示在单个图像上并将光标显示从第一模式切换到第二模式时，提取在针对一只眼的图像上由所述多个光标指示的区域内的图像；从针对另一只眼的图像提取与所提取的图像相似的图像；并确定在针对所述另一只眼的图像上的光标显示位置。
【模式13】
根据模式9到12中的任一模式的光标显示方法；
其中当所述光标是指示位置和方向的光标并将光标显示从第一模式切换到第二模式时，提取在针对一只眼的图像上根据光标指示的位置和方向的图像；从针对另一只眼的图像提取与所提取的图像相似的图像；并确定在针对所述另一只眼的图像上的光标显示位置和方向。
【模式14】
根据模式9到13中的任一模式的光标显示方法；
其中控制光标显示，使得当移动光标时执行第一模式的光标描画，并当停止光标时执行第二模式的光标描画。
【模式15】
根据模式9到14中的任一模式的光标显示方法；
其中在第二模式下，根据左眼图像上的光标显示位置、右眼图像上的光标显示位置以及左眼图像的视点和右眼图像的视点之间的距离，计算由光标指示的位置的三维空间坐标。
【模式16】
一种计算机程序，引起使用双眼视差的三维图像显示设备的计算机执行光标显示处理，所述计算机程序包括：
第一模式的显示处理，用于在针对左眼和右眼之一的图像上显示光标并在针对另一只眼的图像上隐藏光标；
第二模式的显示处理，用于通过使用针对左眼和右眼二者的图像的视差来显示具有深度的光标；以及
用于执行以下操作的处理：当显示从第一模式切换为第二模式时，根据在针对一只眼的图像上光标指示的位置，执行图像匹配，以搜索在针对另一只眼的图像上的对应位置；获得在针对所述另一只眼的图像上的光标显示位置；并切换到在第二模式下进行显示。
【模式17】
根据模式16的计算机程序；
其中在用于切换到第二模式下进行显示的处理中，提取在针对一只眼的图像上光标所示的位置附近的图像；从针对另一只眼的图像提取与所提取的图像相似的图像；以及确定在针对所述另一只眼的图像上的光标显示位置。
【模式18】
根据模式16或17的计算机程序；
其中在用于切换到第二模式下进行显示的处理中，多个光标同时显示在单个图像上，提取在针对一只眼的图像上由所述多个光标指示的区域内的图像；从针对另一只眼的图像提取与所提取的图像相似的图像；并确定在针对所述另一只眼的图像上的光标显示位置。
【模式19】
根据模式16到18中任一模式的计算机程序；
其中在用于切换到第二模式下进行显示的处理中，显示指示了位置和方向的光标，提取在针对一只眼的图像上根据光标指示的位置和方向的图像；从针对另一只眼的图像提取与所提取的图像相似的图像；并确定在针对所述另一只眼的图像上的光标显示位置和方向。
【模式20】
根据模式16到19中任一模式的计算机程序；
其中当移动光标时执行第一模式的光标显示处理，并当停止光标时执行第二模式的光标显示处理。
【模式21】
根据模式16到19中任一模式的计算机程序；
其中执行用于将主视眼设置为左眼和右眼之一的处理；以及
其中在第一模式的显示处理中，在针对设置为主视眼的眼睛的图像上显示光标。
【模式22】
根据模式16到21中任一模式的计算机程序，还包括；
用于在第二模式下，根据左眼图像上的光标显示位置、右眼图像上的光标显示位置以及左眼图像的视点和右眼图像的视点之间的距离，来计算由光标指示的位置的三维空间坐标的处理。
【模式23】
一种三维图像显示设备，当将光标显示从第一模式切换到第二模式时，在针对一只眼的图像上检测光标所指示的位置，其中在所述第一模式下在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上不显示光标，在所述第二模式下通过使用针对左眼和右眼二者的图像的视差来显示三维光标；执行图像匹配，以便在针对另一只眼的图像上搜索对应位置；以及在针对所述另一只眼的图像上将光标显示在搜索到的位置处。
【模式24】
一种计算机程序，引起将计算机用作根据模式1到8和23中任一模式的三维图像显示设备。
【模式25】
一种计算机可读记录介质，存储根据模式16到22和24中任一模式的计算机程序。
在本发明的全部公开的范围(包括权利要求和附图)内，并且基于本发明的基础技术构思，可以对示例进行修改和调整。此外，在本发明的权利要求的范围内，可以对多种所公开的元件(包括在每个权利要求、示例、附图等中的元件)进行多样化的组合和选择。即，本发明包括由本领域技术人员根据全部公开(包括权利要求和附图及技术构思)进行的多种变型和修改。具体地，本描述公开了数值范围。即使本描述没有详细公开包括在该范围内的任意数值或较小范围，然而这些值和范围应被视为已具体公开。
附图标记列表
10：三维(3D)图像显示设备(便携式终端设备)
20：光标描画控制单元
21：光标坐标存储器
22：光标形状存储器
23：主视眼设置存储器
24：移动标志
30：图像分析单元
31：搜索图像存储器
32：匹配图像搜索单元
40：图像存储器
40L：(左)图像存储器
40R：(右)图像存储器
41：摄像机数据缓冲器
42：处理与描画数据缓冲器
50L：左摄像机单元
50R：右摄像机单元
60：主控单元
61：存储器【程序存储器、数据存储器(控制数据)】
70：操作单元
80：3D显示控制单元
90：3D显示单元
101：摄像机
102到104：坐标轴
111L，111R，112L，112R，121L，121R，122L，122R：图像
120，506-1，506-2：光标
501：对象A
502，504：操作点(看起来光标头部与对象重叠的位置；光标位置)
503：对象B
505：显示表面
506L：光标(在针对左眼的图像显示表面上)
506R：光标(在针对右眼的图像显示表面上)
507：左眼投影中心(镜头)
508：右眼投影中心(镜头)

Claims (10)

1.一种使用双眼视差的三维图像显示设备，所述设备包括：
光标描画控制单元，所述光标描画控制单元控制第一模式的光标描画和第二模式的光标描画，在所述第一模式下在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上不显示光标，在所述第二模式下通过使用针对左眼和右眼二者的图像的视差来将光标显示为具有深度；以及
图像分析单元，所述图像分析单元在光标描画从所述第一模式切换到所述第二模式时，根据在针对所述一只眼的图像上光标指示的位置执行图像匹配，以在针对所述另一只眼的图像上搜索对应位置，并获得在针对所述另一只眼的图像上的光标显示位置。
2.根据权利要求1所述的三维图像显示设备；
其中所述图像分析单元提取在针对所述一只眼的图像上光标所示的位置附近的图像，从针对所述另一只眼的图像提取与所提取的图像相似的图像，并确定在针对所述另一只眼的图像上的光标显示位置。
3.根据权利要求1或2所述的三维图像显示设备；
其中所述光标描画控制单元控制光标描画，使得将多个光标同时显示在单个图像上；以及
其中所述图像分析单元提取在针对所述一只眼的图像上所述多个光标指示的区域内的图像，从针对所述另一只眼的图像提取与所提取的图像相似的图像，并确定在针对所述另一只眼的图像上的光标显示位置。
4.根据权利要求1到3中的任一权利要求所述的三维图像显示设备；
其中所述光标描画控制单元控制对指示位置和方向的光标的显示；以及
其中所述图像分析单元根据在针对所述一只眼的图像上光标指示的位置和方向来提取图像，从针对所述另一只眼的图像提取与所提取的图像相似的图像，并确定在针对所述另一只眼的图像上的光标显示位置和方向。
5.根据权利要求1到4中的任一权利要求所述的三维图像显示设备；
其中所述光标描画控制单元控制光标描画，使得当移动所述光标时执行所述第一模式的光标描画，并当停止所述光标时执行所述第二模式的光标描画。
6.根据权利要求1到5中的任一权利要求所述的三维图像显示设备，包括：
左眼图像存储器和右眼图像存储器；
其中当在所述第一模式下控制光标描画时，所述光标描画控制单元控制针对所述左眼图像存储器和所述右眼图像存储器之一的光标描画；以及
其中当光标描画从所述第一模式切换到所述第二模式时，所述光标描画控制单元根据所述图像分析单元得到的在针对所述另一只眼的图像上的光标显示位置，控制针对所述另一只限的图像存储器的光标描画。
7.根据权利要求1到6中的任一权利要求所述的三维图像显示设备；
其中在执行所述第一模式的光标描画时，能够将主视眼设置为所述一只眼。
8.一种针对使用双眼视差的三维图像显示设备的光标显示方法，所述方法包括：
当将光标描画从第一模式切换到第二模式时，在针对左眼和右眼中一只眼的图像上检测由光标指示的图像位置，其中在所述第一模式下在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上不显示光标，在所述第二模式下通过使用针对左眼和右眼二者的图像的视差来显示三维光标；
通过执行图像匹配，在针对所述另一只眼的图像上搜索对应位置；以及
根据搜索到的位置，在针对所述另一只眼的图像上显示光标。
9.根据权利要求8所述的光标显示方法，还包括；
当光标描画从所述第一模式切换到所述第二模式时，提取在针对所述一只眼的图像上光标指示的位置附近的图像；以及
通过从针对所述另一只眼的图像提取与所提取的图像相似的图像，确定在针对所述另一只眼的图像上的光标显示位置。
10.一种计算机程序，引起使用双眼视差的三维图像显示设备的计算机执行光标显示处理，所述计算机程执行：
第一模式的显示处理，用于在针对左眼和右眼中的一只眼的图像上显示光标，在针对另一只眼的图像上隐藏光标；
第二模式的显示处理，用于通过使用针对左眼和右眼二者的图像的视差来将光标显示为具有深度；以及
用于执行以下操作的处理：在光标显示从所述第一模式切换为所述第二模式时，根据在针对所述一只眼的图像上光标指示的位置，执行图像匹配，以搜索在针对所述另一只限的图像上的对应位置，获得在针对所述另一只限的图像上的光标显示位置，并切换到在所述第二模式下进行显示。
CN201380023659.2A 2012-05-09 2013-05-08 三维图像显示设备及其光标显示方法和计算机程序 Pending CN104285243A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012107594 2012-05-09
JP2012-107594 2012-05-09
PCT/JP2013/062927 WO2013168736A1 (ja) 2012-05-09 2013-05-08 立体画像表示装置、そのカーソル表示方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
CN104285243A true CN104285243A (zh) 2015-01-14

Family

ID=49550770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380023659.2A Pending CN104285243A (zh) 2012-05-09 2013-05-08 三维图像显示设备及其光标显示方法和计算机程序

Country Status (5)

Country Link
US (1) US9594436B2 (zh)
EP (1) EP2849155A4 (zh)
JP (1) JP6065908B2 (zh)
CN (1) CN104285243A (zh)
WO (1) WO2013168736A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159522A (zh) * 2015-07-22 2015-12-16 深圳多新哆技术有限责任公司 一种虚拟现实显示设备响应外设设备操作的方法
CN106019584A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序
CN108334191A (zh) * 2017-12-29 2018-07-27 北京七鑫易维信息技术有限公司 基于眼动分析设备的确定注视点的方法和装置
CN110456911A (zh) * 2019-08-09 2019-11-15 Oppo广东移动通信有限公司 电子设备控制方法和装置、电子设备、可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI516093B (zh) * 2012-12-22 2016-01-01 財團法人工業技術研究院 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6225979B1 (en) * 1997-07-22 2001-05-01 Sanyo Electric Co., Ltd. Cursor display method and apparatus for perceiving cursor as stereoscopic image in stereoscopic display region, and recording medium recorded with cursor display program that can be read out by computer
CN101655747A (zh) * 2009-08-14 2010-02-24 四川大学 一种三维立体鼠标
US20110122234A1 (en) * 2009-11-26 2011-05-26 Canon Kabushiki Kaisha Stereoscopic image display apparatus and cursor display method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107603A (ja) 2001-09-28 2003-04-09 Namco Ltd 立体視画像生成装置、立体視画像生成情報および情報記憶媒体
JP4005395B2 (ja) * 2002-03-20 2007-11-07 株式会社トプコン 立体画像表示装置及び方法
US7193626B2 (en) 2002-03-08 2007-03-20 Topcon Corporation Device and method for displaying stereo image
JP2004362218A (ja) 2003-06-04 2004-12-24 Canon Inc 三次元物体操作方法
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
JP5467683B2 (ja) 2010-01-28 2014-04-09 エフ・エーシステムエンジニアリング株式会社 立体映像表示装置の立体ノギス像形成装置およびプログラム
US20130002661A1 (en) 2010-03-18 2013-01-03 Kouichi Tanaka Stereoscopic image display apparatus and method of controlling same
JP2012066049A (ja) * 2010-09-22 2012-04-05 Fujifilm Corp 放射線画像撮影装置および立体視画像表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6225979B1 (en) * 1997-07-22 2001-05-01 Sanyo Electric Co., Ltd. Cursor display method and apparatus for perceiving cursor as stereoscopic image in stereoscopic display region, and recording medium recorded with cursor display program that can be read out by computer
CN101655747A (zh) * 2009-08-14 2010-02-24 四川大学 一种三维立体鼠标
US20110122234A1 (en) * 2009-11-26 2011-05-26 Canon Kabushiki Kaisha Stereoscopic image display apparatus and cursor display method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方恩博等: "自由立体显示器上立体鼠标的实现及其应用研究", 《光子学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106019584A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序
CN105159522A (zh) * 2015-07-22 2015-12-16 深圳多新哆技术有限责任公司 一种虚拟现实显示设备响应外设设备操作的方法
WO2017012360A1 (zh) * 2015-07-22 2017-01-26 深圳多新哆技术有限责任公司 一种虚拟现实显示设备响应外设设备操作的方法
CN105159522B (zh) * 2015-07-22 2018-03-13 深圳多新哆技术有限责任公司 一种虚拟现实显示设备响应外设设备操作的方法
CN108334191A (zh) * 2017-12-29 2018-07-27 北京七鑫易维信息技术有限公司 基于眼动分析设备的确定注视点的方法和装置
CN110456911A (zh) * 2019-08-09 2019-11-15 Oppo广东移动通信有限公司 电子设备控制方法和装置、电子设备、可读存储介质

Also Published As

Publication number Publication date
JP6065908B2 (ja) 2017-01-25
JPWO2013168736A1 (ja) 2016-01-07
EP2849155A4 (en) 2015-12-16
EP2849155A1 (en) 2015-03-18
US20150130713A1 (en) 2015-05-14
WO2013168736A1 (ja) 2013-11-14
US9594436B2 (en) 2017-03-14

Similar Documents

Publication Publication Date Title
JP4679661B1 (ja) 情報提示装置、情報提示方法及びプログラム
US10007351B2 (en) Three-dimensional user interface device and three-dimensional operation processing method
US10095030B2 (en) Shape recognition device, shape recognition program, and shape recognition method
CN104285243A (zh) 三维图像显示设备及其光标显示方法和计算机程序
US20060050070A1 (en) Information processing apparatus and method for presenting image combined with virtual image
US10999412B2 (en) Sharing mediated reality content
CN114616535A (zh) 将物理对象移植到虚拟现实中
US9979946B2 (en) I/O device, I/O program, and I/O method
JP5656514B2 (ja) 情報処理装置及び方法
CN103180893A (zh) 用于提供三维用户界面的方法和系统
CN114127669A (zh) 无源指示笔的可跟踪性增强
CN104995583A (zh) 用于混合现实环境的直接交互系统
CN102792255A (zh) 图像处理设备、图像处理方法和程序
US9906778B2 (en) Calibration device, calibration program, and calibration method
KR101518727B1 (ko) 입체 인터랙션 시스템 및 입체 인터랙션 방법
JP2015143976A (ja) 情報処理装置及びその制御方法、プログラム
US10437874B2 (en) Searching image content
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
JP4678428B2 (ja) 仮想空間内位置指示装置
JP2012105200A (ja) ３ｄコンテンツ表示装置、および３ｄコンテンツ表示方法
CN106055108B (zh) 一种虚拟触摸屏的操控方法和系统
JP5520772B2 (ja) 立体画像の表示システム及び表示方法
JP2023184238A (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NEC CORP.

Free format text: FORMER OWNER: NEC MOBILE COMMUNICATION, LTD.

Effective date: 20150625

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Kanagawa, Japan

Applicant after: NEC Mobile Communications Ltd.

Address before: Kanagawa, Japan

Applicant before: NEC CASIO Mobile Communications, Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: NEC CASIO MOBILE COMMUNICATIONS, LTD. TO: NEC MOBILE COMMUNICATION, LTD.

Free format text: CORRECT: ADDRESS; FROM:

TA01 Transfer of patent application right

Effective date of registration: 20150625

Address after: Tokyo, Japan

Applicant after: NEC Corp.

Address before: Kanagawa, Japan

Applicant before: NEC Mobile Communications Ltd.

AD01 Patent right deemed abandoned

Effective date of abandoning: 20180608

AD01 Patent right deemed abandoned