CN102819385A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN102819385A
CN102819385A CN2012101932536A CN201210193253A CN102819385A CN 102819385 A CN102819385 A CN 102819385A CN 2012101932536 A CN2012101932536 A CN 2012101932536A CN 201210193253 A CN201210193253 A CN 201210193253A CN 102819385 A CN102819385 A CN 102819385A
Authority
CN
China
Prior art keywords
stereo
picture
dimensional image
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101932536A
Other languages
English (en)
Inventor
工藤祐介
上原朋树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102819385A publication Critical patent/CN102819385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Abstract

公开了信息处理装置、信息处理方法和程序。提供了一种信息处理装置，包括：图像生成部，该图像生成部通过将立体图像和与该立体图像相关联的二维图像相合成来生成合成图像，该立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及识别部，当检测到对二维图像的用户操作时，识别部识别与该二维图像相关联的立体图像作为选择对象。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序。
背景技术
近年来，已经在关注允许立体图像观看的三维(3D)立体图像。作为用于观看3D立体图像的方法，双眼视差方法正被越来越广泛地使用。双眼视差方法使得观看者观看其间设有视差的左眼图像和右眼图像，从而使得观看者立体地观看图像。
为了检测对这类3D立体图像执行的操作，在日本专利申请公布No.JP-A-2011-13778和日本专利申请公布No.JP-A-2010-55508中公开了检测3D空间中的物体的位置检测技术。
发明内容
然而，在上述的检测3D空间中的物体的位置检测技术中，需要传感器来识别3D空间中操作体的位置。因此，在许多情况下，难以用诸如移动装置之类的硬件资源相对有限的装置来利用该技术。
当难以利用检测3D空间中的物体的位置检测技术时，难以实现用户可用来直接操作3D立体图像的界面。另外，如果用户尝试利用通常安装在移动装置等等上的触摸传感器直接操作3D立体图像，则在立体地观看到的3D立体图像和实际执行操作的位置之间发生位移。由于此类位移，用户在操作3D图像时感到不适。
为了解决此问题，本公开提供了允许在没有不适感的情况下容易地选择立体图像的新颖且改进的信息处理装置、信息处理方法和程序。
根据本公开的实施例，提供了一种信息处理装置，包括：图像生成部，该图像生成部通过将立体图像和与该立体图像相关联的二维图像相合成来生成合成图像，该立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及识别部，当检测到对二维图像的用户操作时，识别部识别与该二维图像相关联的立体图像作为选择对象。
根据本公开的另一实施例，提供了一种信息处理方法，包括：通过将立体图像和与该立体图像相关联的二维图像相合成来生成合成图像，该立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及当检测到对二维图像的用户操作时，识别与该二维图像相关联的立体图像作为选择对象。
根据本公开的另一实施例，提供了一种包括指令的程序，所述指令命令计算机执行：通过将立体图像和与该立体图像相关联的二维图像相合成来生成合成图像的处理，该立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及当检测到对二维图像的用户操作时，识别与该二维图像相关联的立体图像作为选择对象的处理。
根据上述本公开的实施例，可以容易地选择立体图像，而不会有不适感。
附图说明
图1是示出根据本公开的信息处理装置的概要的示图；
图2是示出幻象(phantogram)的概要的示图；
图3是根据本公开的实施例的信息处理装置的配置框图；
图4是示出基于模型数据创建幻象的过程的示图；
图5是示出当来自虚拟光源的光撞击物体时发生的影子的示图；
图6是示出明示漂浮的立体图像与作为该漂浮立体图像的影子的二维图像之间的关联关系的显示示例的示图；
图7是示出明示漂浮的立体图像与作为该漂浮立体图像的影子的二维图像之间的关联关系的另一显示示例的示图；
图8是示出当根据本公开的实施例的信息处理装置执行图像生成时执行的操作处理的流程图；
图9是示出当根据本公开的实施例的信息处理装置根据用户操作改变合成图像时执行的操作处理的流程图；
图10是示出根据本公开的实施例的第一操作示例的示图；
图11是示出根据本公开的实施例的第一操作示例的修改例的示图；
图12是示出根据本公开的实施例的第二操作示例的示图；
图13是示出根据本公开的实施例的第三操作示例中的撑开(pinch-out)操作的示图；
图14是示出根据本公开的实施例的第三操作示例中的捏拢(pinch-in)操作的示图；
图15是示出根据本公开的实施例的第四操作示例的示图；
图16是示出根据本公开的实施例的第五操作示例中的撑开操作的示图；
图17是示出根据本公开的实施例的第六操作示例中的撑开操作的示图；并且
图18是示出根据本公开的实施例的第六操作示例中的捏拢操作的示图。
具体实施方式
以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的标号来表示具有基本相同的功能和结构的结构元素，并且省略对这些结构元素的重复说明。
注意，将按以下顺序进行说明。
1.信息处理装置的概要
2.本公开的实施例
2-1.配置
2-2.操作处理
2-3.具体操作示例
3.结论
将利用“2.本公开的实施例”来说明根据本公开的实施例的信息处理装置(10)。信息处理装置(10)包括
A：图像生成部(12)，该图像生成部(12)通过将立体图像和与立体图像相关联的二维图像相合成来生成合成图像，该立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及
B：识别部(18)，当检测到对该二维图像的用户操作时，该识别部(18)识别与该二维图像相关联的立体图像作为选择对象。
接下来，将参考图1来说明根据本公开的实施例的上述信息处理装置(10)的概要。
1.信息处理装置的概要
图1是示出根据本公开的实施例的信息处理装置的概要的示图。如图1中所示，信息处理装置10包括显示部14。平板计算机是信息处理装置10的示例。显示部14以幻象格式(下文将描述)检测具有视差的用于双眼的图像。因此，当用户从斜上方通过眼镜3观察放在水平面例如桌面6上的信息处理装置10时，用户可以看到立体图像30，就好像其真实存在一样，如图1中所示。
另外，显示部14显示二维图像32作为立体图像30的变形影子。如上所述，立体图像30看起来就好像其真实存在于放在桌面等上的信息处理装置10上一样。因此，在显示部14上显示的二维图像32看起来像立体图像30的落在平面上的影子。如果用户对这样显示为影子的二维图像32执行触摸操作，则用户可间接地操作立体图像30，而没有不适感。例如，当显示部14是与操作输入部16相集成的触摸面板显示屏时，用户可对该触摸面板显示屏上显示的二维图像32执行触摸操作。
一般地，当用户直接操作立体图像时，必须在x、y和z方向上检测用户操作的空间位置。因此，在许多情况下，难以用诸如移动装置之类的硬件资源相对有限的装置实现检测。另外，当用户直接操作立体图像时，还必须在x、y和z方向上检测用户感知的立体图像的位置。因此，例如，当立体图像具有复杂的凸出形状时，难以准确地识别感知的位置。
为了解决此问题，根据本公开的实施例的信息处理装置10，根据对二维图像32的操作来执行对立体图像30的显示控制，而不检测三维空间的x、y和z方向上用户操作的位置和立体图像30的形状。换言之，如果信息处理装置10只能检测x和y方向上二维图像32的操作位置，可以实现根据用户操作执行的立体图像操作。
另外，根据信息处理装置10，通过将立体图像30的操作柄表现为落在显示部14的平面上的立体图像30的影子，可以提供统一的操作界面。
这样，用户通过直接操作被显示为立体图像30的影子的二维图像32来间接操作立体图像30。结果，用户可执行对立体图像30的操作，而没有不适感。
幻象
如上所述，本公开的实施例的信息处理装置把作为立体图像30的操作柄的影子表现为落在显示部14的平面上的立体图像30的影子。因此，当显示部14被水平放置时，本公开的实施例的信息处理装置生成看起来好像从显示部14凸出的立体图像30。被称为“幻象”的技术是用于实现此类立体图像的方法的示例。以下，将参考图2来说明幻象。
图2是示出幻象的概要的示图。如图2中所示，按幻象格式生成的立体图(anaglyph)1包括左眼图像2L和右眼图像2R，它们是利用两种不同的单独颜色例如红色和青色描绘的。左眼图像2L和右眼图像2R是通过对当从斜上方观看时其间具有视差的左眼图像和右眼图像中的每一个执行透视校正而获得的图像。
当显示装置被放置成使得立体图1是水平的，并且通过使用与左眼图像2L和右眼图像2R的颜色分别对应的滤色片作为透镜的眼镜3从斜上方观察显示装置时，看起来就好像立体图像5实际存在于那里一样。从斜上方观看时的角度α是等于或小于180度的预定角度，例如是45度。
当从斜上方观察水平放置的显示装置时，用户感觉显示装置的显示画面就好像是诸如桌面、地板之类的基准面的延伸一样。另外，由于立体图像5的透视被幻象强调，所以立体图像5在用户看来就好像是从基准面凸出一样。结果，立体图像5看起来就好像更真实地实际存在于那里一样。
这样，当水平放置的显示画面被作为基准面时，按幻象格式生成的立体图像看起来就好像物体被放置在该基准面上一样。因此，用户可以更真实地感知到立体图像。在以下将说明的根据本公开的实施例的信息处理装置中，通过此类幻象格式生成立体图像。
2.本公开的实施例
2-1.配置
将参考图3至图7来说明根据本公开的实施例的信息处理装置10的配置。
图3是根据本实施例的信息处理装置10的配置框图。如图3中所示，信息处理装置10设有图像生成部12、存储器13、显示部14、操作输入部16、识别部18和判定部20。
图像生成部12具有生成被显示在显示部14上的图像的功能。另外，根据本实施例的图像生成部12执行改变被识别为选择对象的立体图像和被执行触摸操作的二维图像中的至少一个的显示的控制。具体而言，图像生成部12设有立体图像生成部121、影子生成部122和合成部123。立体图像生成部121从存储器13获取模型数据，并且基于模型数据生成具有视差的用于双眼的图像。
注意，根据本实施例的立体图像生成部121利用幻象格式生成立体图像。这里，将参考图4来说明利用幻象格式的立体图像生成。
图4是示出基于模型数据创建幻象的过程的示图。如图4中所示，模型数据中包括的其间具有视差的左眼图像L0和右眼图像R0所指示的模型数据包括与所有变动(用于正面、用于旋转、用于放大和缩小)相对应的数据。然而，这里，幻象是基于用于正面的模型数据创建的。
为了使得说明易于理解，图4中所示的左眼图像L0和右眼图像R0被表现为放置对象的基准面上描绘的格子图案。另外，左眼图像L0和右眼图像R0是从斜上方观看时的图像。从斜上方观看时的角度是等于或小于180度的预定角度，例如45度。
通过对由左眼图像L0和右眼图像R0指示的模型数据执行透视校正获得图像L1和R1。透视校正是通过透视变换进行的坐标转换，并且也被称为透视转换。在图像L1和R1中，与基准平面平行的面上的图形被没有失真地显示。因此，格子图案是方形格子图案，其中格子以直角相交。
然后，图像L1和R1作为不同颜色图像被叠加，并且立体图A被创建，立体图A被用作幻象。
立体图像生成部121把这样生成的立体图像(幻象)输入到合成部123。
影子生成部122利用二维图像生成与模型相对应的影子。如图5中所示，影子生成部122生成的影子可以是当来自虚拟光源7的光撞击物体O时对应于物体O的形状生成的影子S。另外，影子生成部122生成的影子可以是其形状通过变形被简化的影子。另外，影子生成部122把所生成的二维图像输入到合成部123。
合成部123通过把由立体图像生成部121生成的立体图像与由影子生成部122生成的作为立体图像的影子的二维图像相合成来生成合成图像。合成部123把所生成的合成图像输入到显示部14。
存储器13是数据存储装置，并且是信息处理装置10的存储部的示例。存储器13可包括存储介质、将数据记录到存储介质上的记录装置、从存储介质中读出数据的读取装置、删除存储介质上记录的数据的删除装置，等等。存储器13例如是由硬盘驱动器(HDD)形成的。存储器13驱动硬盘并且存储由信息处理装置10执行的程序和各类数据。另外，根据本实施例的存储器13存储包括用于立体图像生成的各类变动的模型数据。
显示部14具有在显示画面上显示图像的功能。另外，显示部14的功能例如是由阴极射线管(CRT)显示装置、液晶显示(LCD)装置或有线发光二极管(OLED)装置实现的。根据本实施例的显示部14显示从图像生成部12输入的合成图像。
操作输入部16具有检测用户执行的操作的功能。操作输入部16的功能是由触摸传感器、邻近传感器、操作按钮等等实现的。在本说明书中，其中一体地形成显示部14和操作输入部16的触摸面板显示屏被用作示例。根据本实施例的操作输入部16检测对所显示的二维图像执行的用户操作，例如触摸操作、拖动操作等等，并且将检测结果输入到识别部18和判定部20。注意，在本说明书中，说明了操作输入部16是触摸传感器的情况作为示例。然而，本公开并不限于此示例，也可使用邻近传感器来检测用户操作，例如触摸操作、拖动操作等等。
基于从操作输入部16输入的检测结果，识别部18识别与其上执行触摸操作(包括叩击或点击操作)的二维图像相关联的立体图像作为选择对象。例如，当二维图像以关联方式作为与立体图像重叠的影子被显示时，识别部18识别与被执行触摸操作的二维图像重叠显示的立体图像作为选择对象。
注意，当二维图像是漂浮的立体图像的影子时，存在这样的情况，即影子不与立体图像重叠并且是与立体图像分开显示的。在此情况下，为了指示立体图像与作为立体图像的影子的二维图像之间的关联关系，二维图像可包括指示立体图像的显示。将参考图6和图7来说明包括指示立体图像的显示的二维图像的具体示例。
图6是示出明示漂浮立体图像34与作为漂浮立体图像34的影子的二维图像36之间的关联关系的显示示例的示图。如图6中所示，通过执行利用是立体图像的记号37将立体图像34和作为立体图像34的影子的二维图像36相连接的显示，可以指示关联关系。
图7是示出明示漂浮立体图像34与作为漂浮立体图像34的影子的二维图像36之间的关联关系的另一显示示例的示图。如图7中所示，通过在二维图像36上显示指示二维图像36是哪个立体图像的影子的字符信息39，可以指示关联关系。以上，说明了识别部18执行的处理。接下来，返回图3，将继续关于信息处理装置10的配置的说明。
判定部20基于从操作输入部16输入的检测结果，判定对显示部14上显示的二维图像的预定用户操作。检测结果例如由用户接触或者非常接近的位置的二维坐标指示。判定部20判定是否对二维图像执行了预定的用户操作。
预定的用户操作的示例包括拖动操作、撑开操作、捏拢操作、旋转操作等等。判定部20向图像生成部12输入执行了哪类用户操作和诸如拖动距离之类的操作量作为判定结果。
以上，详细说明了根据本实施例的信息处理装置10的配置。接下来，将参考图8和图9说明根据本实施例的信息处理装置10中执行的操作处理。
2-2.操作处理
图8是示出当根据本实施例的信息处理装置10执行图像生成时执行的操作处理的流程图。如图8中所示，首先，在步骤S102，模型数据被输入到图像生成部12。接下来，在步骤S104，立体图像生成部121基于模型数据生成立体图像。
接下来，在步骤S106，影子生成部122利用二维图像生成与模型相对应的影子。
然后，在步骤S108，合成部123合成由立体图像生成部121生成的立体图像和由影子生成部122生成的二维图像，从而生成合成图像。注意，合成部123将所生成的合成图像输入到显示部14。
这样，图像生成部12生成要被显示在显示部14上的合成图像。接下来，将参考图9说明当根据对显示部14上显示的合成图像的用户操作改变合成图像时执行的操作处理。
图9是示出当根据本实施例的信息处理装置10根据用户操作改变合成图像时执行的操作处理的流程图。如图9中所示，首先，在步骤S 112，操作输入部16检测用户对作为影子区域的二维图像执行的触摸操作，并且将检测结果输入到识别部18和判定部20。
接下来，在步骤S114，基于检测结果，识别部18识别与被执行触摸操作的二维图像相关联的立体图像作为选择对象。另外，识别部18将识别结果输入到图像生成部12。
接下来，在步骤S115，图像生成部12执行改变被识别为选择对象的立体图像和被执行触摸操作的二维图像中的至少一个的显示的控制。结果，显示部14执行触摸操作的反馈，并且用户可认识到选择已成功完成。根据触摸操作(包括叩击或点击操作)的显示改变将在下一节“2-3.具体操作示例”中说明。
接下来，在步骤S116，判定部20判定操作输入部16检测到的用户操作是否是预定的用户操作。当检测到的用户操作是预定的用户操作时，处理前进到步骤S118。另一方面，当检测到的用户操作不是预定的用户操作时，处理结束。
然后，在步骤S118，根据由判定部20判定的预定用户操作，图像生成部12改变被识别部18识别的立体图像和被执行触摸操作的二维图像中的至少一个的显示。结果，显示部14执行预定用户操作的反馈。这里，预定用户操作的示例包括拖动操作、撑开操作、捏拢操作、旋转操作等等。根据每个预定操作的显示改变将在下一节“2-3.具体操作示例”中说明。
以上说明了根据本实施例的信息处理装置10的操作处理。接下来，将利用第一操作示例至第六操作示例来具体说明合成图像如何根据判定部20的判定结果而变化。
2-3.具体操作示例
第一操作示例
第一操作示例是当用户对二维图像执行触摸操作(包括叩击或点击操作)时的示例。当判定部20判定叩击操作为用户操作时，图像生成部12使得被执行叩击操作的二维图像和与该二维图像相关联的立体图像中的至少一个变体，从而指示出它们处于选中状态。以下，将参考图10和图11来说明根据第一操作示例的合成图像的变化。
图10是示出根据本实施例的第一操作示例的示图。如图10中所示，当显示立体图像34和是与立体图像34重叠的二维图像的影子36时，如果用户对影子36执行叩击操作，则发光图像38被立体地显示在立体图像34周围。作为替换，图像生成部12可使得立体图像34的颜色变化，可执行运动变化，例如旋转立体图像34，或者可使得立体图像34闪烁。
图11是示出根据本实施例的第一操作示例的修改例的示图。如图11中所示，当显示立体图像34和是与立体图像34重叠的二维图像的影子36时，如果用户对影子36执行叩击操作，则二维图像36的颜色变化。作为替换，响应于用户的叩击操作，图像生成部12可使二维图像36变浅或变深，可执行运动变化，例如影子36的形状的瞬时变化，或者可使得影子36闪烁。
第二操作示例
第二操作示例是当用户对二维图像执行拖动操作时的示例。当判定部20判定拖动操作为用户操作时，图像生成部12使得立体图像和二维图像在拖动操作的方向上移动。以下，将参考图12来说明根据第二操作示例的合成图像的变化。
图12是示出根据本实施例的第二操作示例的示图。如图12中所示，当立体图像34a的影子36a在向右方向上被拖动时，显示位置在向右方向上移动，如立体图像34b和影子36b所示。
第三操作示例
第三操作示例是当用户对二维图像执行撑开操作或捏拢操作时的示例。当判定部20判定撑开操作或捏拢操作为用户操作时，图像生成部12使得被执行该操作的二维图像的大小和与该二维图像相关联的立体图像的大小变化。以下，将参考图13和图14来说明根据第三操作示例的合成图像的变化。
图13是示出根据本实施例的第三操作示例中的撑开操作的示图。如图13中所示，当对立体图像40a的影子42a执行撑开操作时，影子根据用户的手指之间的距离被显示得更大，如影子42b所示。另外，随着影子被显示得更大，立体图像也以各向同性的方式被显示得更大，如立体图像40b所示。
图14是示出根据本实施例的第三操作示例中的捏拢操作的示图。如图14中所示，当对立体图像40a的影子42a执行捏拢操作时，影子根据用户的手指之间的距离被显示得更小，如影子42c所示。另外，随着影子被显示得更小，立体图像也以各向同性的方式被显示得更小，如立体图像40c所示。
第四操作示例
第四操作示例是当用户对二维图像执行旋转操作时的示例。当判定部20判定旋转操作为用户操作时，图像生成部12使得被执行旋转操作的二维图像和与该二维图像相关联的立体图像旋转。以下，将参考图15来说明根据第四操作示例的合成图像的变化。
图15是示出根据本实施例的第四操作示例的示图。如图15中所示，当用户对立体图像44a的影子46a执行旋转操作时，图像绕着轴P旋转，如立体图像44b和影子46b所示。轴P与显示合成图像的显示画面垂直。注意，轴P不限于图15中所示的立体图像44a和影子46a的中心轴。例如，轴P可以是在影子46a和立体图像44a的右端并且与显示画面垂直的轴。
第五操作示例
第五操作示例是当用户对二维图像执行撑开操作或捏拢操作时的另一示例。当判定部20判定撑开操作或捏拢操作为用户操作时，图像生成部12将撑开操作或捏拢操作解析成x和y成分并且使得合成图像与每个成分相对应地变化。以下，将参考图16来说明根据第五操作示例的合成图像的变化。
图16是示出根据本实施例的第五操作示例中的撑开操作的示图。如图16中所示，当对立体图像40a的影子42a执行撑开操作时，图像生成部12将该撑开操作解析x和y成分，并且对于x和y成分中的每一个放大影子42a。
然后，基于改变后的影子42d的形状和例如图5中所示的虚拟光源7的位置，图像生成部12计算根据改变后的影子42d的形状估计的立体图像40d的形状，并且使得立体图像40a的形状变化。注意，如果用户对立体图像40a的影子42a执行捏拢操作，则图像生成部12将捏拢操作解析成x和y成分，并且对于x和y成分中的每一个缩小影子42a。
第六操作示例
第六操作示例是当用户对作为漂浮立体图像的影子的二维图像执行撑开操作或捏拢操作时的示例。当判定部20判定撑开操作或捏拢操作为用户操作时，图像生成部12使得被执行撑开操作或捏拢操作的二维图像和与该二维图像相关联的立体图像变化。另外，二维图像被关联为立体图像的影子。注意，当物体漂浮得更高时，影子扩散，从而影子颜色深的范围变得更小。因此，图像生成部12显示影子，使得当立体图像漂浮得更高时，影子颜色深的范围变得更小。以下，将参考图17和图18来说明根据第六操作示例的合成图像的变化。
图17是示出根据本实施例的第六操作示例中的撑开操作的示图。如图17中所示，当对漂浮立体图像48a的影子49a执行撑开操作时，影子49a根据用户的手指之间的距离被显示得更大，结果其被显示得如影子49b所示。然后，立体图像48a的显示位置(高度)变得更低，并且立体图像被显示在较低的位置，例如如立体图像48b所示。
图18是示出根据本实施例的第六操作示例中的捏拢操作的示图。如图18中所示，当对漂浮立体图像48a的影子49a执行捏拢操作时，影子49a根据用户的手指之间的距离被显示得更小，结果其被显示得如影子49c所示。然后，立体图像48a的显示位置(高度)变得更高，并且立体图像被显示在较高的位置，例如如立体图像48c所示。
3.结论
如上所述，根据本公开的实施例的信息处理装置可通过对与立体图像关联显示的二维图像的操作来间接操作立体图像。从而，可以容易地选择或操作立体图像，而无需考虑与立体图像的复杂的凸出形状相对应的三维空间中的操作位置。
另外，根据本公开的实施例的信息处理装置，立体图像是作为幻象生成的，并且二维图像被表现为落在显示部14的平坦面上的立体图像的影子。结果，在以更高的真实感感知凸出的立体图像的同时，用户可操作落在该平坦面上的立体图像的影子，而不会有不适感。
以下，参考附图详细说明本公开的示例性实施例。然而，本技术并不限于上述示例。本领域技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们落在所附权利要求或其等同物的范围内即可。
例如，本说明书中描述的信息处理装置10的处理中的各个步骤不一定要按图8和图9所示的流程图中描述的顺序按时序执行。例如，信息处理装置10的处理中的各个步骤可按与流程图中描述的顺序不同的顺序执行，或者可并行执行。具体而言，例如，可按不同的顺序处理或者可并行处理图8中所示的步骤S104和步骤S106。
另外，根据上述实施例的信息处理装置10的每个结构元素可由诸如中央处理单元(CPU)、只读存储器(ROM)和随机访问存储器(RAM)之类的硬件配置实现。
另外，也可创建计算机程序来实现等同于根据上述实施例的信息处理装置10的每个结构元素的功能。另外，还提供了存储该计算机程序的存储介质。存储介质例如是磁盘、光盘、磁光盘、闪存等等。另外，上述计算机程序可例如经由网络分发，而不使用记录介质。
注意，本技术也可采取以下配置。
(1)一种信息处理装置，包括：
图像生成部，该图像生成部通过将立体图像和与所述立体图像相关联的二维图像相合成来生成合成图像，所述立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及
识别部，当检测到对所述二维图像的用户操作时，所述识别部识别与所述二维图像相关联的立体图像作为选择对象。
(2)根据以上(1)所述的信息处理装置，其中，所述图像生成部使得所述识别部所识别的立体图像和所述二维图像中的至少一个根据所述用户操作而变化。
(3)根据以上(1)或(2)所述的信息处理装置，其中，所述二维图像通过被显示为所述立体图像的影子而与所述立体图像相关联。
(4)根据以上(1)至(3)中任何一项所述的信息处理装置，其中，所述二维图像通过包括指示所述立体图像的显示而与所述立体图像相关联。
(5)根据以上(1)至(4)中任何一项所述的信息处理装置，其中，所述图像生成部使得所述识别部所识别的立体图像和所述二维图像中的至少一个的颜色变化。
(6)根据以上(1)至(5)中任何一项所述的信息处理装置，其中，所述图像生成部使得所述二维图像和所识别的立体图像的显示位置根据对所述二维图像的用户操作而变化。
(7)根据以上(1)至(6)中任何一项所述的信息处理装置，其中，所述图像生成部使得所述二维图像的大小根据用户操作而变化，而且使得所识别的立体图像的大小根据所述二维图像的大小的变化而变化。
(8)根据以上(1)至(6)中任何一项所述的信息处理装置，其中，当所识别的立体图像被以漂浮方式显示时，所述图像生成部使得所述二维图像的大小根据用户操作而变化，而且使得所识别的立体图像的显示位置根据所述二维图像的大小的变化而变化。
(9)根据以上(1)至(8)中任何一项所述的信息处理装置，其中，根据使得所述二维图像绕与显示所述合成图像的显示画面垂直的轴旋转的用户操作，所述图像生成部使得所识别的立体图像绕所述轴旋转。
(10)一种信息处理方法，包括：
通过将立体图像和与所述立体图像相关联的二维图像相合成来生成合成图像，所述立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及
当检测到对所述二维图像的用户操作时，识别与所述二维图像相关联的立体图像作为选择对象。
(11)一种包括指令的程序，所述指令命令计算机执行：
通过将立体图像和与所述立体图像相关联的二维图像相合成来生成合成图像的处理，所述立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及
当检测到对所述二维图像的用户操作时，识别与所述二维图像相关联的立体图像作为选择对象的处理。
(12)根据以上(11)所述的程序，其中，所述生成合成图像的处理使得所述识别处理所识别的立体图像和所述二维图像中的至少一个根据所述用户操作而变化。
(13)根据以上(11)或(12)所述的程序，其中，所述二维图像通过被显示为所述立体图像的影子而与所述立体图像相关联。
(14)根据以上(11)至(13)中任何一项所述的程序，其中，所述二维图像通过包括指示所述立体图像的显示而与所述立体图像相关联。
(15)根据以上(11)至(14)中任何一项所述的程序，其中，所述生成合成图像的处理使得所述识别处理所识别的立体图像和所述二维图像中的至少一个的颜色变化。
(16)根据以上(11)至(15)中任何一项所述的程序，其中，所述生成合成图像的处理使得所述二维图像和所识别的立体图像的显示位置根据对所述二维图像的用户操作而变化。
(17)根据以上(11)至(16)中任何一项所述的程序，其中，所述生成合成图像的处理使得所述二维图像的大小根据用户操作而变化，而且使得所识别的立体图像的大小根据所述二维图像的大小的变化而变化。
(18)根据以上(11)至(16)中任何一项所述的程序，其中，当所识别的立体图像被以漂浮方式显示时，所述生成合成图像的处理使得所述二维图像的大小根据用户操作而变化，而且使得所识别的立体图像的显示位置根据所述二维图像的大小的变化而变化。
(19)根据以上(11)至(18)中任何一项所述的程序，其中，根据使得所述二维图像绕与显示所述合成图像的显示画面垂直的轴旋转的用户操作，所述生成合成图像的处理使得所识别的立体图像绕所述轴旋转。
本公开包含与2011年6月9日向日本专利局提交的日本优先权专利申请JP 2011-129014中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。

Claims (19)

1.一种信息处理装置，包括：
图像生成部，该图像生成部通过将立体图像和与所述立体图像相关联的二维图像相合成来生成合成图像，所述立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及
识别部，当检测到对所述二维图像的用户操作时，所述识别部识别与所述二维图像相关联的立体图像作为选择对象。
2.根据权利要求1所述的信息处理装置，其中
所述图像生成部使得所述识别部所识别的立体图像和所述二维图像中的至少一个根据所述用户操作而变化。
3.根据权利要求1所述的信息处理装置，其中
所述二维图像通过被显示为所述立体图像的影子而与所述立体图像相关联。
4.根据权利要求1所述的信息处理装置，其中
所述二维图像通过包括指示所述立体图像的显示而与所述立体图像相关联。
5.根据权利要求1所述的信息处理装置，其中
所述图像生成部使得所述识别部所识别的立体图像和所述二维图像中的至少一个的颜色变化。
6.根据权利要求1所述的信息处理装置，其中
所述图像生成部使得所述二维图像和所识别的立体图像的显示位置根据对所述二维图像的用户操作而变化。
7.根据权利要求1所述的信息处理装置，其中
所述图像生成部使得所述二维图像的大小根据用户操作而变化，而且使得所识别的立体图像的大小根据所述二维图像的大小的变化而变化。
8.根据权利要求1所述的信息处理装置，其中
当所识别的立体图像被以漂浮方式显示时，所述图像生成部使得所述二维图像的大小根据用户操作而变化，而且使得所识别的立体图像的显示位置根据所述二维图像的大小的变化而变化。
9.根据权利要求1所述的信息处理装置，其中
根据使得所述二维图像绕与显示所述合成图像的显示画面垂直的轴旋转的用户操作，所述图像生成部使得所识别的立体图像绕所述轴旋转。
10.一种信息处理方法，包括：
通过将立体图像和与所述立体图像相关联的二维图像相合成来生成合成图像，所述立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及
当检测到对所述二维图像的用户操作时，识别与所述二维图像相关联的立体图像作为选择对象。
11.一种包括指令的程序，所述指令命令计算机执行：
通过将立体图像和与所述立体图像相关联的二维图像相合成来生成合成图像的处理，所述立体图像是从其间具有视差并且被执行透视校正的右眼图像和左眼图像生成的，以及
当检测到对所述二维图像的用户操作时，识别与所述二维图像相关联的立体图像作为选择对象的处理。
12.根据权利要求11所述的程序，其中
所述生成合成图像的处理使得所述识别处理所识别的立体图像和所述二维图像中的至少一个根据所述用户操作而变化。
13.根据权利要求11所述的程序，其中
所述二维图像通过被显示为所述立体图像的影子而与所述立体图像相关联。
14.根据权利要求11所述的程序，其中
所述二维图像通过包括指示所述立体图像的显示而与所述立体图像相关联。
15.根据权利要求11所述的程序，其中
所述生成合成图像的处理使得所述识别处理所识别的立体图像和所述二维图像中的至少一个的颜色变化。
16.根据权利要求11所述的程序，其中
所述生成合成图像的处理使得所述二维图像和所识别的立体图像的显示位置根据对所述二维图像的用户操作而变化。
17.根据权利要求11所述的程序，其中
所述生成合成图像的处理使得所述二维图像的大小根据用户操作而变化，而且使得所识别的立体图像的大小根据所述二维图像的大小的变化而变化。
18.根据权利要求11所述的程序，其中
当所识别的立体图像被以漂浮方式显示时，所述生成合成图像的处理使得所述二维图像的大小根据用户操作而变化，而且使得所识别的立体图像的显示位置根据所述二维图像的大小的变化而变化。
19.根据权利要求11所述的程序，其中
根据使得所述二维图像绕与显示所述合成图像的显示画面垂直的轴旋转的用户操作，所述生成合成图像的处理使得所识别的立体图像绕所述轴旋转。
CN2012101932536A 2011-06-09 2012-06-04 信息处理装置、信息处理方法和程序 Pending CN102819385A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011129014A JP2012256214A (ja) 2011-06-09 2011-06-09 情報処理装置、情報処理方法、およびプログラム
JP2011-129014 2011-06-09

Publications (1)

Publication Number Publication Date
CN102819385A true CN102819385A (zh) 2012-12-12

Family

ID=47293246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101932536A Pending CN102819385A (zh) 2011-06-09 2012-06-04 信息处理装置、信息处理方法和程序

Country Status (3)

Country Link
US (2) US9218113B2 (zh)
JP (1) JP2012256214A (zh)
CN (1) CN102819385A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224121A (zh) * 2014-07-03 2016-01-06 深圳Tcl新技术有限公司 密码输入方法及系统
CN107683499A (zh) * 2015-06-03 2018-02-09 索尼公司 基于观测识别用户并执行基于用户的功能的信息处理装置、方法和程序
CN110321846A (zh) * 2019-07-04 2019-10-11 上海融客软件科技有限公司 3d图形处理方法、装置、加工方法及电子终端

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144056A (ko) * 2013-06-10 2014-12-18 삼성전자주식회사 객체 편집 방법 및 그 전자 장치
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
US9959658B2 (en) 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
US10469803B2 (en) * 2016-04-08 2019-11-05 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
US10839593B2 (en) 2016-04-08 2020-11-17 Maxx Media Group, LLC System, method and software for adding three-dimensional images to an intelligent virtual assistant that appear to project forward of or vertically above an electronic display
JOP20190237A1 (ar) * 2016-04-08 2017-06-16 Maxx Media Group Llc نظام، وطريقة وبرنامج لإنتاج صور ثلاثية الأبعاد افتراضية يتم عرضها لتسقط أمام أو فوق شاشة إلكترونية
US10475233B2 (en) * 2016-04-08 2019-11-12 Maxx Media Group, LLC System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
US10230939B2 (en) * 2016-04-08 2019-03-12 Maxx Media Group, LLC System, method and software for producing live video containing three-dimensional images that appear to project forward of or vertically above a display
US10560683B2 (en) * 2016-04-08 2020-02-11 Maxx Media Group, LLC System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
US10489978B2 (en) * 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
CN110915207B (zh) * 2017-04-06 2023-09-29 迈卡斯媒体集团有限公司 用于制作包含三维图像的实时视频的系统和方法
CN110998669B (zh) * 2017-08-08 2023-12-08 索尼公司 图像处理装置和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471873B2 (en) * 2006-10-17 2013-06-25 Oracle America, Inc. Enhanced UI operations leveraging derivative visual representation
JP5246490B2 (ja) 2008-08-29 2013-07-24 ソニー株式会社 入出力装置
JP5563250B2 (ja) 2009-06-30 2014-07-30 株式会社ジャパンディスプレイ 立体画像表示装置
EP2489195A1 (en) * 2009-10-14 2012-08-22 Nokia Corp. Autostereoscopic rendering and display apparatus
US20120249461A1 (en) * 2011-04-01 2012-10-04 Analog Devices, Inc. Dedicated user interface controller for feedback responses

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224121A (zh) * 2014-07-03 2016-01-06 深圳Tcl新技术有限公司 密码输入方法及系统
WO2016000417A1 (zh) * 2014-07-03 2016-01-07 深圳Tcl新技术有限公司 密码输入方法及系统
CN105224121B (zh) * 2014-07-03 2017-12-12 深圳Tcl新技术有限公司 密码输入方法及系统
CN107683499A (zh) * 2015-06-03 2018-02-09 索尼公司 基于观测识别用户并执行基于用户的功能的信息处理装置、方法和程序
CN110321846A (zh) * 2019-07-04 2019-10-11 上海融客软件科技有限公司 3d图形处理方法、装置、加工方法及电子终端
CN110321846B (zh) * 2019-07-04 2021-04-30 上海融客软件科技有限公司 3d图形处理方法、装置、加工方法及电子终端

Also Published As

Publication number Publication date
JP2012256214A (ja) 2012-12-27
US9766793B2 (en) 2017-09-19
US20160110078A1 (en) 2016-04-21
US9218113B2 (en) 2015-12-22
US20120314934A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
CN102819385A (zh) 信息处理装置、信息处理方法和程序
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
US7724208B1 (en) Control of depth movement for visual display with layered screens
JP4901539B2 (ja) 立体映像表示システム
US9086742B2 (en) Three-dimensional display device, three-dimensional image capturing device, and pointing determination method
JP5916037B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
WO2004066137A9 (en) System and method for managing a plurality of locations of interest in 3d data displays
US9207756B2 (en) Apparatus and method for controlling 3D image
CN108474950A (zh) Hmd设备及其控制方法
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
JP6065908B2 (ja) 立体画像表示装置、そのカーソル表示方法及びコンピュータプログラム
US20140040832A1 (en) Systems and methods for a modeless 3-d graphics manipulator
Stenicke et al. Interscopic user interface concepts for fish tank virtual reality systems
CN105046748B (zh) 一种三维地质体场景中可形成图像的3d相框装置
JP5767371B1 (ja) 仮想空間平面上に配置したオブジェクトを表示制御するゲーム・プログラム
JP3413145B2 (ja) 仮想空間の編集方法及び仮想空間の編集装置
JP2016016319A (ja) 仮想空間平面上に配置したオブジェクトを表示制御するゲーム・プログラム
JP4907156B2 (ja) ３次元ポインティング方法および３次元ポインティング装置ならびに３次元ポインティングプログラム
JP2005332231A (ja) ポインティング方法およびポインティング装置、ならびにポインティングプログラム
JP5520772B2 (ja) 立体画像の表示システム及び表示方法
JP6002346B1 (ja) ゲームにおけるオブジェクト画像表示のためのプログラム、方法、電子装置及びシステム
KR100583237B1 (ko) 입체 바탕화면 제어 장치 및 그 방법
CN106502376A (zh) 一种3d触控操作方法、电子设备及3d眼镜
Steinicke et al. 3d user interfaces for collaborative work
KR20180034892A (ko) 3d 모델링 제어 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121212