CN102207796A - 图像处理设备、图像显示方法、图像显示程序及记录介质 - Google Patents

图像处理设备、图像显示方法、图像显示程序及记录介质 Download PDF

Info

Publication number
CN102207796A
CN102207796A CN2011100739217A CN201110073921A CN102207796A CN 102207796 A CN102207796 A CN 102207796A CN 2011100739217 A CN2011100739217 A CN 2011100739217A CN 201110073921 A CN201110073921 A CN 201110073921A CN 102207796 A CN102207796 A CN 102207796A
Authority
CN
China
Prior art keywords
image
unit
display screen
reproducer
indicant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100739217A
Other languages
English (en)
Inventor
山口祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102207796A publication Critical patent/CN102207796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

本申请涉及图像处理设备、图像显示方法、图像显示程序及记录介质。图像处理设备包括：图像显示控制单元，该单元控制显示屏幕上的图像显示；图像生成单元，该单元生成包括问题和选项按钮的问题图像，选项按钮由能够针对所述问题来任意选择的图标构成；位置检测单元，该单元从通过对显示屏幕进行成像而获得的成像数据中检测显示屏幕上存在的指示物的位置；位置信息存储单元，该单元存储当问题图像被显示在显示屏幕上时图标的位置；控制单元，该单元基于指示物的位置来指定图标中被指示物选择的图标，并基于位置信息存储单元中存储的、与被指定为已被选择的图标相对应的图标位置来校正指示物的位置。

Description

图像处理设备、图像显示方法、图像显示程序及记录介质
技术领域
本发明涉及图像处理设备、显示图像的方法、图像显示程序以及其上记录有图像显示程序的记录介质，更具体地，涉及光学触摸板中的校正处理，所述光学触摸板例如使用附接有双透镜相机的再现设备。
背景技术
提出了许多使用多个相机等通过计算手指、笔等在屏幕上指点的位置(触摸位置)来实现所谓的触摸UI(用户界面)的技术。这种触摸UI被称为光学触摸板并且被应用到连接到个人计算机等的显示设备、电子黑板等。
图1是例示了实现触摸UI的光学触摸板的示例的示图。一般地，光学触摸板由外部输出设备1和装载在其上部左右两侧的两个相机2和3构成。当两个相机2和3的镜头之间的距离L以及从每个相机到触摸位置的角度α和β已知时，相机2和3和屏幕上的触摸位置之间的距离L1和L2被获取，从而触摸位置可以被计算。另外，外部输出设备1可具有显示功能。外部输出设备1的示例包括电视机、显示设备等等。
实际上，仅使用相机，难以精确地测量相机和屏幕上的触摸位置之间的距离。因此，如图1所示，红外线发送功能在相机2和3中实现，并且用于反射红外线的框架1a同时被布置在外部输出设备1的侧部和下部。有很多采用从相机2和3发射红外线的形式的光学触摸板，并且发射的红外线被手指4等阻挡并且不从框架1a返回的部分的位置被计算。在以电子黑板等或手指的指示物的梢端为单位的精度被要求的场合，位置检测的精度通过使用红外线等而增加。然而，在诸如手等具有相对大的尺寸的对象可被近似地感知的场合，即便是在当前的技术中，也只有相机可被使用。
在被应用到一般的连接到个人计算机等的显示设备、电子黑板等的光学触摸板的场合，相机被固定到外部输出设备。因此，这种光学触摸板在工厂等中被调整以使得屏幕上的实际触摸位置与检测到的触摸位置彼此一致之后发货。然而，在诸如相机之类的位置检查传感器是可拆除的场合，由于当传感器未被正确地安装在外部输出设备中时的安装位置而在光学触摸板中出现触摸位置的被检测位置的差错。因此，为了执行传感器和屏幕之间的相对位置的分析，校正处理是有必要的。
图2A至2C是例示了使用双透镜的光学触摸板中出现的被检测位置的差错的例子的示图。如图2A所示，在双透镜相机12被安装在被布置在外部输出设备10的屏幕外围的框架11的上部中心的场合，基于从双透镜相机12的每个透镜朝着触摸位置A形成的角度α和β来检测触摸位置A。另一方面，如图2B所示，在双透镜相机12被安装在偏向被布置在外部输出设备10的屏幕外围的框架11的上部中心右侧的场合，基于从双透镜相机12的每个透镜朝着屏幕上的触摸位置A形成的角度α′和β′来检测触摸位置A。
因此，在双透镜相机12离外部输出设备10的框架11上部中心的偏移未知的场合，触摸位置是基于双透镜相机12被安装在其中心的假设来计算的。换言之，如图2C所示，不是触摸位置A而是触摸位置A’被错误地识别为已被指点。为了解决这一点，当相机被安装在外部输出设备中时，校正操作对于在可从外部输出设备拆除的相机而言是有必要的。
提出了若干校正方法。一般地，为了执行校正处理，屏幕上若干点的位置有必要被正确地识别。作为示例，存在一种使用信息输入辅助表的校正方法，其中校正标记被形成在两个或多个角落部分和中心部分(例如，参见JP-A-2009-043228)。
作为其高级类型，为了使得屏幕上多个点的位置被正确地识别，提出了确认按钮(图标)被显示在希望在屏幕上被按压的位置的校正方法(例如，参加JP-A-2004-054413)。
图3是例示了一般校正方法的示图。作为用于校正的点，至少三个点被显示在外部输出设备10的屏幕的角落里并且被用户依次触摸。然后，用于修正触摸位置和双透镜相机12(传感器)之间的位置关系的修正值被计算并且被添加到通过三角测量获得的值上，从而被检测位置的差错被修正。此外，通过增加点的数目，差错可以以更高的精度被修正。
发明内容
然而，从被确定的屏幕上的点(JP-A-2004-054413的图12中表示的输入点R1、S1、T1和U1)被触摸的角度看，JP-A-2004-054413中公开的技术基本上与JP-A-2009-043228中公开的一般校正方法相同。虽然有着用户不必记得要执行校正操作的优点，但是存在按压预定位置的大负担。
因此，希望通过以更自然的、用户意识不到的方式来执行用户讨厌的校正操作来减轻用户的工作负担。
根据本发明的一个实施例，通过使用图像处理设备中包含的图像生成单元来生成包括问题和选项按钮的问题图像，所述选项按钮由可针对所述问题来任意选择的多个图标构成。接着，显示屏幕上存在的指示物的位置被位置检测单元从通过对显示屏幕成像而获得的成像数据中检测到，在所述显示屏幕上，图像显示由图像显示控制单元来控制。然后，被指示物选择的多个图标之一基于被位置检测单元检测到的指示物的位置而被控制单元指定。接下来，位置检测单元检测到的、与被指定为已被选择的图标相对应的指示物的位置基于当由图像生成单元生成并在位置信息存储单元中存储的问题图像被显示在显示屏幕上时图标的位置而被校正。
在根据本发明实施例的上述配置中，问题和多个选项按钮被显示在显示屏幕上以便允许用户选择选项按钮，并且校正与用户的操作并列地在后台执行。因此，校正以更自然的、用户意识不到的方式进行。
根据本发明的一个实施例，用户的工作负担通过以更自然的、用户意识不到的方式来执行用户讨厌的校正操作而被减轻。
附图说明
图1是例示了一般的光学触摸板的示例的图示；
图2A至2C是例示了在使用附接有双透镜相机的再现设备的光学触摸板中发生被检测位置的差错的例子的图示；
图3是例示了一般的校正方法的图示；
图4A至4E是根据本发明一个实施例的附接有双透镜相机的再现设备的外部视图；
图5是根据本发明一个实施例的使用附接有双透镜相机的再现设备的光学触摸板的前视图；
图6是根据本发明一个实施例的附接有双透镜相机的再现设备的第一修改例的前视图；
图7是根据本发明一个实施例的附接有双透镜相机的再现设备的第二修改例的前视图；
图8是根据本发明一个实施例的附接有双透镜相机的再现设备的第三修改例的前视图；
图9是根据本发明一个实施例的附接有双透镜相机的再现设备的第四修改例的前视图；
图10A至10D是例示了大尺寸外部输出设备的触摸UI的另一示例的图示；
图11A至11C是例示了大尺寸外部输出设备的触摸UI的另一示例的图示(1)；
图12A至12C是例示了大尺寸外部输出设备的触摸UI的另一示例的图示(2)；
图13A至13C是例示了大尺寸外部输出设备的触摸UI的另一示例的图示(3)；
图14是例示了根据本发明一个实施例的附接有双透镜相机的再现设备的内部配置的示例的框图；
图15是例示了图14所示的附接有双透镜相机的再现设备的操作的概况的流程图；
图16是代表将图14所示的附接有双透镜相机的再现设备和外部输出设备相连的处理的流程图；
图17是代表校正模式下的图14所示的附接有双透镜相机的再现设备的处理的流程图；
图18是例示了校正模式下的使用图5所示的附接有双透镜相机的再现设备的光学触摸板上显示的(左上和右上的)问题的示例的图示；
图19是例示了校正模式下的使用图5所示的附接有双透镜相机的再现设备的光学触摸板上显示的(左上和左下的)问题的示例的图示；
图20是例示了校正模式下的使用图5所示的附接有双透镜相机的再现设备的光学触摸板上显示的(左下和右下的)问题的示例的图示；
图21是例示了校正模式下的使用图5所示的附接有双透镜相机的再现设备的光学触摸板上显示的(右上和右下的)问题的示例的图示；
图22是例示了校正模式下的使用图5所示的附接有双透镜相机的再现设备的光学触摸板上显示的(右下的)问题的示例的图示；
图23是例示了校正模式下的使用图5所示的附接有双透镜相机的再现设备的光学触摸板上显示的(左上和右上的)问题(1)的示例的图示；
图24是例示了校正模式下的使用图5所示的附接有双透镜相机的再现设备的光学触摸板上显示的(左上和右上的)问题(2)的示例的图示；
图25是例示了使用附接有双透镜相机的再现设备的光学触摸板的横截面视图；
图26是例示了双透镜相机获取的图像的示例的图示；
图27A和27B是例示了对象位置的识别的图示；
图28是例示了当双透镜相机被安装在中心时的使用双透镜相机的光学触摸板的左下角和右下角的识别的图示；
图29是例示了当双透镜相机被安装成偏离中心时位于光学触摸板的左下角和右下角的对象的识别的图示；
图30A例示了在使用附接有双透镜相机的再现设备的光学触摸板被应用到具有大屏幕的外部输出设备的情况中校正模式下显示的(左上和右上的)选项按钮的示例；
图30B是例示了修正尺寸后的(左上和右上的)选项按钮的示例的图示。
具体实施方式
以下，将参考附图来描述本发明的示例性实施例。将按以下各项的次序来进行描述。
1.实施例(问题和选项按钮被显示的示例)
2.其他(选项按钮根据屏幕尺寸被以放大比例显示的示例)
<1.实施例>
[附接有双透镜相机的再现设备的外观]
将描述这样的示例：其中，用于光学触摸板的、根据本发明的实施例的图像处理设备被应用到再现设备，该再现设备具有安装了多个透镜的相机。图4A至4E是根据本发明实施例的附接有双透镜相机的再现设备的外部视图。图4A是前视图。图4B和4C是盖子打开和闭合的底视图。图4D和4E是盖子打开和闭合的侧视图。
附接有双透镜相机的再现设备(以下，简称为“再现设备”)20是图像处理设备的示例并包括双镜透镜21A和21B和快门按钮22。当用户按压快门按钮22时，再现设备20可以使用来自一个透镜的光学图像的输入来拍摄和记录二维视频(静止图像或运动图像)。另外，再现设备20可以使用来自双镜透镜21A和21B的光学图像的输入来拍摄和记录三维视频(静止图像或运动图像)。以下，与由透镜接收的光学图像相对应的静止图像和运动图像被统称为“视频”，并且视频的数据被称为“视频数据”。
在本实施例中，拍摄的视频被记录在位于图4B所示的底盖23被打开时的位置的、图4C所示的存储卡24中。如图4C所示，再现设备20包括电池25并且还可在户外等使用。另外，通过将AC电源连接到位于图4D所示的侧盖26被打开时的位置的、图4E所示的电源终端27以对再现设备20提供电力，再现设备20可以在不将电池25插入其中的情况下操作，或者电池25可被充电。另外，通过将线缆连接到图4E所示的外部输出终端28，再现设备20可以连接到诸如电视机等的外部输出设备。这里，再现设备20的键布局、输入/输出端子等仅是示例，并且实施例不限于此。
[安装了再现设备的光学触摸板的外观]
图5是使用再现设备20的光学触摸板的前视图。如图5所示，再现设备20在再现设备20的镜头21A和21B置于下侧的状态下被安装到外部输出设备10的框架11的上侧。因此，如图5所示，通过使用视频利用三点测量获取诸如手、手指或笔之类的指示物的位置，触摸UI可被实现，其中所述视频是使用双透镜21A和21B获取的。如上所述，当镜头21A和21B之间的距离d和朝向触摸位置A的角度α和β已知时，一般地，触摸位置可被计算。
外部输出设备10可具有显示功能并且诸如电视机或液晶显示板之类的显示设备可被使用。
图6是根据本发明实施例的附接有双透镜相机的再现设备的第一修改例的前视图。当再现设备20被安装时，双透镜相机的双眼(镜头21A和21B)能够检测外部输出设备10的屏幕四角是有必要的。当外部输出设备10的大屏幕的四个角不被配合在其中时，广角透镜被使用。作为替代，如图6所示，使得再现设备20能够被安装在与外部输出设备10的框架11的上部分离的位置的固定物(支架等)可被附接到框架11的上部。
图7是根据本发明实施例的附接有双透镜相机的再现设备的第二修改例的前视图。与图6所示的示例不同，如图7所示，可以进行配置使得再现设备20被在中心处被划分为再现设备20-1和20-2，并且再现设备20-1和20-2通过线缆20C相互连接。
图8是根据本发明实施例的附接有双透镜相机的再现设备的第三修改例的前视图。如图8所示，再现设备20-1和20-2按照信息以无线的方式被交换的形式被安装。图9是根据本发明实施例的附接有双透镜相机的再现设备的第四修改例的前视图。另外，双透镜可不被布置成完全向下，并且可以按如图9所示的倾斜的方向被布置在框架11的角落附近，只要外部输出设备10的屏幕四角能够被捕获即可。
[使用具有大屏幕的外部输出设备实现的触摸UI]
以下，将描述外部输出设备10所实现的触摸UI。图10A至10D是例示了外部输出设备10的触摸UI的示例的图示。在图10A至10D所示的示例中，将以再现设备20按图5所示的形式被安装在外部输出设备10上并且能够检测屏幕四角为前提给出描述。
在使用根据本实施例的再现设备20的光学触摸板中，当用户按压如图10A所示的外部输出设备10的模式切换按钮10B时，从诸如记录模式之类的另一模式到再现模式的切换可被执行。
在再现设备20具有拍摄功能的情况中，外部输出设备10可以再现使用拍摄功能记录的视频数据或由另一拍摄设备拍摄的视频数据等。当外部输出设备10通过按压模式切换按钮10B被切换到再现模式时，记录卡24中记录的视频数据的列表被显示在屏幕上。在图10A所示的示例中，六个缩略图被显示在屏幕上。这里，当希望执行再现时，与希望被再现的视频相对应的缩略图被用手指4触摸，由此希望的视频被选择。这里，缩略图30S被选择，并且与之相应的被选图像30如图10B所示被显示和再现在整个屏幕上。这里，例如，如图10C所示，当手指4滑动到光学触摸板的左侧时，被选图像30根据手指4的移动而移动到左侧，并且如图10D所示，显示可被切换到紧挨着图像30记录的图像31。
在诸如智能电话、数字静止相机、数字视频相机之类的移动电话中，能够被直观地执行的触摸操作已成为主流。同时，这种趋势蔓延到诸如连接到电视机或个人计算机的显示设备之类的外部输出设备，并且近来，触摸UI功能已被安装在近来作为标准可以商购的OS(操作系统)中。因此，在诸如连接到电视机或个人计算机的显示设备之类的外部输出设备中，仅能在大屏幕上执行的直观操作可被执行。
图11A至11C是例示了外部输出设备10的触摸UI的另一示例的图示(1)。这里，再现设备20被连接到具有大屏幕的外部输出设备10的情况或其中记录了视频数据的存储卡被插入到安装在外部输出设备10中的存储卡读取器中的情况被假设。如图11A所示，在外部输出设备10中，记录的视频数据的缩略图被划分成类别以形成看起来像散布在桌面上的缩略图的显示。在图11A所示的示例中，属于运动节日类别、旅游类别和校友会类别的缩略图群32-1至32-3被显示。
例如，当屏幕上与旅游类别的山相对应的部分通过用手指4触摸被选择时，如图11B所示，与旅游有关的照片按照旅游的时期、地点等的分类被显示。在该示例中，包括旅游A、旅游B和旅游C在内的三个类别的缩略图群33-1至33-3被显示。此时，当与旅游B的缩略图群33-2相对应的部分通过用手指4触摸被选择时，如图11C所示，仅已选择的旅游B的缩略图群33-2留在屏幕上。
图12A至12C是例示了外部输出设备10的触摸UI的另一示例的图示(2)。这里，如图12A所示，如下操作可被执行，其中对于旅游B的缩略图群33-2的希望被详细查看的部分，照片集合中形成某种程度的群的集合被移动到桌面上。换言之，当手指4在屏幕上从与旅游B的缩略图群33-2相对应的部分移动到另一部分时，如图12A所示，缩略图群34-1至34-3可在手指4滑动的方向上被移动，其中在缩略图群34-1至34-3中，缩略图以若干个群的形式形成。
然后，被移动的缩略图群34-1至34-3中用户感兴趣的缩略图群的部分被用手指触摸。例如，当缩略图群34-1的部分被用手指触摸时，如图12B所示，不是被选择的缩略图群34-1的缩略图群被从屏幕移除。之后，如图12C所示，被选缩略图群34-1中包含的缩略图35-1至35-6通过在整个屏幕上延伸而被显示。
图13A至13C是例示了外部输出设备10的触摸UI的另一示例的图示(3)。当希望查看的缩略图被从图12C所示的缩略图35-1至35-6中选择时，如图13A所示，通过放大被选缩略图而获取的被选图像36被显示在整个屏幕上。然后，如图13B所示，当手指4等在屏幕上滑动到例如左侧时，被选图像36根据手指4的移动而移动到左侧，并且如图13C所示，显示被切换到下一图像37。
难以实现这样的UI：在该UI中，可以从诸如移动设备的屏幕之类的小屏幕中的多个图像中直观地选择图像，该UI只能在大屏幕中实现。换言之，为了实现该UI，诸如连接到安装了触摸板的大屏幕电视机或个人计算机的显示设备之类的外部输出设备是有必要的。然而，上述触摸UI可以通过将根据本发明实施例的附接有双透镜相机的再现设备连接到普通输出设备而使用其中普通外部输出设备来实现，其中在所述普通外部输出设备中未安装触摸板。
[附接有双透镜相机的再现设备的内部配置]
图14是例示了根据本发明实施例的附接有双透镜相机的再现设备20的内部配置的示例的框图。再现设备20主要由“再现功能”、“位置检测功能”和“指示输入功能”这三个功能构成。这些功能中的每个功能由下面描述的各种功能构成。再现设备20包括记录介质控制单元101、记录数据解码单元102、图像数据存储单元103、缩略数据存储单元104、输出图像生成单元105、外部输出单元106、问题显示生成单元117和控制信号生成单元116的功能，作为再现功能。另外，再现设备20包括成像单元107(右侧)、成像单元108(左侧)、成像数据信号处理单元109(右侧)、成像数据信号处理单元110(左侧)、位置检测单元111、调整值存储单元118和控制信号生成单元116的功能，作为位置检测功能。此外，再现设备20包括输入单元112、加速度传感器113、角度传感器114、外部输出设备检测单元115和控制信号生成单元116的功能，作为指示输入功能。
首先，将描述再现功能中包括的各种功能。记录介质控制单元101通过控制记录介质100来读出视频数据，在所述记录介质100上通过使用根据本发明实施例的再现设备20或另一拍摄设备中包含的拍摄功能而记录了通过执行拍摄和记录而获取的视频数据。由记录介质控制单元101从记录介质100读出的视频数据被发送到记录数据解码单元102。作为记录介质100，半导体存储器、诸如CD、DVD或蓝光盘(注册商标)之类的盘介质、硬盘等可被使用。在图14所示的示例中，记录介质100被描述为外部介质。然而，记录介质100可以内建在再现设备20中。另外，视频数据可被记录在通过无线通信连接到再现设备20的网络上存在的服务器等中。
记录数据解码单元102从记录介质控制单元101接收从记录介质100读出的视频数据并解码该视频数据。在多个静止图像数据是有必要的或者运动图像数据被处理的情况中，解码操作可在多个静止图像数据或运动图像数据的多个帧被存储在由半导体存储器等构成的记录数据解码单元102内包含的临时存储单元中之后被执行。然后，视频数据被从记录数据解码单元102发送到图像数据存储单元103，并且缩略数据被发送到缩略数据存储单元104。
图像数据存储单元103由半导体存储器等构成并且能够临时记录一组或多组静止图像数据或一帧或多帧运动图像数据。其中存储的视频数据被发送到输出图像生成单元105。
缩略数据存储单元104由半导体存储器等构成并且临时记录一组或多组缩略图像数据。其中存储的缩略数据被发送到输出图像生成单元105。
输出图像生成单元105是图像生成单元的一个示例。该输出图像生成单元105基于从图像数据存储单元103发送来的视频数据、从缩略数据存储单元104发送来的缩略数据、从问题显示生成单元117发送来的问题数据和选项按钮数据以及从位置检测单元111发送来的触摸位置信息来通过控制信号生成单元116生成输出图像。
例如，在与视频数据相对应的图像的全屏显示被执行的情况中，或者在与视频数据相对应的多个图像被显示的情况中，输出图像通过使用从图像数据存储单元103发送来的视频数据而生成。另一方面，在希望生成缩略列表屏幕的情况中，输出图像通过使用从缩略数据存储单元104发送来的缩略数据而生成。此外，在希望执行问题显示的情况中，输出图像通过组合从问题显示生成单元117发送来的问题数据和选项按钮数据而生成。另外，在希望输出多个模式的组合图像的情况中，数据从图像数据存储单元图像数据存储单元103、缩略数据存储单元104和问题显示生成单元117被获取并且通过组合所获取的数据来生成输出图像。
另外，输出图像生成单元105可基于关于指示物的触摸位置信息来改变与外部输出设备10的屏幕上显示的每条视频数据相对应的图像的显示位置、显示内容等。然后，输出图像生成单元105将生成的输出图像的数据发送到外部输出单元106。这里，输出图像生成单元105还是构成控制显示屏幕上的图像显示(在本示例中，外部输出设备10)的图像显示控制单元的一个要素。
问题显示生成单元117与输出图像生成单元105一起构成图像生成单元。根据从控制信号生成单元116发送来的问题显示命令，该问题显示生成单元117确定要显示的问题和作为图标来显示的选项按钮的位置并将问题数据和选项按钮数据发送到输出图像生成单元105。
外部输出单元106向其外侧(在本示例中，外部输出设备10)输出由输出图像生成单元105生成的输出图像数据并与输出图像生成单元105一起构成图像显示控制单元。该外部输出单元106使用HDMI(高清多媒体接口)等连接到外部输出设备10并具有显示由输出图像生成单元105生成的输出图像数据的功能。作为其连接方法，不仅诸如HDMI之类的使用线缆的连接方法而且诸如UWB(超宽带)之类的使用无线通信的连接方法可被使用。
以下，将描述位置检测功能中包含的各种功能。布置在右侧的成像单元107是在再现设备20的左侧和右侧设置的成像设备之一。成像单元107在建立于其中的诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器之类的成像器件上形成物体的光学图像，并将成像器件中累积的电信号发送到成像数据信号处理单元109。
布置在左侧的成像单元108是在再现设备20的左侧和右侧设置的成像设备之一并具有与成像单元107相同的功能。
成像数据信号处理单元109执行针对从成像单元107接收的成像数据的分辨率转换或修正处理等，并将已执行了各种处理的成像数据发送到位置检测单元111。
与成像数据信号处理单元109类似地，成像数据信号处理单元110执行针对从成像单元108接收的成像数据的各种处理等，并将处理后的成像数据发送到位置检测单元111。
调整值存储单元118是位置信息存储单元的示例并且由半导体存储器等构成。调整值存储单元118在校正时记录从位置检测单元111接收的修正数据(修正值)。另一方面，调整值存储单元118在检测到触摸位置时将记录的修正数据发送到位置检测单元111。调整值存储单元118由半导体存储器等构成。
位置检测单元111基于从成像数据信号处理单元109、成像数据信号处理单元110接收的图像信息和从调整值存储单元118接收的修正数据来计算屏幕上指示物的位置(触摸位置)。计算出的位置信息被发送到控制信号生成单元116。
下面，将描述指示输入功能中包含的各种功能。输入单元112根据用户的指示输入来从安装在再现设备20中的各种输入设备接收输入信号并对收到的输入信号进行解码，并且将输入信号中包含的命令发送到控制信号生成单元116。输入设备的示例包括推动开关、触摸板、遥控器(使用红外线、无线LAN等)等等。
加速度传感器113测量再现设备20的加速度并将测得的加速度发送到控制信号生成单元116。
角度传感器114由加速度传感器、重力传感器等构成。角度传感器114测量朝向再现设备20的方向上的角度状态并将测得的角度信息发送到控制信号生成单元116。
外部输出设备检测单元115检测再现设备20连接到外部输出设备10并将该连接通知给控制信号生成单元116。在外部输出设备10的设备信息可使用诸如HDMI-CEC(HDMI-消费电子控制)之类的技术来接收的情况中，外部输出设备检测单元115将收到的设备信息也发送到控制信号生成单元116。
最后，控制信号生成单元116是控制单元的示例并负责控制再现功能、位置检测功能、指示输入功能等等。换言之，控制信号生成单元116基于从输入单元112、加速度传感器113、角度传感器114、外部输出设备检测单元115、位置检测单元111接收来的信息来生成控制信号，并且向每个单元发出控制信号。该控制信号生成单元116例如可以由CPU(中央处理单元)等构成并通过将由半导体存储器等构成的非易失性存储器119中记录的用于控制操作的计算机程序读取到工作内存中(图中未示出)和运行所读取的计算机程序来实现每个单元的控制。作为替代，可以进行配置以使得计算机程序被存储在存储卡24中(见图4A至4E)，并且控制信号生成单元116从存储卡24读出计算机程序并运行所读取的计算机程序。
[附接有双透镜相机的再现设备的操作]
图15是例示了图14所示的附接有双透镜相机的再现设备20的操作的概况的流程图。首先在步骤S1中，控制信号生成单元116根据来自输入设备的用户的启动指示而接收输入信号，并开启再现设备20的电源然后进行到步骤S2。
在步骤S2中，控制信号生成单元116从外部输出设备检测单元115接收指示再现设备20和外部输出设备10互连因此是可通信的通知并进行到步骤S3。该处理稍后将详细描述。
在步骤S3中，控制信号生成单元116通过显示包含用于模式选择或对外部输出设备10的屏幕设置的选项按钮(图标)来提示用户选择或设置。然后，控制信号生成单元116基于屏幕上由位置检测单元111检测的指点设备的位置来从多个图标中指定被指点设备选择的图标。接着，控制信号生成单元116基于调整值存储单元118中存储的、被指定为已被选择的图标的位置来校正被位置检测单元111检测到的指示物的位置。当用户在查看包含屏幕上显示的选项的图像时执行希望的选项按钮的选择或设置时，控制信号生成单元116与该用户操作并列地在后台校正光学触摸板，并进行到步骤S4，该处理稍后将详细描述。
在步骤S4中，控制信号生成单元116确定校正是否成功。处理在校正成功的情况下进行到步骤S6，处理在校正未成功的情况下进行到步骤S5。
在步骤S5中，控制信号生成单元116确定校正是否将被再次执行。例如，作为确定标准，对用户通过选项按钮的操作选择重新校正的确定可被使用。作为替代，可以进行配置以使得用于选择左/右侧的屏幕被输出到外部输出设备10，并且被选侧通过使用成像单元107和108进行拍摄和识别诸如手指之类的指示物存在于哪一侧而被获取，其中用于选择左/右侧的屏幕被用来允许用户选择是否执行重新校正。作为替代，作为初始设置等，可以确定校正将被重复直至校正不成功多达三次并且在第四次完成校正。当作为确定处理、重新校正基于此被选择为执行时，处理进行到步骤S3。另一方面，当重新校正被选择为不执行时，处理进行到步骤S9并结束。
在步骤S6中，控制信号生成单元116确定触摸UI再现模式是否被用户选择。当触摸UI再现模式被选择时，处理进行到步骤S7。另一方面，当触摸UI再现模式未被选择时，处理进行到步骤S8。
在步骤S7中，控制信号生成单元116操作触摸UI再现模式。当触摸UI再现模式完成时，处理进行到步骤S9。该处理稍后将详细描述。
在步骤S8中，控制信号生成单元116操作普通再现模式。当普通再现模式完成时，处理进行到步骤S9。该处理稍后将详细描述。
在步骤S9中，当检测到断电、模式切换、再现设备20从外部输出设备10断开等等时，控制信号生成单元116结束操作。
[连接再现设备和外部输出设备的处理]
接下来，将参考附图16所示的流程图来描述图15所示的步骤S2中将再现设备20和外部输出设备10彼此连接的处理。首先，在步骤S11中，操作在再现设备20的电源开启时开始。
在步骤S12中，再现设备20通过使用HDMI线缆等被物理地连接到外部输出设备10。然后，外部输出设备检测单元115检测再现设备20和外部输出设备10之间的连接并将外部输出设备连接信号发送到控制信号生成单元116。当接收到从外部输出设备检测单元115发送的外部输出设备连接信号时，控制信号生成单元116进行到步骤S13。另一方面，当外部输出设备10未连接到再现设备20时，处理等待直至外部输出设备10连接到再现设备20。
在步骤S13中，作为前提，假设再现设备20被向下地步骤在外部输出设备10的框架11的上部。在用于与再现设备20连接的连接部件(连接器等)位于外部输出设备10一侧或用于挤入外部输出设备10的夹子(clip)等被附接到再现设备20一侧的情况中，通过在安装时使用这些部件来执行安装。在用于与再现设备20连接的连接部件位于外部输出设备10一侧的情况中，与外部输出设备10的连接可不通过线缆而通过连接部件来实现。
这里，控制信号生成单元116基于从角度传感器114发送来的角度信息来检查再现设备20是否被向下放置。当再现设备20被确定为向下放置时，向下放置信号被从角度传感器114发送到控制信号生成单元116，并且处理进行到步骤S14。另一方面，当再现设备20被确定为未被向下放置时，处理进行到步骤S12。
在步骤S14中，控制信号生成单元116基于从加速度传感器113发送来的加速度信息来检查再现设备20是否处于停止状态。当再现设备20被确定为处于停止状态时，停止状态信号被从加速度传感器113发送到控制信号生成单元控制信号生成单元116，并且处理进行到步骤S15。另一方面，当再现设备20被确定为未处于停止状态时，处理进行到步骤S12。
然后，在步骤S15中，控制信号生成单元116根据流程图结束操作。
在本实施例中，已描述了再现设备20与外部输出设备10的连接或再现设备20在外部输出设备10的上侧的布置被识别、然后图15所示的步骤S2结束并且处理进行到步骤S3的示例。但是，可以进行配置以使得在再现设备20被连接到外部输出设备10之后再现设备20不识别其状态，并且处理在被布置在再现设备20上的按钮等被用户按压的情况下进行到步骤S3。
另外，再现设备20的布置形式可被认为是图5至9所示形式中的任一个。然而，这里，为了描述的目的，假设再现设备20是根据图5所示的形式来布置的。
当再现设备20的步骤完成时，如上所述有必要校正光学触摸板。再现设备20具有在用户选择菜单等时执行用户意识不到的校正的特点。
[校正模式]
下面参考图17所示的流程图来描述图15所示的步骤S3中的模式的选择和设置(校正)。
首先，在步骤S21中，当再现设备20和外部输出设备10相互连接并且再现设备20被布置在外部输出设备10上时，再现设备布置完成信号被从控制信号生成单元116发送到每个单元，并且处理进行到步骤S22。
在步骤S22中，当问题显示生成单元117从控制信号生成单元116接收到再现设备布置完成信号时，问题显示生成单元117生成例如作为OSD(屏幕上显示)的问题并将问题数据发送到输出图像生成单元105。输出图像生成单元105通过适当地安排诸如从问题显示生成单元117接收的问题之类的OSD数据、左上按钮和右上按钮来配置屏幕输出。
这里，与“问题、左上按钮和右上按钮”的OSD数据相对应的图像例如具有如图18所示的配置。这里，问题具有“对于触摸UI模式，请触摸布置在左侧的按钮，对于普通UI模式，请触摸布置在右侧的按钮”的内容。然而，问题的内容不限于该示例。输出图像被从输出图像生成单元105发送到外部输出单元106并且由外部输出单元106发送到外部输出设备10。然后，问题和选项按钮被显示在外部输出设备10的屏幕上。当完成显示问题的处理时，处理进行到步骤S23。
在步骤S23中，用于右侧的成像单元107和用于左侧的成像单元108获取成像数据并将所获取的成像数据发送到成像数据信号处理单元109和成像数据信号处理单元110。成像数据信号处理单元109和110对从成像单元107和108获取的成像数据执行诸如噪声消除处理、分辨率转换处理之类的处理。
这里，作为由成像数据信号处理单元109和110执行的处理的遮掩处理将被描述。
图25是其中再现设备20被安装在框架11上部的外部输出设备10(见图5)沿线A-A的横截面视图。图26是由再现设备20的成像单元107和108获取的图像的示例。在成像单元107和108所获取的图像中，遮掩处理针对位于与外部输出设备10相反方向的部分的区域M(图26所示的深色部分)执行。图26所示的区域M是有效区域并且由与框架11相对应的图像131和与外部输出设备10的屏幕相对应的图像132构成。
与外部输出设备10的屏幕接触的、诸如手指或笔之类的指示物被从成像单元107和108所获取的成像数据中检测到。然而，位于远离外部输出设备10一侧的图像仅是噪声并且是多余的。因此，通过事先执行遮掩处理，更精确的位置检测可被执行。成像数据信号处理单元109和110获取的成像数据被发送到位置检测单元111。
当用户用诸如手指或笔之类的指示物触摸图18所示的屏幕上的左上按钮或右上按钮时，成像单元107和108拍摄指示物，并且成像数据被发送到位置检测单元111，如上所述。
然后，位置检测单元111检查已被用指示物触摸的选项按钮的位置是位于左侧还是右侧。位置检测单元111基于指示物被检测到的、相对于成像单元107和108捕获的成像数据的中心的那一侧来检查选项按钮的位置。作为基于诊断成像的检测对象的方法，已知有各种方法。例如，存在一种基于指示物的颜色来执行检测的方法，存在一种检测直到某一时刻之前一直在运动的停止对象的方法，存在一种检测若干帧以前的图像并且检测若干帧以前未被识别但现在被识别的对象的方法，等等。另外，诸如参考图1来描述的方法之类的、反射板被附接到外部输出设备10的框架11上、红外线等被发射并且不反射红外线的部分被识别的任何方法都可被使用。
在成像单元107和108获取的成像数据中，当对象133如图27A所示相对于与屏幕相对应的图像132的中心位于左侧时，位置检测单元111可以识别出对象133位于左侧。另一方面，如图27B所示，当对象133相对于与屏幕相对应的图像132的中心位于右侧时，位置检测单元111可以识别出对象133位于右侧。
在步骤S23中，处理在当左选项按钮被确定为被位置检测单元111选择的情况下进行到步骤S25，否则处理进行到步骤S24。
在步骤S24中，处理在右选项按钮被确定为被位置检测单元111选择的情况下进行到步骤S40，否则处理进行到步骤S51。
在步骤S25中，位置检测单元111通过向调整值存储单元118发出左上位置存储命令以将在步骤S23中检测到的选项按钮的位置存储为左上位置来存储该位置。先前写入的左上位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S26。
在步骤S26中，图14所示的单元执行与步骤S22的操作类似的操作，并且问题、右上按钮和右下按钮例如以与图21所示的相同的格式被显示在外部输出设备10中。这里，问题的内容是“请触摸用于触摸UI模式A的红色按钮或用于触摸UI模式B的蓝色按钮”。然而，问题的内容不限于该示例的内容。当显示完成时，处理进行到步骤S27。
在步骤S27中，图14所示的单元执行与步骤S23的操作类似的操作。然后，处理在被布置在上侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S29，否则处理进行到步骤S28。
在步骤S28中，处理在被布置在下侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S35，否则处理进行到步骤851。
在步骤S29中，位置检测单元111通过向调整值存储单元118发出右上位置存储命令以将在步骤S27中检测到的位置存储为右上位置来存储该位置。先前写入的右上位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S30。
在步骤S30中，图14所示的单元执行与步骤S22的操作类似的操作，并且问题、左下按钮和右下按钮例如以与图20所示的相同的格式被显示在外部输出设备10中。这里，问题的内容是“您想切换到UI触摸模式吗？”。然而，问题的内容不限于该示例的内容。这里，至少三个点的位置可在用于触摸板的校正处理中得知。因此，例如，不是左下按钮或右下按钮能够被选择的选择类型，而是位于图22所示的一个位置的按钮被显示在左下侧还是右下侧以便允许被用户按压的同意类型可被采用。当显示完成时，处理进行到步骤S31。
在步骤S31中，图14所示的单元执行与步骤S23的操作类似的操作。然后，处理在被布置在右侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S33，否则处理进行到步骤S32。
在步骤S32中，处理在被布置在左侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S34，否则处理进行到步骤S51。
在步骤S33中，位置检测单元111通过向调整值存储单元118发出右下位置存储命令以将在步骤S31中检测到的选项按钮的位置存储为右下位置来存储该位置。先前写入的右下位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S52。
在步骤S34中，位置检测单元111通过向调整值存储单元118发出左下位置存储命令以将在步骤S32中检测到的选项按钮的位置存储为左下位置来存储该位置。先前写入的左下位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S52。
在步骤S35中，位置检测单元111通过向调整值存储单元118发出右下位置存储命令以将在步骤S28中检测到的选项按钮的位置存储为右下位置来存储该位置。先前写入的右下位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S36。
在步骤S36中，图14所示的单元执行与步骤S22的操作类似的操作，并且问题、左下按钮和右上按钮例如以与图23所示的相同的格式被显示在外部输出设备10中。这里，至少三个点的位置可在用于触摸板的校正处理中得知。因此，例如，不是左下按钮或右上按钮能够被选择的选择类型，而是位于图22所示的一个位置的按钮被显示在左下侧还是右上侧以便允许被用户按压的同意类型可被采用。当显示完成时，处理进行到步骤S37。
在步骤S37中，图14所示的单元执行与步骤S23的操作类似的操作。然后，处理在被布置在左下侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S34，否则处理进行到步骤S38。
在步骤S38中，处理在被布置在右上侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S39，否则处理进行到步骤S51。
在步骤S39中，位置检测单元111通过向调整值存储单元118发出右上位置存储命令以将在步骤S38中检测到的选项按钮的位置存储为右上位置来存储该位置。先前写入的右上位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S52。
在步骤S40中，位置检测单元111通过向调整值存储单元118发出右上位置存储命令以将在步骤S24中检测到的选项按钮的位置存储为右上位置来存储该位置。先前写入的右上位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S41。
在步骤S41中，图14所示的单元执行与步骤S22的操作类似的操作，并且问题、左上按钮和左上按钮例如以与图19所示的相同的格式被显示在外部输出设备10中。当显示完成时，处理进行到步骤S42。
在步骤S42中，图14所示的单元执行与步骤S23的操作类似的操作。然后，处理在被布置在上侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S44，否则处理进行到步骤S43。
在步骤S43中，处理在被布置在下侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S45，否则处理进行到步骤S51。
在步骤S44中，位置检测单元111通过向调整值存储单元118发出左上位置存储命令以将在步骤S42中检测到的选项按钮的位置存储为左上位置来存储该位置。先前写入的左上位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S30。
在步骤S45中，位置检测单元111通过向调整值存储单元118发出左下位置存储命令以将在步骤S43中检测到的选项按钮的位置存储为左下位置来存储该位置。先前写入的左下位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S46。
在步骤S46中，图14所示的单元执行与步骤S22的操作类似的操作，并且问题、右下按钮和左上按钮例如以与图24所示的相同的格式被显示在外部输出设备10中。这里，至少三个点的位置可在用于触摸板的校正处理中得知。因此，例如，不是右下按钮或左上按钮能够被选择的选择类型，而是位于图22所示的一个位置的按钮被显示在右下侧还是左上侧以便允许被用户按压的同意类型可被采用。当显示完成时，处理进行到步骤S47。
在步骤S47中，图14所示的单元执行与步骤S43的操作类似的操作。然后，处理在被布置在右下侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S49，否则处理进行到步骤S48。
在步骤S48中，处理在被布置在左上侧的选项按钮被确定为被位置检测单元111选择的情况中进行到步骤S50，否则处理进行到步骤S51。
在步骤S49中，位置检测单元111通过向调整值存储单元118发出右下位置存储命令以将在步骤S47中检测到的选项按钮的位置存储为右下位置来存储该位置。先前写入的右下位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S52。
在步骤S50中，位置检测单元111通过向调整值存储单元118发出左上位置存储命令以将在步骤S48中检测到的选项按钮的位置存储为左上位置来存储该位置。先前写入的左上位置数据被最新数据取代。当位置的存储完成时，处理进行到步骤S52。
在步骤S51中，作为每个步骤的确定处理的结果，由于位置检测单元111难以计算正确的位置，因此位置检测单元111将差错信号发送到控制信号生成单元116。接着，控制信号生成单元116向问题显示生成单元117发送差错显示命令。当接收到差错显示命令时，问题显示生成单元117输出差错消息并将生成的差错消息发送到输出图像生成单元105以便将差错消息结合为图像。然后，输出图像生成单元105将生成的图像通过外部输出单元106发送到外部输出设备以便在屏幕上显示差错消息。当差错消息的显示完成时，处理进行到步骤S52。
在步骤S52中，控制信号生成单元116接收校正处理。
[触摸UI再现模式]
下面将描述图15所示的步骤S7中的触摸UI再现模式。在该步骤中，通过执行校正处理，诸如手指、手或笔之类的指示物的位置可以被检测。因此，例如与“使用具有大屏幕的外部输出设备来实现触摸UI”相同的操作也可通过仅将再现设备20安装在外部输出设备的上侧而使用不具有触摸板的普通诸如显示设备之类的外部输出设备来实现。
将参考图14来描述通过触摸UI进行的操作的概况。当校正处理通过图17所示的校正模式处理被完成并且触摸UI再现模式被选择时，触摸UI再现模式开始信号被从控制信号生成单元116发出。因此，每个单元被切换到触摸UI再现模式，并且记录介质控制单101开始从记录介质100读取视频数据。此时，视频数据按照基于元数据等的类别的次序被读出。例如，如图11A所示，读出操作可以分开的方式针对体育节日类别、校友会类别、旅游类别等来执行。
读出的视频数据被发送到记录数据解码单元102，并且缩略数据被解码并被发送到缩略数据存储单元104。发送的缩略数据被发送到输出图像生成单元105，并且输出图像生成单元105生成被归入与图11A所示的类别相同的类别、并且通过外部输出单元106被输出到外部输出设备10的图像。
这里，例如，旅游类别的缩略图群被用手触摸。然后，成像单元107和108将成像数据通过成像数据信号处理单元109和110发送到位置检测单元111。位置检测单元111从调整值存储单元118读出在对被检测的位置进行校正时存储的校正信息，所以比校正处理之前更精确的位置检测处理可被执行。若干修正位置的方法是已知的，并且下面将给出其简要描述。
[修正位置的方法]
图28是例示了当双透镜相机被安装在外部输出设备10的中心时使用双透镜相机来识别光学触摸板的左下角和右下角的图示。图29是例示了当双透镜相机被安装成偏离外部输出设备10的上侧中心时使用双透镜相机来识别位于光学触摸板的左下角和右下角的对象的图示。
例如，在用于左侧的成像单元108所捕获的图像132L和用于右侧的成像单元107所捕获的图像132R中，屏幕的左下点134L和右下点134R在正确的位置被识别，如图28所示。
这里，例如，如图29所示，假设再现设备20被安装成稍微偏向外部输出设备10的上侧的左侧。此外，在图29所示的示例中，假设再现设备20被安装成与外部输出设备10的屏幕平行。此时，在用于左侧的成像单元108所捕获的图像132L’和用于右侧的成像单元107所捕获的图像132R’中，左下点134L和右下点134R在图29所示的位置被识别。换言之，在再现设备20被安装成靠近左侧的情况中，左下点134L和右下点134R在与再现设备20被安装在中心的情况中不同的位置处被识别。
这里，假设再现设备20被安装在中心的状态被再现设备20检测为真实状态。于是，在再现设备20如图29所示的示例中那样被安装成偏向左侧的情况中，所有点被再现设备20识别为相对于其实际位置偏右被触摸。这里，在左下点在校正处理时被识别的情况中，被用于左侧的成像单元108识别的位置被存储。此外，在右下点被识别的情况中，被用于右侧的成像单元107识别的位置被存储。因此，当被存储为左角的位置和被存储为右角的位置的中心处的位置被识别时，目前，类似于中心被触摸时的位置被获取。换言之，显示屏幕的表面上的指示物的位置与通过拍摄获取的图像上的指示物的位置之间的对应关系可被调整。
因此，通过获取水平方向和垂直方向上至少三个点的位置，触摸位置可被识别。当校正处理可以使用三个或更多个点来执行时，位置可以以更高的精度被检测。
当检测位置时，位置检测单元111将位置信息发送到控制信号生成单元116，搜索在该位置处显示的对象，并识别选择。因此，例如，当旅游类别的缩略图群被触摸时，与该示例类似，通过识别缩略图群的触摸和从控制信号生成单元116向每个单元发出用于显示下一类别的显示命令，记录介质控制单元101开始从记录介质100读取图像数据。
通过以这种次序读出图像数据和识别触摸位置，上述“使用具有大屏幕的外部输出设备来实现触摸UI”也可以通过再现设备20、使用不具有触摸板功能的诸如一般显示设备之类的外部输出设备来实现。
[普通再现模式]
下面将描述图15的步骤S6所示的普通再现模式。该普通再现模式是再现设备20不被用作光学触摸板的模式，并且例如是与市场上一般有售的数字静止相机等的操作模式相同的操作模式。外部输出设备和再现设备连接在一起，并且操作不是通过光学触摸板来执行的，而是，操作是在所连接的再现设备的显示板上执行的。
例如，当参考图10A至10D在“使用具有大屏幕的外部输出设备来实现触摸UI”中描述的操作被执行时，这种屏幕被显示在液晶显示板上，或者缩略图等被对齐以便显示在液晶显示板上。包括光标键、OK按钮、取消按钮等的控制器被显示在再现设备的显示板上，并且该控制器被操作以便选择显示屏幕内的图像。操作可使用被布置在再现设备主体上的操作开关、诸如遥控器之类的外部控制器、作为连接目的地的显示设备等来执行。这里，为了实现支持只能在大屏幕上执行的直观操作的触摸UI，必须布置具有其上可以实施触摸UI的大屏幕的外部输出设备。
<2.其他>
现在，将描述选项按钮的尺寸的自动改变。当被用作校正点的选项按钮大时，用户在针对问题进行选择时所按压的范围在校正处理中变得比较宽，并且因此，光学触摸板的位置检测精度有所降低。最终，当通过在具有大屏幕的外部输出设备中显示选项按钮、输出图像以和不具有大屏幕的普通显示设备相同的方式被显示时，选项按钮的尺寸增加。
图30A例示了在使用附接有双透镜相机的再现设备的光学触摸板被应用到具有大屏幕的外部输出设备的情况中的选项按钮的示例。图30A是以校正模式显示(在左上侧和右上侧)的选项按钮的示例，图30B是尺寸修正后的(左上侧和右上侧的)选项按钮的示例。例如，当与图18所示的相同的显示在具有大屏幕的外部输出设备200中执行时，如图30A所示，选项按钮的尺寸增加，并且校正的精度降低。因此，通过例如基于诸如HDMI CEC之类的控制信号获取外部输出设备200一侧的以英寸为单位的屏幕尺寸，选项按钮的尺寸根据以英寸为单位的屏幕尺寸而改变。另外，用于显示选项按钮的像素数目可事先确定。图30B是选项按钮通过适当地改变其尺寸而被显示的示例。在图30B所示的示例中，由于选项按钮的尺寸甚至在屏幕尺寸增加时也不增加，因此校正可以高精度地执行。
然而，如上所述，在执行到目前位置已详细描述的校正时，有必要按压三个点或更多。因此，例如，在有必要按压30个点的情况中，更可取的是：使用根据本发明实施例的校正技术在后台以问题的形式针对五个点来执行校正，并且针对其余25个点执行输入的点被显示成强制按压的普通校正。通过采用这种组合的技术，与一般的情况相比，用户的负担可在某种程度上被减轻。
可以进行配置以使得当图14所示的加速度传感器113或角度传感器114检测到安装在外部输出设备上的再现设备从外部输出设备移开时，控制信号生成单元116再次发出校正运行命令以便允许校正模式中的每个单元执行自动重新校正。
根据上述实施例，与专用于诸如模式设置之类的校正处理的问题不同(其不提醒用户校正操作)的问题和多个消息按钮被显示在屏幕上。此外，允许用户选择选项按钮，并且校正处理与选择操作并列地在后台执行。因此，对于设置处理和校正处理有必要的信息可根据用户的一个选择操作被同时获取，并且因此，用户的负担可以大大减轻。例如，有必要选择若干点的设置，如在模式之间进行切换时将被选择的模式，例如甚至当线缆被连接到外部输出设备时、希望利用在外部输出设备中查看的预览图像进行成像还是希望再现模式，等等。此时，通过在屏幕上显示问题和选项按钮并在选择为实际使用时同时在后台执行校正处理，没有给用户的额外操作，并且校正处理也可被执行，从而减轻了用户的负担。
此外，不仅触摸UI可在使用不具有触摸传感器的一般外部输出设备时被实现，而且复杂的校正操作可与执行各种设置同时执行。因此，直观且容易理解的触摸操作可被执行同时减轻用户的负担。从相反的角度，优点在于设置操作可以与执行校正操作同时执行。
此外，在根据本发明实施例的再现设备中，当再现设备相对于外部输出设备的安装位置偏离时，模式被自动切换到首次安装时的校正模式并且问题显示模式。因此用户可以执行校正操作而不会忘了它。
此外，由于使用相机的触摸UI技术被应用到根据本发明实施例的再现设备，因此深度或左右侧的识别甚至可在校正操作之前执行。因此，校正操作可通过问题来执行。
以上，已描述了本发明的实施例的示例。然而，本发明不限于此。因此，很明显，本发明包括不脱离所附权利要求限定的本发明的其他修改例和应用示例。
例如，在上述实施例中，再现设备20(见图14或图4A至4E)具有如下配置：用于对外部输出设备10的显示屏幕进行成像的两个成像功能(镜头、成像单元和成像数据信号处理单元)被包括。但是，本发明不限于该示例。例如，再现设备可具有至少一个成像功能，并且光学触摸板可使用由具有一个成像功能的再现设备获取的成像数据和使用另一个相机通过对显示屏幕进行成像而获取的成像数据来实现。
此外，在上述实施例中，与问题和用户选择的图标相对应的设置处理被执行，并且校正处理与设置处理并列地执行。然而，当对于设置处理和校正处理有必要的信息可被同时获取时，执行的处理次序不限于该示例。例如，设置处理可先于校正处理被执行。此外，很明显，在与问题和用户选择的图标相对应的设置处理被执行后，校正处理可被执行。
在上述实施例中，再现设备20被配置成基于从成像单元107和108提供来的显示屏幕的成像数据来执行校正处理。然而，本发明不限于此。例如，诸如安装了触摸板的具有大屏幕的电视机或连接到个人计算机的显示设备之类的外部输出设备可基于显示屏幕的成像数据来执行校正处理。
在这里的描述中，按时间顺序定义处理的处理步骤不仅包括以所描述的次序按时间顺序执行的处理，还包括不一定按时间顺序处理的处理，如并列或单独执行的处理(例如，并行处理或基于对象的处理)。
本发明包含与2010年3月20日递交日本专利局的日本优先专利申请JP 2010-079696中公开的主题相关的主题，该日本优先专利申请的全部内容通过引用结合于此。
本领域技术人员应该理解，取决于设计需求和其他因素，可以对本发明做出各种修改、组合、子组合和变更，只要它们落入所附权利要求或其等同物的范围内即可。

Claims (9)

1.一种图像处理设备，包括：
图像显示控制单元，所述图像显示控制单元控制显示屏幕上的图像显示；
图像生成单元，所述图像生成单元生成包括问题和选项按钮的问题图像，这些选项按钮由能够针对所述问题来任意选择的多个图标构成；
位置检测单元，所述位置检测单元从通过对所述显示屏幕进行成像而获得的成像数据中检测所述显示屏幕上存在的指示物的位置；
位置信息存储单元，所述位置信息存储单元存储当由所述图像生成单元生成的所述问题图像被显示在所述显示屏幕上时所述多个图标的位置；以及
控制单元，所述控制单元基于由所述位置检测单元检测到的所述指示物的位置来指定所述多个图标中被所述指示物选择的图标，并基于所述位置信息存储单元中存储的、与被指定为已被选择的图标相对应的图标位置，来校正被所述位置检测单元检测到的指示物的位置。
2.根据权利要求1所述的图像处理设备，其中，所述问题是与专用于校正的问题不同的问题。
3.根据权利要求2所述的图像处理设备，其中，所述控制单元执行与所述问题和被指定为已被选择的图标相对应的设置处理，并与所述设置处理并列地执行校正处理。
4.根据权利要求2所述的图像处理设备，其中，所述控制单元获取所述显示屏幕的屏幕尺寸信息并允许所述图像生成单元根据所述屏幕尺寸信息来改变所述选项按钮的尺寸。
5.根据权利要求1所述的图像处理设备，还包括：
加速度传感器；以及
角度传感器，
其中，在基于所述加速度传感器和所述角度传感器的输出而检测到所述图像处理设备的安装位置偏离所述显示屏幕的基准位置时，所述控制单元允许所述图像生成单元生成所述问题图像并将所述问题图像显示在所述显示屏幕上。
6.根据权利要求1所述的图像处理设备，还包括至少一个对所述显示屏幕进行成像的成像单元。
7.一种显示图像的方法，所述方法包括以下步骤：
使用图像处理设备中包含的图像生成单元来生成包括问题和选项按钮的问题图像，这些选项按钮由能够针对所述问题来任意选择的多个图标构成；
使用所述图像处理设备中包含的位置检测单元，来从通过对显示屏幕进行成像而获得的成像数据中检测所述显示屏幕上存在的指示物的位置，其中在所述显示屏幕上，图像显示受到所述图像处理设备中包含的图像显示控制单元的控制；
使用所述图像处理设备中包含的控制单元，来基于由所述位置检测单元检测到的所述指示物的位置而指定所述多个图标中被所述指示物选择的图标；以及
基于当由所述图像生成单元生成并由所述图像处理设备中包含的位置信息存储单元中存储的所述问题图像被显示在所述显示屏幕上时图标的位置，来校正由所述位置检测单元检测到的与被指定为已被选择的图标相对应的指示物的位置。
8.一种图像显示程序，使得计算机用作：
图像显示控制装置，所述图像显示控制装置控制显示屏幕上的图像显示；
图像生成装置，所述图像生成装置生成包括问题和选项按钮的问题图像，这些选项按钮由能够针对所述问题来任意选择的多个图标构成；
位置检测装置，所述位置检测装置从通过对所述显示屏幕进行成像而获得的成像数据中检测所述显示屏幕上存在的指示物的位置；
位置信息存储装置，所述位置信息存储装置存储当由所述图像生成装置生成的所述问题图像被显示在所述显示屏幕上时所述多个图标的位置；以及
控制装置，所述控制装置基于由所述位置检测装置检测到的所述指示物的位置来指定所述多个图标中被所述指示物选择的图标，并基于所述位置信息存储装置中存储的、与被指定为已被选择的图标相对应的图标位置，来校正被所述位置检测装置检测到的指示物的位置。
9.一种记录介质，其上记录了根据权利要求8所述的图像显示程序。
CN2011100739217A 2010-03-30 2011-03-23 图像处理设备、图像显示方法、图像显示程序及记录介质 Pending CN102207796A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010079696A JP2011210188A (ja) 2010-03-30 2010-03-30 画像処理装置、画像表示方法、画像表示プログラム、および画像表示プログラムを記録した記録媒体
JP2010-079696 2010-03-30

Publications (1)

Publication Number Publication Date
CN102207796A true CN102207796A (zh) 2011-10-05

Family

ID=44696659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100739217A Pending CN102207796A (zh) 2010-03-30 2011-03-23 图像处理设备、图像显示方法、图像显示程序及记录介质

Country Status (3)

Country Link
US (1) US8504944B2 (zh)
JP (1) JP2011210188A (zh)
CN (1) CN102207796A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135857A (zh) * 2011-12-05 2013-06-05 纬创资通股份有限公司 可携式光学触控系统及其操作方法
CN105573562A (zh) * 2014-11-07 2016-05-11 纬创资通股份有限公司 光学触控模块及其触控侦测方法
CN107077195A (zh) * 2014-09-30 2017-08-18 惠普发展公司，有限责任合伙企业 显示对象指示符
CN110753827A (zh) * 2017-12-05 2020-02-04 谷歌有限责任公司 具有交互式转弯图形的数字地图上的路线
CN112231022A (zh) * 2019-07-15 2021-01-15 阿尔派株式会社 显示控制系统及显示控制方法
US11920945B2 (en) 2017-12-05 2024-03-05 Google Llc Landmark-assisted navigation

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6004756B2 (ja) * 2012-06-07 2016-10-12 キヤノン株式会社 表示制御装置及びその制御方法
CN103973968B (zh) * 2013-02-01 2017-06-13 宏达国际电子股份有限公司 电子装置及其影像合成方法
US9372541B2 (en) * 2013-03-11 2016-06-21 Honeywell International Inc. Gesture recognition system operability verification
JP6340860B2 (ja) * 2014-01-21 2018-06-13 セイコーエプソン株式会社 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
EP2985678B1 (en) 2014-08-11 2019-04-24 Alpine Electronics, Inc. Position detection system and method of calibrating a position detection system
JP5866550B1 (ja) * 2014-11-20 2016-02-17 パナソニックＩｐマネジメント株式会社 監視システム及び監視システムにおける監視方法
JP6405227B2 (ja) * 2014-12-19 2018-10-17 古野電気株式会社 表示装置及び表示装置製造方法
US10070066B2 (en) 2016-01-05 2018-09-04 Ricoh Company, Ltd. Coordinate calculator and coordinate calculation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006066435A1 (de) * 2004-12-20 2006-06-29 Speedscript Ag Verfahren zur dynamischen kalibrierung von kontaktbildschirmen
CN101201713A (zh) * 2006-12-13 2008-06-18 株式会社和冠 坐标输入装置
CN101533312A (zh) * 2003-04-08 2009-09-16 智能技术公司 自动校准的触摸系统及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098891B1 (en) * 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US6104387A (en) * 1997-05-14 2000-08-15 Virtual Ink Corporation Transcription system
KR100595917B1 (ko) * 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6100877A (en) * 1998-05-14 2000-08-08 Virtual Ink, Corp. Method for calibrating a transcription system
US6211863B1 (en) * 1998-05-14 2001-04-03 Virtual Ink. Corp. Method and software for enabling use of transcription system as a mouse
US6727896B2 (en) * 2001-08-01 2004-04-27 Microsoft Corporation Correction of alignment and linearity errors in a stylus input system
JP3771855B2 (ja) * 2002-03-06 2006-04-26 インターナショナル・ビジネス・マシーンズ・コーポレーション タッチパネル、制御方法、プログラム、及び記録媒体
JP2004054413A (ja) 2002-07-17 2004-02-19 Casio Comput Co Ltd 入力位置調整装置及び入力位置調整プログラム
US20040041842A1 (en) * 2002-08-27 2004-03-04 Lippincott Douglas E. Touchscreen with internal storage and input detection
US7293246B2 (en) * 2004-04-21 2007-11-06 Microsoft Corporation System and method for aligning objects using non-linear pointer movement
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7432917B2 (en) * 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
EP1865404A4 (en) * 2005-03-28 2012-09-05 Panasonic Corp USER INTERFACE SYSTEM
TWI450137B (zh) * 2006-12-11 2014-08-21 Elo Touch Solutions Inc 用於校準觸控螢幕上之目標之方法及設備
JP4243642B2 (ja) 2008-03-24 2009-03-25 健治 吉田 キャリブレーション方法および情報入力補助シート
TWI402793B (zh) * 2008-10-01 2013-07-21 Quanta Comp Inc 影像處理裝置之校正裝置及校正方法
EP2175352A3 (en) * 2008-10-07 2010-05-05 Research In Motion Limited Portable electronic device and method of controlling same
US8896546B2 (en) * 2010-01-28 2014-11-25 Honeywell International Inc. High integrity touch screen system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533312A (zh) * 2003-04-08 2009-09-16 智能技术公司 自动校准的触摸系统及方法
WO2006066435A1 (de) * 2004-12-20 2006-06-29 Speedscript Ag Verfahren zur dynamischen kalibrierung von kontaktbildschirmen
CN101201713A (zh) * 2006-12-13 2008-06-18 株式会社和冠 坐标输入装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135857A (zh) * 2011-12-05 2013-06-05 纬创资通股份有限公司 可携式光学触控系统及其操作方法
CN103135857B (zh) * 2011-12-05 2016-05-18 纬创资通股份有限公司 可携式光学触控系统及其操作方法
CN107077195A (zh) * 2014-09-30 2017-08-18 惠普发展公司，有限责任合伙企业 显示对象指示符
CN105573562A (zh) * 2014-11-07 2016-05-11 纬创资通股份有限公司 光学触控模块及其触控侦测方法
CN105573562B (zh) * 2014-11-07 2018-07-17 纬创资通股份有限公司 光学触控模块及其触控侦测方法
CN110753827A (zh) * 2017-12-05 2020-02-04 谷歌有限责任公司 具有交互式转弯图形的数字地图上的路线
US11920945B2 (en) 2017-12-05 2024-03-05 Google Llc Landmark-assisted navigation
CN112231022A (zh) * 2019-07-15 2021-01-15 阿尔派株式会社 显示控制系统及显示控制方法
CN112231022B (zh) * 2019-07-15 2024-04-16 阿尔派株式会社 显示控制系统及显示控制方法

Also Published As

Publication number Publication date
JP2011210188A (ja) 2011-10-20
US8504944B2 (en) 2013-08-06
US20110246948A1 (en) 2011-10-06

Similar Documents

Publication Publication Date Title
CN102207796A (zh) 图像处理设备、图像显示方法、图像显示程序及记录介质
CN102591570B (zh) 用于控制图形用户界面的设备和方法、计算机存储装置
CN102047318B (zh) 图像显示设备及其控制方法
CN1992803B (zh) 图像显示装置和拍照装置
CN101600052B (zh) 图像处理设备和图像处理方法
JP2018107711A (ja) 撮像制御装置及びその制御方法
JP5451433B2 (ja) 表示制御装置および表示制御装置の制御方法
US10313580B2 (en) Electronic apparatus, control method therefor, and storage medium
JP6234521B2 (ja) 表示制御装置、表示制御装置の制御方法およびプログラム
JP7451162B2 (ja) 撮像装置
JP7098490B2 (ja) 撮像装置及びその制御方法
JP6562832B2 (ja) 電子機器およびその制御方法
JP6529300B2 (ja) 表示制御装置およびその制御方法
JP2020161869A (ja) 電子機器、その制御方法およびプログラム
JP6188484B2 (ja) 電子機器、その制御方法及びプログラム並びに記憶媒体
US20230164428A1 (en) Imaging apparatus and control method of the same
JP6436764B2 (ja) 表示制御装置及びその制御方法
JP6827860B2 (ja) 電子機器およびその制御方法
JP7362464B2 (ja) 電子機器及びその制御方法
JP2021118434A (ja) 撮像装置、制御方法、プログラムならびに記憶媒体
JP2021096279A (ja) 電子機器及びその制御方法
JP5989202B2 (ja) 表示制御装置、表示制御装置の制御方法およびプログラム
JP6632396B2 (ja) 電子機器およびその制御方法
JP2018055139A (ja) 撮像装置、撮像装置の制御方法、プログラムおよび記録媒体
JP2016082276A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111005