CN101867755B - 信息处理设备、信息处理方法 - Google Patents

信息处理设备、信息处理方法 Download PDF

Info

Publication number
CN101867755B
CN101867755B CN201010154417.5A CN201010154417A CN101867755B CN 101867755 B CN101867755 B CN 101867755B CN 201010154417 A CN201010154417 A CN 201010154417A CN 101867755 B CN101867755 B CN 101867755B
Authority
CN
China
Prior art keywords
image
metadata
storage device
projecting apparatus
presumptive area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010154417.5A
Other languages
English (en)
Other versions
CN101867755A (zh
Inventor
城井学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101867755A publication Critical patent/CN101867755A/zh
Application granted granted Critical
Publication of CN101867755B publication Critical patent/CN101867755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Abstract

本发明公开了信息处理设备、信息处理方法和程序。该信息处理设备包括投影仪、相机、第一存储装置和控制器。投影仪将包含第一操作图像的投影图像投影到预定区域上。相机对预定区域内的对象的图像拍摄。控制器基于相机拍摄的拍摄图像检测对第一操作图像的操作，并在检测到该操作时控制第一存储装置至少存储拍摄图像中的对象的图像。

Description

信息处理设备、信息处理方法
技术领域
本发明涉及包括相机和投影仪的信息处理设备、用于该信息处理设备的信息处理方法和有形计算机可读介质。
背景技术
过去，相机拍摄的图像被投影仪显示的设备是已知的。例如，日本专利申请早期公开No.2006-251206(下文中称为专利文献1)公开了一种信息呈现设备，其中相机拍摄的物体(object)的拍摄图像和从输入设备输入的附加信息被组合以创建投影图像，并且投影图像与物体所在的位置相关联并被投影。因此，信息呈现设备即使在物体移动之后也能留下物体的轨迹。
发明内容
另外，可能存在用户期望在设备中存储(捕获)如上所述由相机拍摄并由投影仪投影的物体的图像的情况。在专利文献1公开的技术中，物体的拍摄图像在信息呈现设备中被捕获以与附加信息相组合，但是捕获是自动执行的并且用户不参与该处理。因此，当用户将预期物体置于拍摄(成像)范围中时，有可能用户不想要的图像被存储。
另外，尽管在专利文献1公开的技术中，与物体相关联的附加信息被叠加在投影图像上，但是附加信息是由与相机和投影仪相连的信息呈现设备的输入设备(键盘、鼠标等)输入的。这种技术假定了诸如演示、web会议等的情况，其中多人共享大尺寸屏幕等上的投影图像，并且每个人从手边的信息呈现设备输入有关投影图像的信息。
然而，假定在物体被置于诸如桌子和地板之类的较小区域中的时候对物体拍摄图像并投影的情况，用户关注其投影区，并且还需要握住物体或者将其置于投影区内。因此，在用户利用输入设备执行用于将物体的图像存储在设备中的操作的情况下，操作变得复杂，并且导致缺乏直观性。
考虑到上述情形，需要一种能够通过简单直观的操作存储由相机拍摄并由投影仪投影的图像的信息处理设备、信息处理方法和包括程序的有形计算机可读介质。
根据本发明的一个实施例，提供了一种包括投影仪、相机、第一存储装置和控制器的信息处理设备。投影仪将包含第一操作图像的投影图像投影到预定区域上。相机对预定区域内的对象(subject)的图像进行拍摄。第一存储装置是RAM(随机访问存储器)、内置闪存、存储卡、HDD(硬盘驱动器)、光盘等等。控制器基于相机拍摄的拍摄图像检测对第一操作图像的操作，并在检测到该操作时控制第一存储装置存储拍摄图像中的至少所述对象的图像。
第一操作图像指用作用户操作目标的图像，例如图标、按钮、图形和字符。对第一操作图像的操作的检测是通过例如利用不同时刻拍摄图像之间的差异来检测用户的手指是否触摸第一操作图像来进行的。对象例如是名片、CD封套等等，但是并不限于此，各种事物均可假定为对象。
利用该结构，当检测到对投影图像中包含的第一操作图像的操作时，存储对象的图像。由此，用户可以仅通过对投影图像的操作来容易且直观地使第一存储装置存储预期对象的图像，而无需触摸便携式信息设备自身。
信息处理设备还可包括第二存储装置。在这种情况下，控制器基于拍摄图像识别对象的元数据并控制第二存储装置将该元数据存储为预定列表的一部分。
另外，第二存储装置可以与元数据一同存储在第一存储装置中存储的拍摄图像或者从拍摄图像提取的对象的图像。
第二存储装置是RAM、内置闪存、存储卡、HDD、光盘等等，并且可以与第一存储装置相同，或者与其不同。在第一存储装置和第 二存储装置彼此不同的情况下，一般而言，第一存储装置是诸如RAM(剪贴板)之类的临时记录介质，而第二存储装置是诸如内置闪存、存储卡、HDD和光盘之类的非易失性记录介质。
元数据是与对象相关的数据，例如对象的身份、版权信息和对象中包含的字符的数据。元数据的识别是利用诸如模式匹配和特征识别之类的图像识别技术以及诸如OCR(光学字符阅读器)之类的字符识别技术执行的。预定列表是与每个对象的类型相对应的列表，例如内容列表和联系人列表。元数据可以与对象的图像一起被存储为列表的一部分，或者可以与对象的图像分开存储。
因此，用户可以通过简单且直观的操作使得信息处理设备在第二存储装置中不仅存储对象的图像自身，还存储对象的元数据。
控制器可以控制投影仪在投影图像中包括指示是否已识别出元数据的信息。
因此，用户可以容易地获知是否已识别出对象的元数据。另外，在尚未识别出元数据的情况下，用户可以通过执行用于提高识别精度的操作(例如改变预定区域内对象的位置或姿态)来可靠地执行识别。
控制器可以控制投影仪在从检测到操作起的预定时间段内使投影图像的照度大于在检测到该操作之前的照度。
因此，信息处理设备可以利用投影仪的投影图像人工再现现有技术中静止相机的闪光。因而，用户可以直观地识别出图像已被存储，而无需检查存储的图像。该预定时间段例如约为0.5至1.5秒，但是并不限于该范围。预定时间段可以是任何时间段，只要用户可以识别出图像已被存储即可。
控制器可以基于拍摄图像检测在预定区域内是否存在对象，并且在检测到在预定区域内存在对象时控制投影仪在投影图像中包括第一操作图像。
因此，由于仅当预定区域内存在对象时才投影第一操作图像，因此可以防止第一操作图像在对象不存在的情况下被投影，并且可以防 止削弱可见性。另外，用户可以容易地识别出对象的图像准备好被存储。对象的存在/不存在是利用不同时刻拍摄图像之间的差异来检测的。
当检测到元数据已被识别的对象不存在于预定区域内时，控制器可以控制第二存储装置存储元数据。
因此，在对象的图像被存储在第一存储装置中之后，用户可以仅通过从预定区域中移除对象来使得对象的图像和元数据被存储在第二存储装置中作为列表的一部分。
在这种情况下，控制器可以从预定区域内存在的多个对象识别各自的元数据。然后，在检测到多个对象全都不存在于预定区域内时，控制器可以控制第二存储装置一次存储多条元数据分别作为预定列表的一部分。
因此，通过仅将多个对象置于预定区域内并在对象的图像被存储在第一存储装置中之后从预定区域中移除对象，用户可以在第二存储装置中一次存储所有对象的图像和元数据。
另外，控制器可以从第一对象和与第一对象不同类型的第二对象识别出多条元数据，第一对象和第二对象存在于预定区域内。然后，控制器可以在检测到第一对象不存在于预定区域内时控制第二存储装置存储第一对象的第一元数据作为第一列表的一部分。类似地，控制器可以在检测到第二对象不存在于预定区域内时控制第二存储装置存储第二对象的第二元数据作为第二列表的一部分。
因此，通过仅将不同类型的对象置于预定区域内并在对象的图像被存储在第一存储装置中之后从预定区域中移除对象，用户可以使所有对象的元数据被存储在第二存储装置中作为与对象的类型相对应的列表的一部分。
控制器可以在识别出元数据时控制投影仪在投影图像中包括不同于第一操作图像的第二操作图像。然后，控制器可以基于拍摄图像检测对第二操作图像的操作，并且在检测到该操作时控制第二存储装置存储元数据。
第二操作图像也是用作用户操作目标的图像，例如图标、按钮、图形和字符，并且以可与第一操作图像区分的状态被投影。
因此，用户可以通过对第二操作图像的简单且直观的操作来在第二存储装置中存储对象的元数据作为列表的一部分。
在这种情况下，控制器可以从存在于预定区域内的多个对象识别多条元数据。然后，控制器可以在检测到对第二操作图像的操作时控制第二存储装置一次存储多条元数据作为预定列表的一部分。
因此，通过仅将多个对象置于预定区域内并在对象的图像被存储在第一存储装置中之后对第二操作图像执行单次操作，用户可以使所有对象的元数据被存储在第二存储装置中。
另外，控制器可以从第一对象和与第一对象不同类型的第二对象识别多条元数据，第一对象和第二对象存在于预定区域内。然后，控制器可以在检测到对第二操作图像的操作时控制第二存储装置存储第一对象和第一对象的第一元数据作为第一列表的一部分。类似地，控制器可以控制第二存储装置存储第二对象和第二对象的第二元数据作为第二列表的一部分。
因此，通过仅将不同类型的对象置于预定区域内并在对象的图像被存储在第一存储装置中之后对第二操作图像执行单次操作，用户可以使对象的元数据被存储在第二存储装置中作为与对象的类型相对应的列表的一部分。
控制器可以控制投影仪投影动画，该动画利用对象的图像示出元数据如何被存储为预定列表的一部分。
因此，通过使用户看到元数据被存储的状态，信息处理设备可以使用户容易地获知到元数据已被存储，同时增加用户的兴趣。
控制器可以在对象的图像被存储在第一存储装置中之后检测对象是否从对象的图像被存储时所在的位置移动。然后，控制器可以在检测到对象已移动时控制投影仪将存储在第一存储装置中的对象的图像投影到对象的图像被存储时所在的位置。
因此，即使当对象被从预定区域移除时，用户也可以容易地识别 出对象的图像已被存储在第一存储装置中。
根据本发明的另一个实施例，提供了一种信息处理设备中的信息处理方法，该信息处理设备包括投影仪、相机和存储装置。
在信息处理方法中，投影仪将包含操作图像的投影图像投影到预定区域上。相机拍摄预定区域内的对象的图像。基于相机拍摄的拍摄图像检测对操作图像的操作。当检测到该操作时，将拍摄图像中的至少所述对象的图像存储在存储装置中。
由于当该信息处理方法检测到对投影图像中包含的操作图像的操作时存储对象的图像，因此用户可以仅通过对投影图像的操作来容易且直观地使存储装置存储预期对象的图像，而无需触摸信息处理设备自身。
根据本发明的另一个实施例，提供了一种包括程序的有形计算机可读介质，该程序使得包括投影仪、相机和存储装置的信息处理设备执行投影步骤、图像拍摄步骤、检测步骤和存储步骤。
投影步骤包括由投影仪将包含操作图像的投影图像投影到预定区域上。图像拍摄步骤包括由相机拍摄预定区域内的对象的图像。检测步骤包括基于相机拍摄的拍摄图像检测对操作图像的操作。存储步骤包括在检测到该操作时将拍摄图像中的至少所述对象的图像存储在存储装置中。
通过执行该程序，当检测到对投影图像中包含的操作图像的操作时，存储对象的图像。因此，用户可以仅通过对投影图像的操作来容易且直观地使存储部分存储预期对象的图像，而无需触摸信息处理设备自身。
根据本发明的实施例，可以通过容易且直观的操作来存储由相机拍摄并由投影仪投影的图像。
本发明的这些和其他的目的、特征和优点将通过下面在附图中示出的对最佳模式实施例的详细描述变清楚。
附图说明
图1是示出根据本发明一个实施例的便携式信息设备的外观和使用状态的示图；
图2是示出根据本发明实施例的便携式信息设备的硬件结构的示图；
图3是示出当根据本发明实施例的便携式信息设备捕获由相机拍摄的图像时的操作流程的流程图；
图4A-B是示出在本发明的实施例中当CPU检测到在投影区内存在对象并且投影“捕获”按钮时的投影区的状态的示图；
图5A-B是示出在本发明的实施例中当CPU检测到已按下了“捕获”按钮并且捕获拍摄图像时的投影区的状态的示图；
图6A-B是示出在本发明的实施例中当CPU检测到在投影区内存在多个对象并且投影“捕获”按钮时的投影区的状态的示图；
图7A-B是示出在本发明的实施例中在投影区内存在多个对象的情况下、当CPU检测到已按下了“捕获”按钮并且捕获拍摄图像时的投影区的状态的示图；
图8是示出当根据本发明实施例的便携式信息设备存储对象的图像和对象的元数据时的操作流程的流程图；
图9A-B是示出在本发明的实施例中对象图像在捕获之后被投影的状态的示图；
图10A-B是示出在本发明的实施例中元数据的识别结果显示图像被投影的状态的示图；
图11A-C是示出在本发明的实施例中当名片的字符信息被存储在联系人列表中时投影的动画的示图；
图12是示出在本发明的另一实施例中在基于对按钮的用户操作存储元数据的情况下、便携式信息设备的操作流程的流程图；
图13A-B是示出在本发明的另一实施例中在投影区内投影用于存储元数据的按钮的状态的示图；
图14A-B是示出在本发明的另一实施例中分别捕获投影区内不同类型的对象并存储其元数据的例子的示图；
图15是示出在本发明的另一实施例中在投影区和成像区不一致的情况下、投影图像的例子的示图；以及
图16A-C是示出在本发明的另一实施例中在动画执行期间校正错误字符的状态的示图。
具体实施方式
下文中将参考附图描述本发明的实施例。
(系统的概况)
图1是示出根据本发明一个实施例的便携式信息设备的外观和使用状态的示图。
如图1所示，根据该实施例的便携式信息设备100例如包括手掌大小的外壳1，并且在使用时被置于桌子、地面等的水平面上。当然，便携式信息设备100可以在使用时被悬挂在墙壁等的垂直面上。
便携式信息设备100包括投影仪2、相机3和显示屏4。
投影仪2将包含GUI(图形用户界面)和图像数据的投影图像投影到桌子或地面的预定范围中的矩形投影区10中。相机3对投影区10拍摄图像。即，投影仪2的投影范围和相机3的拍摄范围彼此一致。用户利用手H的手指等对投影仪2的投影图像执行操作，并且便携式信息设备100随后通过相机3识别用户的操作并执行与该操作相对应的处理。另外，便携式信息设备100对用户置于投影区10内的对象拍照并存储(捕获)与用户对投影图像的操作相符的拍摄图像。而且，便携式信息设备100通过投影仪2投影所捕获的拍摄图像或者从该拍摄图像提取的对象的图像。
(便携式信息设备的硬件结构)
图2是示出便携式信息设备100的硬件结构的示图。
如图2所示，便携式信息设备100除了包括投影仪2、相机3和显示屏4以外，还包括CPU(中央处理单元)11、RAM(随机访问存储器)12、闪存13、扬声器14和键/开关部分15。便携式信息设备100还包括各种接口，例如存储卡I/F(接口)16和外部I/F(接口) 18。
CPU 11与便携式信息设备100的各个部分交换信号以执行各种操作，并总地控制投影处理、成像处理和其他处理。
RAM 12用作CPU 11的工作区，并且临时存储各种类型的数据，例如包括由相机3拍摄的图像、从该拍摄图像提取的对象的图像、要由CPU 11处理的从该对象识别的元数据、以及程序。RAM 12包括用于临时存储(捕获)上述拍摄图像或对象图像的区域(剪贴板)。
闪存13例如是NAND型的。闪存13存储各种类型的数据，包括拍摄图像、对象的图像和元数据、由投影仪2投影的图像、音频和文本、以及诸如要由CPU 11执行的控制程序和应用之类的各种程序。另外，在该实施例中，闪存13还捕获拍摄图像或对象的提取图像，并且存储用于识别和存储元数据的应用程序。该应用可以存储在诸如存储卡17之类的另一记录介质中。便携式信息设备100可包括HDD来替代闪存13或者作为对闪存13的补充。
扬声器14在图像被拍摄或者执行其他操作时输出存储在闪存13中的音频。
键/开关部分15接受与以下功能相对应的操作：不能通过对触摸面板5的操作执行的功能(例如电源的开/关和各种功能的开关)和能通过对触摸面板5的操作执行的功能，并向CPU 11发送输入信号。
存储卡I/F 16连接到诸如记忆棒之类的各种类型的存储卡17，并在存储卡17中存储各种类型的数据(例如上述拍摄图像)。另外，存储卡I/F 16将存储卡17内的各种类型的数据读出到RAM 12，并通过CPU 11再现数据。
外部I/F 18基于USB(通用串行总线)、无线LAN(局域网)等的各种标准通过有线或无线连接与外部设备交换各种类型的数据。
投影仪2例如是液晶投影仪，并且包括投影控制器21、光源22、液晶面板23和投影光学系统24。
光源22例如是LED(发光二极管)，并且以与输送的电流量相 对应的亮度照射液晶面板23。液晶面板23用作调制装置，并且根据来自投影控制器21的驱动信号生成投影图像(光图像)。投影光学系统24投影从液晶面板23发射的调制光。投影控制器21基于来自CPU 11的指令向光源22和液晶面板23提供控制信号。
当然，投影仪2并不限于液晶投影仪，而可以是其他操作系统的投影仪，例如DLP(注册商标)投影仪和LCOS(硅上液晶)投影仪。
投影仪2将包含用于用户操作的图像的投影图像(后面将描述)投影到投影区10上，并进一步将由相机3拍摄并被RAM 12捕获的拍摄图像或对象的图像投影到投影区10上。
相机3包括成像控制器31、成像装置32和成像光学系统33。
CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器被用作成像装置32。成像光学系统33在成像装置32的成像表面上形成对象的图像。成像控制器31基于来自CPU 11的指令驱动成像装置32并对从成像装置32输出的图像信号执行预定信号处理。
在信号处理之后的拍摄图像被CPU 11用于检测对投影图像的用户操作。另外，基于检测到的用户操作在RAM 12的剪贴板等中捕获拍摄图像，并随后适当地将其存储在闪存13或存储卡17中。
显示屏4例如是LCD(液晶显示屏)或TFT(薄膜晶体管)的OELD(有机电致发光显示屏)等，并且包括触摸面板5。例如，在用户对便携式信息设备100中的数据执行操作或者执行投影仪2和相机3的各种设置操作的情况下，显示屏4在CPU 11的控制下显示用于触摸操作的GUI或各种类型的数据。
显示屏4可以不包括触摸面板5，并且用户的操作可以仅从键/开关部分15输入。
(便携式信息设备的操作)
接下来，将描述如上所述构造的便携式信息设备100的操作。在下面的描述中，CPU 11被描述为操作的主体，但是CPU 11的操作是 与RAM 12中展开的程序协同执行的。
(便携式信息设备的捕获操作)
首先，将描述便携式信息设备100的捕获操作。
图3是示出当便携式信息设备100捕获由相机3拍摄的图像时的操作流程的流程图。
如图3所示，便携式信息设备100的CPU 11首先通过投影仪2将投影图像投影到投影区10上，并通过相机3对投影区10进行拍照(步骤41)。
随后，CPU 11分析相机3所拍摄的图像并且判断在投影区10内是否存在除了用户的手H以外的对象(步骤42)。
当识别出对象存在(“是”)时，CPU 11控制投影仪2将“捕获”按钮的图像投影在投影区10内(步骤43)。
然后，CPU 11判断用户的手指是否按下了所投影的“捕获”按钮(用户的手指是否触摸了投影区10内“捕获”按钮的区域)。该判断也是通过对由相机3拍摄的图像执行图像分析来进行的。
随后，当检测到已按下了上述“捕获”按钮50(“是”)时，CPU11控制相机3聚焦在投影区10内存在的对象上(步骤45)。
CPU 11随后通过相机3捕获聚焦的拍摄图像(步骤46)。所捕获的拍摄图像例如被存储在RAM 12的剪贴板中。
在这种情况下，CPU 11将投影仪2的投影图像的照度增大一预定时间段(例如一秒)。同时，CPU 11从扬声器14输出一般相机的闪光声音(步骤47)。通过这些操作，CPU 11人工再现了一般相机的闪光和闪光声音。
图4A-B是示出当CPU 11检测到在投影区10内存在对象并且投影“捕获”按钮时的投影区10的状态的示图。图4A-B示出了CD封套(CD外壳)作为对象被拍摄图像的例子。
如图4A所示，当用户用手H将CD封套J置于投影区10内时，CPU 11识别出手H和被相机3拍摄的CD封套J的图像。CPU 11将拍摄图像与预先存储的元数据(包括手的形状、颜色等)进行模式匹 配，并执行诸如边缘提取之类的图像分析处理，从而检测到在投影区10内存在除了手H以外的物体。此时，CPU 11识别出在投影区10内存在一物体，但是并未将该物体识别为CD封套J。
当检测到对象存在时，CPU 11控制投影仪2将“捕获”按钮50投影在例如投影区10的右下部分上，如图4B所示。
“捕获”按钮50当然并不限于包括“捕获”字符的按钮，而是可以是任何按钮、图标等，只要用户可以理解该按钮或图标是用于执行捕获操作的操作图像即可。
图5A-B是示出当CPU 11检测到已按下了“捕获”按钮50并且捕获拍摄图像时的投影区10的状态的示图。
如图5A所示，通过基于由相机3拍摄的图像识别出在“捕获”按钮50周围的拍摄图像发生改变，CPU 11检测到用户已用手指等按下了“捕获”按钮50。
当检测到已按下了“捕获”按钮50时，CPU 11在一预定时间段(例如，从该检测起一秒)之后通过相机3捕获拍摄图像。同时，CPU 11控制投影仪2增大投影图像的照度，如图5B所示。因此，可视地再现了一般相机的闪光。与闪光一同，CPU 11还从扬声器14输出模仿闪光声音的声音。
在投影区10内可能存在多个对象。
图6A-B是示出当CPU 11检测到在投影区10内存在多个对象并且投影“捕获”按钮50时的投影区10的状态的示图。图7A-B是示出当CPU 11检测到在投影区10内存在多个对象的情况下已按下了“捕获”按钮50并且捕获拍摄图像时的投影区10的状态的示图。这些图示出了作为对象的多个名片的图像被拍摄的例子。
例如，如图6A所示，当用户用手H将名片C1至C5置于投影区10内时，CPU 11识别出手H和被相机3拍摄的名片C1至C5的图像。与图4A-B的情况一样，CPU 11执行图像分析处理等。当检测到在投影区10内存在除了手H以外的多个物体时，CPU 11通过投影仪2投影“捕获”按钮50，如图6B所示。
如图7A所示，当CPU 11基于由相机3拍摄的图像检测到用户已按下了“捕获”按钮50(与图5A-B的情况一样)时，CPU 11通过相机3捕获拍摄图像。同时，CPU 11将投影仪2对投影图像的照度增大一预定时间段，并从扬声器14输出闪光声音。
(便携式信息设备的对象元数据存储操作)
接下来，将描述便携式信息设备100存储对象元数据的操作。
图8是示出当便携式信息设备100存储对象的元数据时的操作流程的流程图。
如图8所示，在捕获了拍摄图像之后，CPU 11对捕获图像执行诸如边缘提取之类的图像分析处理并提取对象的区域中的图像(步骤81)。下文中，对象的区域中的提取图像被称为对象图像。对象图像被临时存储在例如RAM 12中。
随后，CPU 11判断在投影区10内除了手H以外的对象是否从已捕获了拍摄图像的位置移动。该判断例如是通过将在捕获拍摄图像时的相机3的拍摄图像与在经过一预定时间段之后的拍摄图像相比较并取二者之差来进行的。
当判断出对象已移动(“是”)时，CPU 11控制投影仪2将对象图像投影到在捕获时对象所在的位置处(步骤83)。
图9A-B是示出对象图像被投影时的状态的示图。
图9A示出了在CD封套J是对象的情况下的投影状态。当检测到用户已用手H将CD封套J从捕获时的位置移动时，CPU 11将通过从捕获图像中提取CD封套J的区域而获得的CD封套图像51投影到CD封套J的图像被捕获时的位置。
图9B示出了在多个名片C1至C5是对象的情况下的投影状态。当检测到用户已用手H将名片C1至C5从捕获时的位置移动时，CPU 11将通过从捕获图像中提取名片C1至C5的区域而获得的多个名片图像52a至52e投影到名片C1至C5的图像被捕获时的位置。
通过图9A和9B所示的处理，用户可以容易地获悉对象已被捕获。
返回图8，CPU 11随后判断投影区10内的所有对象是否已被移出投影区10(不存在)(步骤84)。该判断也是通过分析由相机3拍摄的图像来执行的。
当判断出所有对象已被移出投影区10(“是”)时，CPU 11控制投影仪2从投影图像中删除“捕获”按钮50(步骤85)。在后续步骤的处理执行期间也视需要执行步骤84和85中的处理。
随后，CPU 11从提取的对象图像中识别对象的元数据(步骤86)。这里，元数据是与对象相关的数据，例如包括对象的身份(该对象是什么)和对象中包含的字符的数据。元数据的识别是利用诸如模式匹配和特征识别之类的图像识别技术来进行的。当对象是有版权作品时，版权信息(作者姓名、有版权作品的名称)可以被识别为元数据。对于该识别，除了图像识别技术以外，还可使用诸如OCR之类的字符识别技术。另外，便携式信息设备100可包括用于将对象图像发送到网络上的搜索引擎并获取相应版权信息的通信装置。
随后，当已从对象识别出元数据(“是”)时，CPU 11控制投影仪2投影指示识别已成功的图像，当未识别出元数据(“否”)时则投影指示识别已失败的图像(步骤88和89)。
图10A-B是示出在指示元数据的识别已成功或失败的图像(下文中称为识别结果显示图像)被投影时的状态的示图。
图10A示出了在对象是CD封套J的情况下的投影状态。在CPU11已成功识别出CD封套J的元数据(CD封套的身份)的情况下，CPU 11投影“已识别”的字符作为识别结果显示图像53，例如通过在CD封套图像51附近以气球或弹出框形式显示。另外，CPU 11控制投影仪2在CD封套图像51周围投影指示元数据识别目标的框54。
图10B示出了在对象是多个名片C1至C5的情况下的投影状态。在CPU 11已成功识别出名片C1至C5的元数据(例如，在名片中描述的字符)的情况下，CPU 11在名片图像52的附近投影“已识别”的字符作为识别结果显示图像53，并且在CPU 11失败的情况下，CPU11还通过投影仪2投影“失败”的字符。框54也被投影在每个名片图 像52的周围。图10B示出了与名片图像52a、52b、52c和52e相对应的名片C1、C2、C3和C5中的字符的识别已成功，而与名片图像52d相对应的名片C4中的字符的识别失败的例子。
由此，用户可以容易地获知元数据的识别结果。另外，至于元数据尚未被识别的名片，当用户将与该名片图像相对应的名片置于投影区10中以使该名片的图像被再次捕获时，元数据可以被正确地识别。
当然，用于指示元数据的识别结果的显示并不限于上述的“已识别”和“失败”的字符，而是可以用任何显示，只要用户可以获知识别结果即可。
返回图8，CPU 11随后判断作为元数据识别目标的对象是否为名片(步骤90)。当判断出该对象是名片(“是”)时，CPU 11将名片的元数据作为联系人列表的一部分存储在闪存13等中(步骤91)。在存在多个名片的情况下，各个名片的元数据被一次存储。
这里，联系人列表用于列举包括姓名、公司名称、地址、电话号码、电子邮件地址等的字符信息，这些字符信息是逐个人地从名片中识别出来的。在名片的字符信息被存储在联系人列表中的情况下，CPU 11控制投影仪2投影指示该存储状态的动画。
图11A-C是示出当名片的字符信息被存储在联系人列表中时的动画的示图。该动画被投影为从捕获操作到元数据识别结果的投影操作的一系列处理。另外，在图11A-C中，假定CPU 11已成功识别出所有名片C1至C5上的字符信息。
如图11A所示，CPU 11控制投影仪2将名片图像52a至52e排列在例如垂直方向上，并将被识别为字符信息的姓名55(55a至55e)投影在紧邻名片图像52a至52e的位置处。
如图11B和11C所示，CPU 11投影动画，在动画中，名片图像52a至52e例如按姓名的字母顺序叠加，并且每个名片图像顺序存放在一行56的适当位置处，该行56由已按字母顺序存储在联系人列表中的所有名片构成。
这里，与字符信息一同，名片图像52a至52e自身也可存储在联 系人列表中。
通过上述动画，便携式信息设备100可以帮助用户容易地获知名片C1至C5被存储作为联系人列表的一部分并且增加用户的兴趣。
另外，由于多个名片的字符信息被一次识别和存储，因此与逐个名片执行存储处理的情况相比，可以使CPU 11的处理高效并节省用户的时间和劳动。
返回图8，当CPU 11判断出对象不是名片(“否”)时，CPU 11判断对象是否为CD封套(步骤92)。当判断出对象是CD封套(“是”)时，CPU 11使得闪存13等将CD封套的元数据存储为音乐集的一部分。
这里，音乐集用于将CD封套图像51自身存储为照片集。然而，基于CD封套图像51，CPU 11可以将与CD封套图像51相对应的唱片名称、艺术家姓名等识别为元数据，并将其与CD封套图像51一同存储在音乐集中。
此外，CPU 11可以从例如因特网下载与元数据已被识别的CD封套J相对应或与其相关联的音乐数据。另外，在便携式信息设备100连接到外部设备并且音乐数据被存储在外部设备中的情况下，CPU 11可以进行如下安排：经由例如外部I/F 18将音乐数据从外部设备发送到便携式信息设备100。
当判断出对象不是名片或CD封套(“否”)时，CPU 11终止处理。然而，在便携式信息设备100还包括用于从除了名片和CD封套以外的对象识别元数据并存储该元数据的应用的情况下，执行相应的处理。
另外，在执行上述处理时，用于从名片识别元数据的应用和用于从CD封套识别元数据的应用可以单独存在，或者作为一个应用的多个功能存在。
在检测到在投影区10内存在对象的情况下，在图3的步骤42和后续步骤中描述的处理再次投影在上述步骤85中删除的“捕获”按钮50。
通过上述处理，便携式信息设备100可以在检测到对包含在投影图像中的“捕获”按钮50的操作时捕获对象的图像。另外，便携式信息设备100可以在投影区10内用作触发的所有对象都不存在的情况下从对象图像识别元数据并存储该元数据。因此，用户可以仅通过对投影图像的操作来容易且直观地捕获预期对象的图像并且识别及存储元数据，而无需触摸便携式信息设备100自身。而且，通过将预期对象置于投影区10内并按下“捕获”按钮50，用户可以将便携式信息设备100用作大尺寸伪相机，其中投影区10被视作取景器，而“捕获”按钮50被视作快门按钮。
(修改例)
本发明并不仅限于上述实施例，而是可以进行各种修改，而不脱离本发明的精神。 
在上述实施例中，CPU 11在投影区10内被用作触发的所有对象都不存在(移出投影区10)的情况下从对象图像识别元数据并存储该元数据。然而，CPU 11可以使用户判断是否存储所识别的元数据并基于用户的操作存储元数据。
例如，CPU 11可以控制投影仪2以使用于执行存储元数据的命令操作的按钮的图像被包含在投影图像中。
图12是示出在基于对按钮图像的用户操作来存储元数据的情况下便携式信息设备100的操作流程的流程图。
如图12所示，CPU 11所执行的步骤121至129的处理与上述图8中的步骤81至89的处理相同。
随后，在CPU 11判断出对象是名片(步骤130：“是”)的情况下，CPU 11控制投影仪2以使投影图像包括“保存为联系人”按钮(步骤131)。
然后，CPU 11基于由相机3拍摄的图像判断用户是否已用手指等按下了“保存为联系人”按钮(步骤132)。
当判断出已按下了“保存为联系人”按钮(“是”)时，CPU 11按上述实施例中那样将元数据存储在联系人列表中(步骤133)。
另外，当判断出对象是CD封套(步骤134：“是”)时，CPU 11控制投影仪2以使投影图像包括“保存为音乐集”按钮(步骤135)。
接下来，CPU 11基于由相机3拍摄的图像判断用户是否已用手指等按下了“保存为音乐集”按钮(步骤136)。
然后，当判断出已按下了“保存为音乐集”按钮(是)时，CPU 11按上述实施例中那样将CD封套图像51存储在音乐集中(步骤137)。
这些“保存为联系人”按钮和“保存为音乐集”按钮当然并不限于包括这些字符的按钮。即，可以投影任何按钮、图标等，只要用户可以理解该按钮等是用于执行存储各个对象的元数据的处理的操作图像即可。
图13A-B是示出在投影区10内投影了“保存为音乐集”按钮和“保存为联系人”按钮的情况下的状态的示图。
图13A示出了对象是CD封套J的情况的例子。当判断出对象是CD封套时，CPU 11控制投影仪2例如在CD封套图像51的附近、以可与“捕获”按钮50清楚区分的方式投影“保存为音乐集”按钮61。
在CPU 11检测到用户已按下“保存为音乐集”按钮61的情况下，CPU 11执行存储CD封套图像51的处理。
图13B示出了对象是多个名片C1至C5的情况的例子。当识别出所有名片C1至C5中每一个上的字符信息并判断出对象是名片时，CPU 11控制投影仪2投影“保存为联系人”按钮62。
在图13B中，对于与多个名片C1至C5相对应的名片图像52a至52e仅投影了一个“保存为联系人”按钮62，但是也可以为每个名片图像投影“保存为联系人”按钮62。在这种情况下，不一定总能成功识别出所有名片的字符信息，可以仅针对字符信息已被成功识别的名片显示“保存为联系人”按钮。
当检测到用户已按下“保存为联系人”按钮62时，CPU 11一次存储多个名片图像52a至52e。
通过上述处理，便携式信息设备100可以在识别出元数据之后基 于对投影图像的用户操作判断元数据和对象图像是否被存储在诸如联系人列表和音乐集之类的列表中并执行该操作。因此，用户可以通过容易的操作确实地判定是否将对象的元数据和对象图像存储在列表中。
在上述实施例中，单独描述了在投影区10内存在作为对象的CD封套的情况和在投影区10内存在名片的情况。然而，在投影区10内同时存在上述不同类型的对象的情况下，CPU 11可以针对每个对象单独执行捕获处理和元数据识别/存储处理。
图14A-B是示出如上所述在投影区10内同时存在不同类型的对象的情况下的状态的示图。
如图14A所示，在CPU 11识别出在投影区10内存在不同类型的对象(CD封套J和名片C)的情况下，CPU 11使得投影仪2投影用于捕获由相机3拍摄的图像的“捕获”按钮50，该图像包括CD封套J和名片C两者。
在CPU 11检测到已按下“捕获”按钮50的情况下，CPU 11捕获投影图像并从捕获图像中提取CD封套图像51和名片图像52，如图14B所示。
随后，CPU 11使得投影仪2在识别结果显示图像53之后投影“保存为音乐集”按钮61和“保存为联系人”按钮62。然后，根据对这些按钮的用户操作，CPU 11将名片C的字符信息存储在联系人列表中，并将CD封套图像51存储在音乐集中。
另外，在未投影“保存为音乐集”按钮61和“保存为联系人”按钮62的情况下，CPU 11在每次投影区10内的CD封套J或名片C被移出投影区10时执行存储处理。
通过上述处理，仅通过一次将不同类型的对象置于投影区10中并对投影图像执行操作，用户可以使不同类型的对象的元数据等被容易地存储在相应列表中。
在上述实施例中，投影仪2的投影区10和相机3的成像区彼此一致。然而，投影区10和成像区可以不一致。
图15是示出这种情况下的投影图像的例子的示图。
如图15所示，成像区110被设在投影区10中作为其一部分。在从投影区10中排除成像区110而获得的非成像区120中投影了“捕获”按钮50。
因此，可以防止“捕获”按钮50或者按下“捕获”按钮50的用户的手指被捕获，其结果是用户可以使便携式信息设备100存储除预期对象以外的不必要物体不被显示的捕获图像。
在上述实施例中，CPU 11控制投影仪2增大投影图像的照度并控制扬声器14在捕获时输出闪光声音。然而，替代这种处理，CPU 11可以使投影仪2投影指示已进行捕获的图标或文本。
在上述实施例中，当“捕获”按钮50被按下时执行捕获处理。然而，捕获处理的触发并不限于“捕获”按钮50的按下。便携式信息设备100可以在识别出指示捕获的用户语音(例如“捕获”)时执行捕获处理。在这种情况下，可以不显示“捕获”按钮50。
在上述实施例中，如图11A-C所示，从诸如名片之类的对象的捕获图像(对象图像)中识别出的元数据(例如，字符信息)被存储在预定列表(联系人列表)中的状态被显示为动画。这里，在作为字符识别目标的对象包含多个项目(例如，姓名、公司名称、地址等)的字符串的情况下，除了要识别的字符自身错误的情况以外，还可能存在每个字符串的项目和要识别的字符串不对应的情况。例如，可能存在作为公司名称要识别的字符串被错误地识别为姓名的情况。当发生这样的错误字符识别时，要存储的列表也是错误的，这导致不方便。
为此，便携式信息设备100可以在动画执行期间基于用户的操作输入来校正这种错误的字符串。
图16A-C是示出在动画执行期间校正错误字符的状态的示图。
如图16A所示，公司名称161被错误地显示在根据在动画执行期间垂直排列的多个名片图像52中的名片图像52a、要显示姓名的区域处。在这种情况下，如图16A所示，用户用手H的手指等触摸公司名称161被错误显示的区域。
便携式信息设备的CPU 11基于由相机3拍摄的图像检测到该触摸。如图16B所示，CPU 11随后控制投影仪2显示校正候选列表栏162，校正候选列表栏162用于呈现已从名片图像52a中识别出的字符串的列表作为校正候选。
当如图16B所示用户通过手指的触摸从校正候选列表栏162中选择正确字符串(姓名)时，CPU 11从由相机3拍摄的图像检测到该触摸。然后，CPU 11将迄今为止显示的公司名称161改变为所选字符串(姓名55a)，如图16C所示。由此，正确字符串也被存储在闪存13的联系人列表中。
通过上述处理，即使在要识别的字符串的项目错误时，便携式信息设备100也可以通过呈现校正候选以供用户触摸而使用户容易地校正错误。
替代校正候选列表栏162，CPU 11可以显示例如软件键盘并利用用户从键盘输入的字符串来校正错误的字符串。
在上述实施例中，CD封套和名片被描述为对象的例子，但是对象当然并不限于此。
例如，便携式信息设备100可以将餐馆中的餐馆信息卡作为对象来捕获，从该捕获图像中识别字符信息，并将该信息存储为餐馆列表的一部分。
另外，便携式信息设备100可以将酒瓶作为对象来捕获，从该捕获图像中识别字符信息，并将该信息存储为酒列表的一部分。
在上述实施例中可以应用本发明的便携式信息设备100的例子包括各种信息处理设备，例如蜂窝电话、PDA(个人数字助理)、智能电话、便携式音乐/视频播放器、电子辞典和电子档案夹。而且，本发明并不限于便携式信息设备，而是可类似地应用于各种固定信息处理设备。
本申请包含与2009年4月14日向日本专利局提交的日本在先专利申请JP 2009-097723中公开的内容有关的主题，上述申请的全部内容通过引用而结合于此。
本领域技术人员应当理解，取决于设计需求和其他因素可以发生各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。

Claims (9)

1.一种信息处理设备，包括：
投影仪，用于将包含第一操作图像的投影图像投影到预定区域上；
相机，用于拍摄所述预定区域内的对象的图像；
第一存储装置；
控制器，用于基于所述相机拍摄的拍摄图像检测用户的手对所述第一操作图像的操作，并在检测到该操作时控制所述第一存储装置存储所述拍摄图像中的至少所述对象的图像，以及
第二存储装置，
其中所述控制器基于所述拍摄图像识别所述对象的元数据并控制所述第二存储装置将该元数据存储为预定列表的一部分，
其中所述控制器控制所述投影仪在所述投影图像中包括指示是否已识别出所述元数据的信息，
其中所述控制器控制所述投影仪在从检测到所述操作起的预定时间段内使得所述投影图像的照度大于在检测到所述操作前的照度，
其中所述控制器基于所述拍摄图像检测在所述预定区域内是否存在所述对象，并且在检测出在所述预定区域内存在所述对象时控制所述投影仪在所述投影图像中包括所述第一操作图像，
其中所述控制器在所述对象的图像被存储在所述第一存储装置中之后检测所述对象是否从所述对象的图像被存储时所在的位置移动，并且在检测到所述对象已移动时控制所述投影仪将存储在所述第一存储装置中的对象的图像投影到所述对象的图像被存储时所在的位置。
2.如权利要求1所述的信息处理设备，
其中当基于所述拍摄图像检测到已识别出元数据的对象不存在于所述预定区域内时，所述控制器控制所述第二存储装置存储所述元数据。
3.如权利要求2所述的信息处理设备，
其中所述控制器从存在于所述预定区域内的多个对象识别多条元数据，并且在检测到所述多个对象全都不存在于所述预定区域内时控制所述第二存储装置一次存储所述多条元数据作为所述预定列表的一部分。
4.如权利要求2所述的信息处理设备，
其中所述控制器从第一对象和与第一对象不同类型的第二对象识别多条元数据，所述第一对象和所述第二对象存在于所述预定区域内，并且所述控制器在检测到所述第一对象不存在于所述预定区域内时控制所述第二存储装置存储所述第一对象的第一元数据作为第一列表的一部分，而在检测到所述第二对象不存在于所述预定区域内时存储所述第二对象的第二元数据作为第二列表的一部分。
5.如权利要求1所述的信息处理设备，
其中所述控制器在识别出所述元数据时控制所述投影仪在所述投影图像中包括不同于所述第一操作图像的第二操作图像，基于所述拍摄图像检测对所述第二操作图像的操作，并且在检测到该操作时控制所述第二存储装置存储所述元数据。
6.如权利要求5所述的信息处理设备，
其中所述控制器从存在于所述预定区域内的多个对象识别多条元数据，并且在检测到对所述第二操作图像的操作时控制所述第二存储装置一次存储所述多条元数据作为所述预定列表的一部分。
7.如权利要求5所述的信息处理设备，
其中所述控制器从第一对象和与第一对象不同类型的第二对象识别多条元数据，所述第一对象和所述第二对象存在于所述预定区域内，并且所述控制器在检测到对所述第二操作图像的操作时控制所述第二存储装置存储所述第一对象和所述第一对象的第一元数据作为第一列表的一部分并且存储所述第二对象和所述第二对象的第二元数据作为第二列表的一部分。
8.如权利要求1所述的信息处理设备，
其中所述控制器控制所述投影仪投影动画，该动画利用所述对象的图像示出元数据如何被存储为所述预定列表的一部分。
9.一种信息处理设备中的信息处理方法，所述信息处理设备包括投影仪、相机、第一存储装置和第二存储装置，所述方法包括：
由所述投影仪将包含操作图像的投影图像投影到预定区域上；
由所述相机拍摄所述预定区域内的对象的图像；
基于所述相机拍摄的拍摄图像检测用户的手对所述操作图像的操作；
在检测到该操作时将所述拍摄图像中的至少所述对象的图像存储在所述第一存储装置中，
基于所述拍摄图像识别所述对象的元数据并控制所述第二存储装置将该元数据存储为预定列表的一部分，
控制所述投影仪在所述投影图像中包括指示是否已识别出所述元数据的信息，
控制所述投影仪在从检测到所述操作起的预定时间段内使得所述投影图像的照度大于在检测到所述操作前的照度，
基于所述拍摄图像检测所述对象是否存在于所述预定区域内，并且在检测出所述对象存在于所述预定区域内时控制所述投影仪在所述投影图像中包括所述操作图像，以及
在所述对象的图像被存储在所述第一存储装置中之后检测所述对象是否从所述对象的图像被存储时所在的位置移动，并且在检测到所述对象已移动时控制所述投影仪将存储在所述第一存储装置中的对象的图像投影到所述对象的图像被存储时所在的位置。
CN201010154417.5A 2009-04-14 2010-04-02 信息处理设备、信息处理方法 Active CN101867755B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-097723 2009-04-14
JP2009097723A JP5347673B2 (ja) 2009-04-14 2009-04-14 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN101867755A CN101867755A (zh) 2010-10-20
CN101867755B true CN101867755B (zh) 2015-07-22

Family

ID=42934060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010154417.5A Active CN101867755B (zh) 2009-04-14 2010-04-02 信息处理设备、信息处理方法

Country Status (3)

Country Link
US (1) US8325234B2 (zh)
JP (1) JP5347673B2 (zh)
CN (1) CN101867755B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US20110199342A1 (en) * 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US20120050786A1 (en) * 2010-08-24 2012-03-01 Paul Rudolph Printing system control using updated metadata packets
US8582156B2 (en) * 2010-08-24 2013-11-12 Eastman Kodak Company Printing system control using multiple metadata packets
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
JP2012208439A (ja) * 2011-03-30 2012-10-25 Sony Corp 投影装置、投影方法及び投影プログラム
US10229538B2 (en) * 2011-07-29 2019-03-12 Hewlett-Packard Development Company, L.P. System and method of visual layering
US20130169847A1 (en) * 2011-11-30 2013-07-04 I-Star Entertainment Llc Digital camera with a projector
JP6064319B2 (ja) * 2011-12-27 2017-01-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP2014086849A (ja) * 2012-10-23 2014-05-12 Sony Corp コンテンツ取得装置及びプログラム
KR102001218B1 (ko) * 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US9147275B1 (en) * 2012-11-19 2015-09-29 A9.Com, Inc. Approaches to text editing
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
CN104077582A (zh) * 2013-03-25 2014-10-01 腾讯科技（深圳）有限公司 访问互联网的方法、装置及移动终端
JP6044426B2 (ja) * 2013-04-02 2016-12-14 富士通株式会社 情報操作表示システム、表示プログラム及び表示方法
CN104156059A (zh) * 2013-05-16 2014-11-19 原建桥 一种电子文件阅批的方法及装置
US20140362212A1 (en) * 2013-06-05 2014-12-11 Lku Technology Ltd. Illuminating surveillance camera
JP6090140B2 (ja) 2013-12-11 2017-03-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9905033B1 (en) * 2013-12-20 2018-02-27 Amazon Technologies, Inc. Adjusting graphical characteristics for recognition interfaces
JP6267520B2 (ja) * 2014-01-21 2018-01-24 キヤノン株式会社 画像処理装置およびその制御方法、画像処理システム
WO2016039713A1 (en) * 2014-09-08 2016-03-17 Hewlett-Packard Development Company, L.P. Capture and projection of an object image
WO2016039736A1 (en) * 2014-09-10 2016-03-17 Hewlett-Packard Development Company, L.P. Image projection and capture with simultaneous display of led light
CN107079126A (zh) 2014-11-13 2017-08-18 惠普发展公司，有限责任合伙企业 图像投影
WO2016088320A1 (en) * 2014-12-01 2016-06-09 Canon Kabushiki Kaisha Image reading apparatus
JP6065080B2 (ja) * 2014-12-22 2017-01-25 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム
US20160342449A1 (en) * 2015-05-22 2016-11-24 Microsoft Technology Licensing, Llc Data exchange across multiple computing devices through a proactive intelligent clipboard
WO2018136029A1 (en) * 2017-01-17 2018-07-26 Hewlett-Packard Development Company, L.P. Input device with touch sensitive surface
EP3632101A1 (en) * 2017-05-23 2020-04-08 Koninklijke KPN N.V. Coordinate mapping for rendering panoramic scene
JP2019062462A (ja) * 2017-09-27 2019-04-18 キヤノン株式会社 表示装置およびその制御装置、ならびにそれらの制御方法
CN109698945A (zh) 2017-10-23 2019-04-30 中强光电股份有限公司 投影系统及其监控方法与显示系统及其监控方法
WO2019167527A1 (ja) * 2018-02-28 2019-09-06 富士フイルム株式会社 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
DE102018203349A1 (de) * 2018-03-07 2019-09-12 BSH Hausgeräte GmbH Interaktionsmodul
WO2020183725A1 (ja) * 2019-03-14 2020-09-17 ｃｏｎｎｅｃｔｏｍｅ．ｄｅｓｉｇｎ株式会社 ワインソムリエシステム、ワインソムリエ方法、及びプログラム
US10747371B1 (en) 2019-06-28 2020-08-18 Konica Minolta Business Solutions U.S.A., Inc. Detection of finger press from live video stream
CN112584054A (zh) * 2019-09-29 2021-03-30 深圳市光鉴科技有限公司 基于图像编码的亮度自适应调节方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1322329A (zh) * 1998-10-07 2001-11-14 英特尔公司 采用扫描传感器的输入设备
CN1767559A (zh) * 2004-10-28 2006-05-03 乐金电子(中国)研究开发中心有限公司 移动通信终端输入装置
CN101147188A (zh) * 2005-01-21 2008-03-19 格斯图尔泰克股份有限公司 基于运动的跟踪
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
JPH07175587A (ja) * 1993-10-28 1995-07-14 Hitachi Ltd 情報処理装置
JPH09319556A (ja) * 1996-05-28 1997-12-12 Matsushita Electric Ind Co Ltd 情報処理装置
GB9614837D0 (en) * 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
US6690357B1 (en) 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US20020102966A1 (en) * 2000-11-06 2002-08-01 Lev Tsvi H. Object identification method for portable devices
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US20030164819A1 (en) * 2002-03-04 2003-09-04 Alex Waibel Portable object identification and translation system
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US20060251334A1 (en) * 2003-05-22 2006-11-09 Toshihiko Oba Balance function diagnostic system and method
JP4586370B2 (ja) * 2004-01-28 2010-11-24 日本電気株式会社 投射表示装置及び投射表示方法
JP4413633B2 (ja) * 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
JP2005267034A (ja) * 2004-03-17 2005-09-29 Brother Ind Ltd 画像入力装置
US7508978B1 (en) * 2004-09-13 2009-03-24 Google Inc. Detection of grooves in scanned images
US20060262188A1 (en) * 2005-05-20 2006-11-23 Oded Elyada System and method for detecting changes in an environment
JP4991154B2 (ja) * 2005-06-03 2012-08-01 株式会社リコー 画像表示装置、画像表示方法及びコマンド入力方法
US7677737B2 (en) * 2006-08-17 2010-03-16 Sony Ericsson Mobile Communications Ab Projector adaptation for self-calibration
US7986843B2 (en) * 2006-11-29 2011-07-26 Google Inc. Digital image archiving and retrieval in a mobile device system
JP2008134868A (ja) * 2006-11-29 2008-06-12 Seiko Epson Corp 画像認識装置、電子機器、画像認識方法、および、制御プログラム
JP5109439B2 (ja) * 2007-03-29 2012-12-26 富士ゼロックス株式会社 表示制御装置、及びプログラム
JP2008283494A (ja) * 2007-05-10 2008-11-20 Sharp Corp 画像処理システム
JP2009094867A (ja) * 2007-10-10 2009-04-30 Fuji Xerox Co Ltd 情報処理装置、遠隔指示システム及び制御プログラム
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1322329A (zh) * 1998-10-07 2001-11-14 英特尔公司 采用扫描传感器的输入设备
CN1767559A (zh) * 2004-10-28 2006-05-03 乐金电子(中国)研究开发中心有限公司 移动通信终端输入装置
CN101147188A (zh) * 2005-01-21 2008-03-19 格斯图尔泰克股份有限公司 基于运动的跟踪
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法

Also Published As

Publication number Publication date
JP2010250464A (ja) 2010-11-04
US20100259633A1 (en) 2010-10-14
CN101867755A (zh) 2010-10-20
US8325234B2 (en) 2012-12-04
JP5347673B2 (ja) 2013-11-20

Similar Documents

Publication Publication Date Title
CN101867755B (zh) 信息处理设备、信息处理方法
CN102714692B (zh) 基于照相机的扫描
CN104756065B (zh) 信息处理装置、信息处理方法以及计算机可读记录介质
US20140141836A1 (en) Entering Information Through an OCR-Enabled Viewfinder
EP3055793A1 (en) Systems and methods for adding descriptive metadata to digital content
CN107748615B (zh) 屏幕的控制方法、装置、存储介质及电子设备
US11087137B2 (en) Methods and systems for identification and augmentation of video content
CN104268150A (zh) 一种基于图片内容播放音乐的方法及装置
CN107885483B (zh) 音频信息的校验方法、装置、存储介质及电子设备
US11445144B2 (en) Electronic device for linking music to photography, and control method therefor
CN109618100B (zh) 现场拍摄图像的判断方法、装置及系统
US20200034387A1 (en) Information processing system, information processing apparatus, information processing program and information processing method
JP6640460B2 (ja) 画像撮影装置、画像撮影方法、プログラムおよび記録媒体
US8244005B2 (en) Electronic apparatus and image display method
JP7155781B2 (ja) 情報処理装置及び情報処理プログラム
TW201606728A (zh) 試題建立系統及其方法
US20130108234A1 (en) Content management apparatus, recording apparatus, operation apparatus, content management system, and control methods thereof
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
CN110795918B (zh) 确定阅读位置的方法、装置及设备
JP5950633B2 (ja) 情報処理装置、コンピュータプログラム、情報処理方法
JP5489478B2 (ja) 画像表示装置及び画像表示方法
JP5445858B2 (ja) 入力支援装置、入力支援方法、及びプログラム
CN114363521B (zh) 图像处理方法、装置及电子设备
JP7069631B2 (ja) 情報処理装置及び情報処理プログラム
US20240146781A1 (en) Systems and methods for managing digital notes for collaboration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant