CN103888695B - 图像处理终端以及图像处理系统 - Google Patents

图像处理终端以及图像处理系统 Download PDF

Info

Publication number
CN103888695B
CN103888695B CN201310695949.3A CN201310695949A CN103888695B CN 103888695 B CN103888695 B CN 103888695B CN 201310695949 A CN201310695949 A CN 201310695949A CN 103888695 B CN103888695 B CN 103888695B
Authority
CN
China
Prior art keywords
subject
image processing
side information
image
processing terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310695949.3A
Other languages
English (en)
Other versions
CN103888695A (zh
Inventor
泽柳美
泽柳一美
友野和明
高桥健
高桥健一
松原贤士
谷口阳介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Publication of CN103888695A publication Critical patent/CN103888695A/zh
Application granted granted Critical
Publication of CN103888695B publication Critical patent/CN103888695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H04N1/32133—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image on the same paper sheet, e.g. a facsimile page header
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3249—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document data relating to a linked page or object, e.g. hyperlink
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3267—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of motion picture signals, e.g. video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3278—Transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供图像处理终端、图像处理系统及图像处理终端的控制程序，即使在存在很多在被摄体的实际影像上重叠的制造扩张现实感的影像目标即空气标签的情况下，也能够恰当地选择空气标签。在图像处理终端中，在摄影被摄体中包括特定的代码的情况下，从服务器获取与该代码关联地存储在数据库内的应对被摄体补充的多个电子补充信息。图像处理部将与各电子补充信息对应的各空气标签重叠在实时显示的被摄体而显示于显示部上的被摄体内的各对应位置。基于被摄体内的特定部位的、被摄体上的由用户的指尖进行的指示动作，图像处理部通过图像解析确定指尖在显示部上的位置，推断被摄体内的特定部位，仅使各空气标签中的与特定部位对应的空气标签显示于显示部上。

Description

图像处理终端以及图像处理系统
技术领域
本发明涉及在能够在产生扩张现实感的同时进行图像的处理的图像处理终端中能够显示经由网络从服务器上的数据库获取的信息的图像处理终端以及图像处理系统。
背景技术
近年来，在以智能手机、平板终端等为首的能够进行图像的处理的图像处理终端的领域中，热烈研究了尽可能削减终端侧中的保持数据量，从服务器上的数据库获取各种信息，并将所获取的信息显示于终端上的技术。作为使用这样的技术来谋求文档检索的容易化的技术，有例如下述专利文献1。
另外，在下述专利文献2中记载了在纸介质等印刷物上配置二维条形码戳，并通过图像处理终端对该戳进行扫描而用于文档认证的技术。
进而，在下述专利文献3中记载了与如下虚拟影像显示系统有关的技术，在该虚拟影像显示系统中，与通过摄像部摄影的实际影像对应地，从影像目标存储部读出影像目标并将它们重叠，并将其结果生成的虚拟影像进行显示，从而制造扩张现实感。
专利文献1：日本特开2007-264992号公报
专利文献2：日本特开2009-230748号公报
专利文献3：日本特开2009-301350号公报
发明内容
发明所要解决的课题
在智能手机、平板终端等图像处理终端中，多数情况下设置有CMOS图像传感器等照相机功能。考虑使用该照相机功能，对纸介质的印刷物等特定的被摄体进行摄影，与所摄影的被摄体的实际影像对应地，将影像目标（在本申请中称为空气标签（air tag））重叠到实际影像，将其结果生成的虚拟影像显示于图像处理终端的显示部，从而制造扩张现实感。
作为该空气标签的使用例，考虑如下：一边通过图像处理终端对例如各种设备的操作手册等印刷物进行摄影，一边在其显示部中与印刷物的实时图像一起重叠地显示空气标签。在该情况下，能够根据实时地在显示部中显示的该印刷物中的特定部位（例如特定的单词、特定的图等），将与该特定部位关联的应补充的电子性的信息（例如说明单词的帮助的信息、图的更详细结构、设备动作状态的动画的信息等，以下称为电子补充信息）的项目名作为空气标签重叠地表示。
具体而言，通过利用图像解析技术，由图像处理终端对预先印刷在印刷物中的二维码等进行解析，确定该印刷物，在存在与该印刷物预先关联起来的电子补充信息的情况下，能够读出该电子补充信息，在显示部上，在电子补充信息内指定的印刷物的特定部位的附近，配置空气标签。而且，作为该空气标签，考虑以在漫画等中经常使用的所谓对白框的形状对电子补充信息的内容的项目名进行文字显示等。而且，用户能够在具有触摸屏功能的显示部中对所显示的空气标签进行触摸等来使电子补充信息显示于显示部中。
此处，考虑将上述电子补充信息保存于能够经由网络连接到图像处理终端的服务器上的数据库内而不是保存于图像处理终端内，根据需要，用户操作图像处理终端而调出上述电子补充信息。这样，如果不在图像处理终端侧积蓄电子补充信息，而在能够经由网络连接的服务器上的数据库侧存储电子补充信息，则图像处理终端的存储容量小也可以，而且能够在服务器侧单一地进行电子补充信息的更新。
但是，在能够显示上述空气标签的图像处理终端中，如果在显示部中显示有很多空气标签，则有可能引起在触摸屏显示部上会错误地触摸邻接的空气标签等难以选择空气标签的情况。特别是，在智能手机等显示部没那么大的图像处理终端的情况下，该问题变得显著。
本发明是鉴于上述事情而完成的，其目的在于提供一种图像处理终端、图像处理系统、以及图像处理终端的控制程序，即使在存在很多空气标签的情况下，也能够恰当地选择空气标签。
用于解决课题的手段
本发明的图像处理终端，具备对被摄体进行摄影的摄影部、以及显示由该摄影部摄影的被摄体的图像的显示部，其特征在于，该图像处理终端具有：电子补充信息获取部，获取电子补充信息，该电子补充信息是应该对由所述摄影部摄影的被摄体补充的电子性的信息；电子补充信息显示控制部，将空气标签重叠在所述被摄体的图像而显示于所述显示部中，所述空气标签是与由所述电子补充信息获取部获取的所述电子补充信息对应的影像目标；以及图像解析部，解析由所述摄影部摄影的被摄体的图像，在所述显示部显示多个所述空气标签时由所述摄影部摄影了由所述图像处理终端的用户的指尖进行的所述被摄体的特定部位的指示动作的情况下，所述图像解析部通过图像解析来确定由所述摄影部与所述被摄体一起摄影的所述指尖的位置，推断由所述指尖指示的所述被摄体内的所述特定部位，所述显示部仅显示多个所述空气标签中的、与由所述图像解析部推断的所述特定部位对应起来的空气标签。
另外，作为本发明的其它结构的图像处理终端，具备对被摄体进行摄影的摄影部、以及显示由该摄影部摄影的被摄体的图像的显示部，其特征在于，该图像处理终端具有：电子补充信息获取部，获取电子补充信息，该电子补充信息是应该对由所述摄影部摄影的被摄体补充的电子性的信息；电子补充信息显示控制部，将空气标签重叠在所述被摄体的图像而显示于所述显示部中，所述空气标签是与由所述电子补充信息获取部获取的所述电子补充信息对应的影像目标；以及图像解析部，解析由所述摄影部摄影的被摄体的图像，在所述显示部显示多个所述空气标签时被执行了针对由所述摄影部摄影的所述被摄体的特定部位的放大摄影或者接近摄影的情况下，所述图像解析部推断由所述摄影部进行了所述放大摄影或者接近摄影的所述被摄体内的所述特定部位，所述显示部仅显示多个所述空气标签中的、与由所述图像解析部推断的所述特定部位对应起来的空气标签。
也可以是，在这些图像处理终端中，所述特定的代码被赋予到所述被摄体，
所述图像解析部通过对由所述摄影部摄影的所述被摄体进行图像解析，抽出该被摄体上的所述特定的代码。
另外，在上述图像处理终端中，在进行了特定部位的指示动作之后，解除与特定部位对应起来的空气标签以外的其它多个空气标签的显示，仅显示与特定部位对应起来的空气标签，从而用户预先掌握与被摄体关联起来的多个电子补充信息的整体，同时，另一方面，在希望访问所需的电子补充信息时，不会受到其它多余的电子补充信息的显示的影响。
另外，也可以是，在上述图像处理终端中，所述电子补充信息显示控制部重叠所述空气标签的所述被摄体的图像可以是由所述摄影部摄影的所述被摄体的实时图像，所述电子补充信息显示控制部重叠所述空气标签的所述被摄体的图像也可以是基于所述被摄体的电子化数据的图像。进而，也可以能够从所述被摄体的实时图像或者电子化数据中的某一个选择重叠所述空气标签的所述被摄体的图像。
另外，在上述图像处理终端中，还具备网络接口，该网络接口经由网络与服务器进行通信，所述服务器具有与确定所述被摄体的特定的代码关联地存储了所述被摄体的所述电子补充信息的数据库，并且，通过该网络接口，将确定由所述摄影部摄影的所述被摄体的特定的代码发送到所述服务器，并且从所述服务器接收所述被摄体的所述电子补充信息，从而所述电子补充信息获取部获取所述电子补充信息。
本发明的图像处理系统是上述某一个图像处理终端和服务器能够经由网络连接的图像处理系统，其特征在于，所述服务器具有与确定所述被摄体的特定的代码关联地存储了所述被摄体的所述电子补充信息的数据库，在所述图像处理终端中，将确定由所述摄影部摄影的所述被摄体的特定的代码发送到所述服务器，并且从所述服务器接收所述被摄体的所述电子补充信息，从而所述电子补充信息获取部获取所述电子补充信息。
发明的效果
根据本发明，通过对并非在显示部中显示的图像上而是在被摄体上用指尖直接指示的动作进行摄影，从而确定被摄体内的特定部位，仅选择与该被摄体一起显示在显示部中的多个空气标签中的、与特定部位对应起来的空气标签，并显示于显示部上。因此，相比于针对在显示部上显示的图像用指尖进行指示的情况，能够扩大其能够指示的区域范围，所以空气标签的选择变得容易，所以即使在存在很多空气标签的情况下，也能够恰当地选择空气标签。
另外，根据本发明，通过向被摄体内的特定部位的放大摄影或者接近摄影，确定被摄体内的特定部位，仅选择与该被摄体一起显示在显示部中的多个空气标签中的、与特定部位对应起来的空气标签，并显示于显示部上。因此，仅通过使特定部位扩大的摄影动作就能够指示，所以空气标签的选择变得容易，所以即使在存在很多空气标签的情况下，也能够恰当地选择空气标签。
通过设为能够通过图像解析来抽出被赋予在被摄体的特定的代码，从而能够容易地进行图像处理终端中的被摄体的确定。另外，通过将重叠空气标签的被摄体的图像设为实时图像，从而能够在与用户的喜好相配的被摄体的位置显示空气标签。另外，通过将重叠空气标签的被摄体的图像设为基于电子化数据的图像，从而能够防止由用户造成的手抖动等所致的显示部上的图像的位置模糊。
进而，通过设为在经由网络进行通信的服务器的数据库中存储电子补充信息，从而根据需要，用户操作图像处理终端，就能够调出被摄体的电子补充信息。因此，无需在图像处理终端中积蓄电子补充信息，图像处理终端的存储容量小也可以，而且能够在服务器侧单一地进行电子补充信息的更新。
附图说明
图1是示出实施方式1的图像处理系统的结构例的图。
图2是示出图像处理终端100的详细结构的框图。
图3是示出被摄体MN与电子补充信息的关联的图。
图4是示出在图像处理终端100中显示的空气标签的例子的图。
图5是示出通过图像处理终端100和服务器300进行的处理的流程图。
图6是示出在显示部101中实时显示的被摄体MN上重叠地显示了空气标签的状态的图。
图7是从多个空气标签指示特定的空气标签的情况下的、与电子补充信息的显示有关的状态转变图。
图8是示出实施方式2的图像处理系统中的、通过图像处理终端100和服务器300进行的处理的流程图。
符号说明
100：图像处理终端；101：显示部；102：摄影部；103：图像处理部；103a：图像解析部；103b：电子补充信息显示控制部；103c：电子补充信息获取部；103d：手指检测用数据；104：网络接口；200：网络；300：服务器；301：数据库；MN：被摄体；ESa、ESb、ESd：电子补充信息；CD：代码；FG：指尖；PTa～PTc：可显示空气标签的部位；ATa：空气标签。
具体实施方式
<实施方式1>
本实施方式是如下图像处理系统以及图像处理方法：基于由图像处理终端的用户进行的、并非在显示部上而是在被摄体上用指尖指示被摄体内的特定部位的动作，图像处理部通过图像解析而确定指尖在显示部上的位置，推断被摄体内的特定部位，仅使多个空气标签中的、与特定部位对应起来的空气标签显示于显示部上。
图1是示出本实施方式的图像处理系统的结构例的图。该图像处理系统具备：以智能手机、平板终端等为首的、能够进行图像的处理的便携信息设备即图像处理终端100；作为通信网的网络200，该通信网可以是LAN（Local Area Network，局域网）那样的封闭网络或者因特网等开放网络中的任意一种；以及以图像处理终端100为客户端的服务器300。
图像处理终端100能够经由无线LAN接入点201连接到网络200。而且，进而，图像处理终端100能够经由网络200连接到服务器300。另外，服务器300具有数据库301。
图2是示出图像处理终端100的详细结构的框图。图像处理终端100由液晶显示器、有机EL（ElectroLuminescence，电致发光）显示器等构成，包括：具有触摸屏功能的显示部101；由CMOS（Complementary Metal Oxide Semiconductor，互补性金属氧化物半导体）图像传感器照相机、CCD（Charge Coupled Device，电荷耦合器件）图像传感器照相机等构成的摄影部102；对于应在显示部101中显示的图像以及通过摄影部102摄影的图像进行图像处理的图像处理部103；以及作为用于与网络200连接的接口的网络接口104。另外，在图2中，为了简化说明，省略了在图像处理终端100与网络200之间配置的无线LAN接入点201的显示。
本实施方式的图像处理终端100能够使用摄影部102，对在图1中表示为“原稿”的、纸介质的印刷物等被摄体MN进行摄影，使通过摄影部102摄影的被摄体MN实时地显示于显示部101。然后，图像处理终端100的图像处理部103能够与所摄影的被摄体MN的实际影像对应地，将作为影像目标的空气标签重叠于实际影像上，使其结果生成的虚拟影像显示于显示部101，从而制造扩张现实感。
作为空气标签的使用例，考虑以下。即，当被摄体MN是例如各种设备的操作手册等印刷物的情况下，考虑一边通过摄影部102对被摄体MN进行摄影，一边在显示部101中与作为印刷物的被摄体MN的实时图像一起、或者与被摄体MN的电子化数据（例如通过对被摄体MN预先进行扫描而得到的PDF（Portable Document Format，便携式文件格式）数据、JPEG（Joint Photographic Experts Group，联合图像专家组）数据等）一起，重叠地显示空气标签。在该情况下，图像处理部103能够与在显示部101上显示的该印刷物中的特定部位（例如特定的单词、特定的图等）相应地，将与该特定部位关联的、应该对被摄体MN补充的电子性的信息即电子补充信息（例如，说明单词的帮助的信息、图的更详细结构、设备动作状态的动画的信息等）的项目名作为空气标签而重叠地表示。
此处，上述电子补充信息不限于在图像处理终端100内保存的信息，也可以是在能够经由网络200连接到图像处理终端100的服务器300上的数据库301内与被摄体MN的电子化数据一起保存的信息。由此，用户根据需要操作图像处理终端100，从而能够调出上述电子补充信息以及被摄体MN的电子化数据。这样，在图像处理终端100侧不积蓄电子补充信息，而是在服务器300上的数据库301侧存储了电子补充信息的情况下，图像处理终端的存储容量小也可以，而且能够在服务器300侧单一地进行电子补充信息的更新。另外，以下，举出电子补充信息被存储在服务器300上的数据库301中的例子进行说明。
图3是示出被摄体MN与电子补充信息的关联的图。在此，示出如下例子：例如被摄体MN是由4页构成的文档A，对文档A的第1页MNa关联起来了电子补充信息ESa，对第2页MNb关联起来了电子补充信息ESb，对第4页MNd关联起来了电子补充信息ESd。另外，在该例子中，在文档A的第3页MNc中，不存在对应的电子补充信息。
在图3中，作为电子补充信息ESa的例子，示出了：表示文档A的第1页的ID信息1（记载为AAAAAAA）；表示纸张的尺寸的尺寸信息2；以及区段电子补充信息3a～3c，该区段电子补充信息3a～3c表示在文档A的第1页内的哪个位置（例如，该页中的从后述原点位置起的相对位置）记载什么样的标题（项目名）的空气标签、补充信息的内容是什么（例如设备动作状态的图形的动画、声音信息等）。该区段电子补充信息3a～3c的各个分别与在显示部101中显示的空气标签的各个对应。
图4是示出在图像处理终端100中显示的空气标签的例子的图。在图4中，对文档A的第1页MNa，预先通过印刷或封贴来赋予了与表示文档A的第1页的ID信息1对应的二维码等特定的代码CD。该特定的代码CD表示了表示文档A的第1页的ID信息1。而且，在该文档A的第1页MNa中，包括可显示空气标签的部位PTa～PTc，该可显示空气标签的部位PTa～PTc是能够显示与区段电子补充信息3a～3c分别对应的空气标签的部位。另外，在图4中，只有与可显示空气标签的部位PTa对应的空气标签Ata显示在图像处理终端100的显示部101上。
在显示部101上，在由区段电子补充信息3a内的位置信息指定的位置，配置有空气标签ATa。而且，作为该空气标签ATa，以在漫画等中经常使用的所谓对白框的形状，文字显示了电子补充信息的内容的项目名（此处作为例子记载为“有补充信息”）。
图5是示出通过图像处理终端100和服务器300进行的处理的流程图。
首先，用户操作图像处理终端100，从而本实施方式的应用程序启动（步骤S1）。接下来，进行被摄体MN的摄影（步骤S2）。
此处，图像处理部103具有图像解析部103a、电子补充信息显示控制部103b、电子补充信息获取部103c以及手指检测用数据103d。
图像解析部103a通过公知的图像解析技术，判断在所摄影的被摄体MN中是否包括二维码等特定的代码CD。在包括特定的代码CD的情况下，图像解析部103a确定特定的代码CD所表示的内容（此处是表示文档A的第1页的ID信息1）（步骤S3）。然后，电子补充信息获取部103c如果从图像解析部103a接收到将该特定的代码CD用作关键字而获取的ID信息1，则从网络接口104通过网络200发送到服务器300（步骤S4）。由此，图像处理终端100针对服务器300上的数据库301，要求与表示该特定的代码CD所表示的文档A的第1页的ID信息1关联地存储在数据库301内的、与文档A的第1页MNa有关的电子补充信息ESa、以及文档A的第1页MNa的电子化数据。
服务器300如果接收到从图像处理终端100发送的ID信息1（步骤S5），则在数据库301中检索与ID信息1一致的电子化数据以及电子补充信息（步骤S6），如果有一致的信息，则向图像处理终端100发送这些信息（步骤S7）。由此，接收网络接口104从服务器300接收到的电子化数据以及电子补充信息，电子补充信息获取部103c能够获取文档A的第1页MNa的电子化数据以及电子补充信息（步骤S8）。另外，也可以是，服务器300未从数据库301内检索到电子化数据以及电子补充信息的情况下，通知不能检索的意思的错误信息等被发送到图像处理终端100，通过图像处理终端100显示错误消息。
图像解析部103a通过公知的图像解析技术，判断所摄影的文档A的第1页MNa的纸张区段、以及该纸张的朝向。然后，根据该判断，确定文档A的第1页MNa的原点位置（例如纸张的左上的顶点）（步骤S9）。接下来，电子补充信息显示控制部103b根据包含在电子补充信息中的各个区段电子补充信息所包含的位置信息，确认相对于在步骤9中确定的原点位置的相对位置。由此，电子补充信息显示控制部103b识别在显示部101中显示的被摄体MN上的、与从电子补充信息得到的区段电子补充信息分别对应的所有空气标签的显示位置，并将这些全部空气标签显示为在该被摄体MN的图像上的各显示位置重叠（步骤10）。
即，在对图4的文档A的第1页MNa进行了摄影的情况下，电子补充信息显示控制部103b根据基于该电子补充信息的区段电子补充信息3a～3c分别包含的位置信息（参照图3），确定相对于在步骤9中确定的原点位置的相对位置。由此，电子补充信息显示控制部103b确定在显示部101上显示的文档A的第1页MNa内的、可显示空气标签的部位PTa～PTc，在可显示空气标签的部位PTa～PTc的各个中，显示基于区段电子补充信息3a～3c各自的标题（项目名）的空气标签。
另外，关于该空气标签的显示，还能够在显示部101中实时显示的文档A的第1页MNa上重叠地显示空气标签，或者，还能够在电子补充信息获取部103c所获取的、文档A的第1页MNa的电子化数据上重叠地显示空气标签。
图6是示出在显示部101中实时显示的被摄体MN上重叠地显示了空气标签的状态的图。在图6（a）中，示出如下状态：图像处理终端100以及服务器300进行基于上述步骤1～步骤10的各动作，由此在图像处理终端100的显示部101中显示了多个空气标签。
如在发明所要解决的课题部分中所指出那样，如果如图6（a）所示在显示部101中显示有很多空气标签，则有可能引起在触摸屏显示部上会错误地触摸邻接的空气标签等难以选择空气标签的情况。
因此，在本实施方式中，如图4所示，关于被摄体MNa内的可显示空气标签的部位PTa～PTc中的、应使电子补充信息显示的部位的指示，并非在显示部101上而是在被摄体MNa上由图像处理终端100的用户用用户的指尖FG进行指示。然后，基于该指示动作，图像处理部103的图像解析部103a一边使用手指检测用数据103d，一边通过图像解析来确定指尖FG在显示部101上的位置，推断被摄体MNa内的空气标签显示部位PTa～PTc中的哪一个被指示，仅将多个空气标签中的、与用指尖FG指示的特定部位即空气标签显示部位PTa对应起来的空气标签ATa显示于显示部101上。
即，如图5的流程图那样，在步骤10中，图像处理终端100在显示了可显示空气标签的部位PTa～PTc各自的空气标签ATa～ATc全部时，在图像解析部103a中，检测是否通过摄影部102对用户的指尖FG进行了摄影（步骤S11）。此时，如果用户在对被摄体MNa进行摄影的摄影部102的视角内用自身的指尖FG指示被摄体MNa上（即印刷物上）的、可显示空气标签的部位PTa～PTc中的某一个部位，则摄影部102对用户在被摄体MNa上指示的指尖FG进行摄影。由此，图像解析部103a检测通过摄影部102对在被摄体MNa上指示的用户的指尖FG进行了摄影（在步骤S11中“是”），所以确定用户指示的指尖FG在被摄体MNa上的位置（步骤S12）。
此时，图像解析部103a使用手指检测用数据103d来进行公知的图像解析，确定用户指示的指尖在显示部101上的位置。另外，在手指检测用数据103d中，包括与指尖的颜色（一般是肤色）和印刷物的颜色（一般是白色）之间的对比度有关的图像解析用颜色数据或与指尖的形状有关的图像解析用形状数据等、与指尖的图像检测有关的公知的数据。然后，将该指尖FG的位置变换为被摄体MN上的二维坐标。另外，在使得在上述步骤S11～S12的动作中确定指尖FG指定的位置时，也可以设为在例如根据上述手指检测用数据103b检测出的指尖FG超过规定时间地处于一定距离的范围内的情况下确定。
接下来，电子补充信息显示控制部103b将与变换后的坐标最接近的、被摄体MNa内的空气标签显示部位PTa～PTc的某一个推断为为了显示空气标签而指示的特定部位（步骤S13）。然后，电子补充信息显示控制部103b仅将多个空气标签中的、与在步骤S13中推断出的特定部位对应起来的空气标签显示于显示部101上（步骤S14）。表示该状态的图是图4的右端的图、以及图6（b）。
之后，电子补充信息显示控制部103b将与对应于特定部位的空气标签关联起来的电子补充信息的内容（例如设备动作状态的动画的信息等）显示于显示部101中。
图7是从多个空气标签中指示特定的空气标签的情况下的、与电子补充信息的显示有关的状态转变图。从上述应用程序的启动开始，在与各可显示空气标签的部位PTa～PTc对应的、显示部101上的各个位置显示有各个空气标签的状态是状态ST1。
如果从该状态ST1用指尖进行空气标签的确定，则转移到仅显示所指定的空气标签的状态ST2。另外，在状态ST2下，用户将指尖FG从被摄体MN离开而指尖FG未被显示于显示部101中的情况、或者采取了指尖FG未静止而犹豫那样的行动的情况等下，也可以暂且解除所确定的空气标签的显示，从状态ST2返回到状态ST1。然后，在用户重新通过指尖FG指示了其它空气标签的情况下，再次转移到状态ST2。
在状态ST2下，当用户在被摄体MN上指示了特定部位的状态下进行了双击动作（在纸张上快速将指尖上下移动两次的动作）的情况下，图像解析部103a一边使用手指检测用数据103d一边通过公知的图像解析来识别该动作，转移到在实时显示的被摄体MN上重叠地显示电子补充信息的内容的状态ST3。
当进入到状态ST3时，电子补充信息显示控制部103b解除所指定的空气标签的显示，在实时显示的被摄体MN上重叠地覆盖显示与该空气标签对应的电子补充信息的内容（例如，说明单词的帮助的信息、图的更详细结构、设备动作状态的动画的信息等）。然后，如果电子补充信息的内容的显示结束、或者如果由用户指示了电子补充信息的内容的显示的强制结束（例如进行捏合（pinch in）动作（在纸张上使两根指尖从离开的状态转移到接近的状态的动作）等），则返回到状态ST2。
在状态ST3下，在实时显示的被摄体MN上重叠地覆盖显示了电子补充信息的内容，但还考虑在实时显示的被摄体MN中由于手抖动等而看不清楚的情况。在该情况下，在状态ST2下，用户也可以在被摄体MN上指示了特定部位的状态下，使用两根手指进行撑开（pinchout）动作（在纸张上使两根指尖从接近的状态转移到离开的状态的动作）。在进行了该撑开动作的情况下，图像解析部103a一边使用手指检测用数据103d一边通过公知的图像解析来识别该动作，转移到在被摄体MN的电子化数据上重叠地显示电子补充信息的内容的状态ST4。
当进入到状态ST4时，电子补充信息显示控制部103b解除所指定的空气标签的显示，结束实际影像的实时显示，在预先从数据库301调出的被摄体MN的电子化数据（例如通过对被摄体MN预先进行扫描而得到的PDF数据、JPEG数据等）上重叠地覆盖显示与该空气标签对应的电子补充信息的内容（例如，说明单词的帮助的信息、图的更详细结构、设备动作状态的动画的信息等）。如果这样使用被摄体MN的电子化数据覆盖显示电子补充信息的内容，则没有手抖动等的问题，能够在显示部101中清楚地显示被摄体MN。然后，如果电子补充信息的内容的显示结束、或者如果由用户指示了电子补充信息的内容的显示的强制结束（例如进行捏合动作等），则返回到状态ST2。
在上述中，示出了如下例子：在由图像处理终端100的用户用指尖FG进行的指示动作之前，图像处理部103的电子补充信息显示控制部103b使可显示的多个空气标签全部显示于显示部101上（用图4的例子而言，相当于在与可显示空气标签的部位PTa～PTc对应的显示部101上的各个位置显示了各个空气标签全部的状态。另外，更直接而言是图6（a）的状态）。
在该情况下，由于显示有全部空气标签，所以用户能够预先掌握与被摄体MN关联起来的多个电子补充信息的整体。
如果从该状态由图像处理终端100的用户用指尖FG进行了指示动作，则电子补充信息显示控制部103b也可以仅关于所确定的空气标签，变更文字尺寸或者变更颜色等来对所确定的空气标签进行强调显示。
然后，电子补充信息显示控制部103b解除所确定的空气标签以外的其它多个空气标签的显示，仅显示所确定的空气标签即可（表示该状态的图是图4的右端的图、以及图6（b））。这样，如果进行在显示了多个空气标签的整体之后仅显示所确定的空气标签这样的处理，则在希望访问所需的电子补充信息时，用户不会受到其它多余的电子补充信息的显示的影响。
另一方面，本发明并不排除如下情况：在由图像处理终端100的用户用指尖FG进行的指示动作之前，图像处理部103的电子补充信息显示控制部103b并未将可显示的多个空气标签全部显示于显示部101上。
在图像解析部103a确定特定的代码CD，将该特定的代码CD用作关键字，电子补充信息获取部103c从数据库301获取电子补充信息、以及被摄体的MN的电子化数据的信息的阶段中，当然能够将多个空气标签的整体显示于显示部101中。但是，在该情况下，还考虑如下：如图6（a）的状态那样空气标签被过多地显示，从而很容易对用户带来混乱。
因此，在该情况下，也可以不使可显示的多个空气标签全部显示于显示部101上，而是在由用户在被摄体MN上用指尖FG进行了指示动作的情况下，仅显示与所确定的部位对应起来的空气标签。由此，能够通过简单的显示画面，进行必要的最小限度的空气标签显示。
根据本实施方式的图像处理系统以及图像处理方法，基于由图像处理终端100的用户进行的、并非在显示部101上而是在被摄体MN上用指尖FG指示被摄体MN内的特定部位的动作，图像处理部103通过图像解析来确定指尖FG在显示部101上的位置，推断被摄体MN内的特定部位，仅将多个空气标签中的、与特定部位对应起来的空气标签显示于显示部101上。因此，能够实现如下图像处理系统以及图像处理方法：空气标签的选择不会困难，即使在存在很多空气标签的情况下，也能够恰当地选择空气标签。
另外，根据本实施方式的图像处理系统以及图像处理方法，也可以在用指尖FG进行了指示动作之后，解除与特定部位对应起来的空气标签以外的其它多个空气标签的显示，仅显示与特定部位对应起来的空气标签。在该情况下，用户预先掌握与被摄体MN关联起来的多个电子补充信息的整体，同时，另一方面，在希望访问所需的电子补充信息时，不会受到其它多余的电子补充信息的显示的影响。
<实施方式2>
本实施方式是实施方式1的图像处理系统以及图像处理方法的变形例，是如下图像处理系统以及图像处理方法：不是基于通过用户的指尖指示被摄体内的特定部位的动作，而是基于由图像处理终端100的用户进行的、放大（zoom up）到在显示部101上显示的被摄体MN内的特定部位的动作、或者使摄影部102接近被摄体MN内的特定部位的动作，图像处理部103推断被摄体MN内的特定部位，仅将多个空气标签中的、与特定部位对应起来的空气标签显示于显示部101上。
图8是示出本实施方式的图像处理系统以及图像处理方法中的、通过图像处理终端100和服务器300进行的处理的流程图。其中，关于步骤S1～S10，与实施方式1的图像处理系统以及图像处理方法的图5的流程完全相同，所以省略说明。
如在发明所要解决的课题部分中所指出那样，如果如图6（a）所示在显示部101中显示有很多空气标签，则有可能引起在触摸屏显示部上会错误地触摸邻接的空气标签等难以选择空气标签的情况。
因此，在本实施方式中，如以下那样进行被摄体MN内的可显示空气标签的部位PTa～PTc中的、应显示电子补充信息的部位的指示。即，让图像处理终端100的用户进行如下动作：放大到在显示部101上显示的被摄体MN内的特定部位从而仅使一个可显示空气标签的部位进入显示部101的显示区域内的动作、或者使摄影部102接近被摄体MN内的特定部位从而仅使一个可显示空气标签的部位进入摄影部102的视角内的动作。此时，图像处理终端100在图像解析部103a中，探测是否由该用户进行了放大动作或者接近摄影动作（步骤S11a）。然后，图像解析部103a当探测到由用户进行的放大动作或者接近摄影动作时（在步骤11a中“是”），推断被作为放大或者接近摄影的对象的被摄体MN内的特定部位的位置（步骤S12a），仅使多个空气标签中的、与特定部位对应起来的空气标签显示于显示部101上（步骤S13）。
在通过上述动作仅使与特定部位对应的空气标签显示时，已经在步骤S9中，图像解析部103a通过公知的图像解析技术，判断所摄影的被摄体MN的纸张区段、以及该纸张的朝向，根据该判断，已经确定了被摄体MN的原点（例如纸张的左上的顶点）。因此，在用户操作图像处理终端100而进行了放大到在显示部101上显示的被摄体MN内的特定部位的动作的情况、或者进行了使摄影部102接近被摄体MN内的特定部位的动作的情况下，能够通过公知的图像处理技术，计算放大后或者摄影部102接近后的、在显示部101中显示的部位的坐标。
通过该计算，图像解析部103a将其位置变换为被摄体MN上的二维坐标。接下来，电子补充信息显示控制部103b将与变换后的坐标最接近的、被摄体MN内的空气标签显示部位PTa～PTc中的某一个推断为所指示的特定部位。然后，电子补充信息显示控制部103b仅使多个空气标签中的、与特定部位对应起来的空气标签显示于显示部101上。表示该状态的图是图4的右端的图、以及图6（b）。
另外，在本实施方式中，由于不进行指尖的检测，所以在图2的图像处理终端100的结构中，不需要手指检测用数据103d。
另外，在确定空气标签时，也可以伴随放大到在显示部101上显示的被摄体MN内的特定部位的动作或者使摄影部102接近被摄体MN内的特定部位的动作来使空气标签内的显示项目名的文字尺寸逐渐变大，和/或伴随从在显示部101上显示的被摄体MN内的特定部位进行缩小的动作或者使摄影部102从被摄体MN内的特定部位离开的动作来使空气标签内的显示项目名的文字尺寸逐渐变小等，与放大动作或者摄影部102的接近动作联动地变更空气标签的显示样式。
另外，也可以在空气标签确定之后使电子补充信息显示为文字信息的情况下，进而，伴随进一步放大到在显示部101上显示的被摄体MN内的特定部位的动作或者使摄影部102进一步接近被摄体MN内的特定部位的动作来使电子补充信息的文字尺寸逐渐增大或使显示文字数增多，和/或伴随从在显示部101上显示的被摄体MN内的特定部位进行缩小的动作或者使摄影部102从被摄体MN内的特定部位离开的动作来使电子补充信息的文字尺寸逐渐变小或使显示文字数变少等，与放大动作或者摄影部102的接近动作联动地变更电子补充信息的显示样式。
关于其它点，与实施方式1的图像处理系统以及图像处理方法相同，所以省略说明。
根据本实施方式的图像处理系统以及图像处理方法，基于由图像处理终端100的用户进行的、放大到在显示部101上显示的被摄体MN内的特定部位的动作、或者使摄影部102接近被摄体MN内的特定部位的动作，图像处理部103推断被摄体MN内的特定部位，仅使多个空气标签中的、与特定部位对应起来的空气标签显示于显示部101上。因此，能够实现如下图像处理系统以及图像处理方法：空气标签的选择不会困难，即使在存在很多空气标签的情况下，也能够恰当地选择空气标签。
<其它>
在上述中，说明了作为图像处理系统以及图像处理方法的实施方式，但本发明不限于此。本发明还包括用于使由各种计算机实现的所谓图像处理终端执行上述各实施方式记载的图像处理方法的各步骤的程序（应用程序）。由此，能够提供实现即使在存在很多空气标签的情况下也能够恰当地选择空气标签的图像处理方法的程序。

Claims (19)

1.一种图像处理终端，具备对被摄体进行摄影的摄影部、以及显示由该摄影部摄影的被摄体的图像的显示部，该图像处理终端的特征在于，具有：
电子补充信息获取部，获取电子补充信息，该电子补充信息是对由所述摄影部摄影的被摄体补充的电子性的信息；
电子补充信息显示控制部，将空气标签重叠在所述被摄体的图像而显示于所述显示部中，所述空气标签是与由所述电子补充信息获取部获取的所述电子补充信息对应的影像目标；以及
图像解析部，解析由所述摄影部摄影的被摄体的图像，
在所述显示部显示多个所述空气标签时由所述摄影部摄影了由所述图像处理终端的用户的指尖进行的所述被摄体的一个特定部位的指示动作的情况下，
所述图像解析部通过图像解析来确定由所述摄影部与所述被摄体一起摄影的所述指尖的位置，推断由所述指尖指示的所述被摄体内的所述一个特定部位，
所述显示部仅将多个所述空气标签中的、与由所述图像解析部推断的所述一个特定部位对应起来的一个空气标签不改变显示位置而显示，并解除其它多个空气标签的显示。
2.根据权利要求1所述的图像处理终端，其特征在于，
特定的代码被赋予到所述被摄体，
所述图像解析部通过对由所述摄影部摄影的所述被摄体进行图像解析，抽出该被摄体上的所述特定的代码。
3.根据权利要求1所述的图像处理终端，其特征在于，
所述电子补充信息显示控制部重叠所述空气标签的所述被摄体的图像是由所述摄影部摄影的所述被摄体的实时图像。
4.根据权利要求1所述的图像处理终端，其特征在于，
所述电子补充信息显示控制部重叠所述空气标签的所述被摄体的图像是基于所述被摄体的电子化数据的图像。
5.根据权利要求1所述的图像处理终端，其特征在于，
还具备网络接口，该网络接口经由网络与服务器进行通信，所述服务器具有与确定所述被摄体的特定的代码关联地存储了所述被摄体的所述电子补充信息的数据库，并且，
通过该网络接口，将确定由所述摄影部摄影的所述被摄体的特定的代码发送到所述服务器，并且从所述服务器接收所述被摄体的所述电子补充信息，从而所述电子补充信息获取部获取所述电子补充信息。
6.根据权利要求1所述的图像处理终端，其特征在于，
所述图像解析部在确定了所述被摄体的原点位置之后，通过从所述原点位置起的相对坐标确定与所述空气标签对应起来的所述特定部位的坐标位置。
7.根据权利要求1所述的图像处理终端，其特征在于，
在通过所述图像解析部识别了由用户进行的所述被摄体上的双击动作时，所述电子补充信息显示控制部使所述空气标签重叠在所述被摄体的图像而显示于所述显示部中。
8.根据权利要求1所述的图像处理终端，其特征在于，
在通过所述图像解析部识别了由用户进行的所述被摄体上的撑开动作时，所述电子补充信息显示控制部使所述空气标签重叠在所述被摄体的图像而显示于所述显示部中。
9.根据权利要求1所述的图像处理终端，其特征在于，
所述显示部对与由所述图像解析部推断的所述特定部位对应起来的空气标签进行强调显示。
10.一种图像处理终端，具备对被摄体进行摄影的摄影部、以及显示由该摄影部摄影的被摄体的图像的显示部，该图像处理终端的特征在于，具有：
电子补充信息获取部，获取电子补充信息，该电子补充信息是对由所述摄影部摄影的被摄体补充的电子性的信息；
电子补充信息显示控制部，将空气标签重叠在所述被摄体的图像而显示于所述显示部中，所述空气标签是与由所述电子补充信息获取部获取的所述电子补充信息对应的影像目标；以及
图像解析部，解析由所述摄影部摄影的被摄体的图像，
在所述显示部显示多个所述空气标签时被执行了针对由所述摄影部摄影的所述被摄体的一个特定部位的放大摄影或者被执行了针对由所述摄影部摄影的所述被摄体的一个特定部位的接近摄影的情况下，
所述图像解析部推断由所述摄影部进行了所述放大摄影或者接近摄影的所述被摄体内的所述一个特定部位，
所述显示部仅将多个所述空气标签中的、与由所述图像解析部推断的所述一个特定部位对应起来的一个空气标签不改变显示位置而显示，并解除其它多个空气标签的显示。
11.根据权利要求10所述的图像处理终端，其特征在于，
特定的代码被赋予到所述被摄体，
所述图像解析部通过对由所述摄影部摄影的所述被摄体进行图像解析，抽出该被摄体上的所述特定的代码。
12.根据权利要求10所述的图像处理终端，其特征在于，
所述电子补充信息显示控制部重叠所述空气标签的所述被摄体的图像是由所述摄影部摄影的所述被摄体的实时图像。
13.根据权利要求10所述的图像处理终端，其特征在于，
所述电子补充信息显示控制部重叠所述空气标签的所述被摄体的图像是基于所述被摄体的电子化数据的图像。
14.根据权利要求10所述的图像处理终端，其特征在于，
还具备网络接口，该网络接口经由网络与服务器进行通信，所述服务器具有与确定所述被摄体的特定的代码关联地存储了所述被摄体的所述电子补充信息的数据库，并且，
通过该网络接口，将确定由所述摄影部摄影的所述被摄体的特定的代码发送到所述服务器，并且从所述服务器接收所述被摄体的所述电子补充信息，从而所述电子补充信息获取部获取所述电子补充信息。
15.根据权利要求10所述的图像处理终端，其特征在于，
所述图像解析部在确定了所述被摄体的原点位置之后，通过从所述原点位置起的相对坐标确定与所述空气标签对应起来的所述特定部位的坐标位置。
16.根据权利要求10所述的图像处理终端，其特征在于，
在通过所述图像解析部识别了由用户进行的所述被摄体上的双击动作时，所述电子补充信息显示控制部使所述空气标签重叠在所述被摄体的图像而显示于所述显示部中。
17.根据权利要求10所述的图像处理终端，其特征在于，
在通过所述图像解析部识别了由用户进行的所述被摄体上的撑开动作时，所述电子补充信息显示控制部使所述空气标签重叠在所述被摄体的图像而显示于所述显示部中。
18.根据权利要求10所述的图像处理终端，其特征在于，
所述显示部对与由所述图像解析部推断的所述特定部位对应起来的空气标签进行强调显示。
19.一种图像处理系统，在该图像处理系统中，权利要求1～18中的任意一项所述的图像处理终端和服务器能够经由网络连接，该图像处理系统的特征在于，
所述服务器具有与确定所述被摄体的特定的代码关联地存储了所述被摄体的所述电子补充信息的数据库，
在所述图像处理终端中，
将确定由所述摄影部摄影的所述被摄体的特定的代码发送到所述服务器，并且从所述服务器接收所述被摄体的所述电子补充信息，从而所述电子补充信息获取部获取所述电子补充信息。
CN201310695949.3A 2012-12-19 2013-12-18 图像处理终端以及图像处理系统 Active CN103888695B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-277324 2012-12-19
JP2012277324A JP5751430B2 (ja) 2012-12-19 2012-12-19 画像処理端末、画像処理システム、および画像処理端末の制御プログラム

Publications (2)

Publication Number Publication Date
CN103888695A CN103888695A (zh) 2014-06-25
CN103888695B true CN103888695B (zh) 2018-06-01

Family

ID=49765830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310695949.3A Active CN103888695B (zh) 2012-12-19 2013-12-18 图像处理终端以及图像处理系统

Country Status (4)

Country Link
US (1) US20140168714A1 (zh)
EP (1) EP2747404B1 (zh)
JP (1) JP5751430B2 (zh)
CN (1) CN103888695B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6244861B2 (ja) * 2013-12-04 2017-12-13 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2016014978A (ja) * 2014-07-01 2016-01-28 コニカミノルタ株式会社 エアタグ登録管理システム、エアタグ登録管理方法、エアタグ登録プログラム、エアタグ管理プログラム、エアタグ提供装置、エアタグ提供方法及びエアタグ提供プログラム
JP6361432B2 (ja) * 2014-10-01 2018-07-25 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
WO2017009908A1 (ja) * 2015-07-10 2017-01-19 楽天株式会社 電子書籍表示装置、電子書籍表示方法、及びプログラム
US10122888B2 (en) 2015-10-26 2018-11-06 Ricoh Company, Ltd. Information processing system, terminal device and method of controlling display of secure data using augmented reality
JP2017085533A (ja) * 2015-10-26 2017-05-18 株式会社リコー 情報処理システム、及び情報処理方法
CN112839172B (zh) * 2020-12-31 2022-02-18 深圳瞬玩科技有限公司 基于手部识别的拍摄主体识别方法和系统

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02132510A (ja) * 1988-11-12 1990-05-22 Sony Corp 入力装置
JPH0757103A (ja) * 1993-08-23 1995-03-03 Toshiba Corp 情報処理装置
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
JP2007264992A (ja) 2006-03-28 2007-10-11 Konica Minolta Holdings Inc 文書検索装置、文書検索方法、および文書検索プログラム
TWI333624B (en) * 2006-09-27 2010-11-21 Chia Hoang Lee A virtual input device and the input method thereof
US8341544B2 (en) * 2007-12-14 2012-12-25 Apple Inc. Scroll bar with video region in a media system
US8144361B2 (en) 2008-03-18 2012-03-27 Konica Minolta Laboratory U.S.A., Inc. Creation and placement of two-dimensional barcode stamps on printed documents for storing authentication information
JP2009301350A (ja) 2008-06-13 2009-12-24 Kyocera Mita Corp 仮想映像表示システム及び仮想映像表示方法
US9204050B2 (en) * 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
JP5374170B2 (ja) * 2009-01-22 2013-12-25 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
CA2698052C (en) * 2009-03-30 2021-02-02 Stickeryou, Inc. Internet-based method and system for making user-customized stickers
US8473862B1 (en) * 2009-05-21 2013-06-25 Perceptive Pixel Inc. Organizational tools on a multi-touch display device
DE102009043641A1 (de) * 2009-09-09 2011-03-10 Sureinstinct Gmbh I.G. Verfahren zum Anzeigen von ein Objekt betreffende Informationen
JP5363259B2 (ja) * 2009-09-29 2013-12-11 富士フイルム株式会社 画像表示装置、画像表示方法およびプログラム
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5280475B2 (ja) * 2010-03-31 2013-09-04 新日鉄住金ソリューションズ株式会社 情報処理システム、情報処理方法及びプログラム
JP5418386B2 (ja) * 2010-04-19 2014-02-19 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
KR101685980B1 (ko) * 2010-07-30 2016-12-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101669521B1 (ko) * 2010-08-23 2016-10-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
KR101746052B1 (ko) * 2010-11-26 2017-06-12 삼성전자 주식회사 휴대단말에서 전자책 서비스 제공 방법 및 장치
KR101350033B1 (ko) * 2010-12-13 2014-01-14 주식회사 팬택 증강 현실 제공 단말기 및 방법
US20120194547A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
JP5685464B2 (ja) * 2011-03-25 2015-03-18 京セラ株式会社 撮影装置、制御方法および仮想情報表示プログラム
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
JP2012248096A (ja) * 2011-05-30 2012-12-13 Brother Ind Ltd 端末装置のプログラム、端末装置および端末装置の制御方法
JP5694883B2 (ja) * 2011-08-23 2015-04-01 京セラ株式会社 表示機器
WO2013032929A1 (en) * 2011-08-26 2013-03-07 Scholastic Inc. Interactive electronic reader with parental control
US20130093661A1 (en) * 2011-10-17 2013-04-18 Nokia Corporation Methods and apparatus for facilitating user interaction with a see-through display
CN102521859B (zh) * 2011-10-19 2014-11-05 中兴通讯股份有限公司 基于人工标志的增强现实方法及装置
US9171384B2 (en) * 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
CN102497331A (zh) * 2011-12-16 2012-06-13 王博 一种信息提供方法及装置
US9524568B2 (en) * 2013-06-06 2016-12-20 Apple Inc. Movement of position indicator on touchscreen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Paper-Based Augmented Reality;Jonathan J Hull et al;《Artificial Reality and Telexistence, 17th International Conference On, IEEE, PI》;20071101;第205-209页 *

Also Published As

Publication number Publication date
EP2747404B1 (en) 2019-09-25
JP2014120132A (ja) 2014-06-30
US20140168714A1 (en) 2014-06-19
JP5751430B2 (ja) 2015-07-22
CN103888695A (zh) 2014-06-25
EP2747404A1 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
CN103888695B (zh) 图像处理终端以及图像处理系统
JP6687051B2 (ja) 画像認識装置、その処理方法、およびプログラム
US9003330B2 (en) User interface for selecting a photo tag
US8489993B2 (en) Storage medium storing information processing program, information processing apparatus and information processing method
CN107833219B (zh) 图像识别方法及装置
CN103197866B (zh) 信息处理系统、信息处理方法和程序
EP1150215A2 (en) A method of annotating an image
CN103189864A (zh) 用于确定个人的共享好友的方法、设备和计算机程序产品
US20200258189A1 (en) Multistage neural network processing using a graphics processor
CN106688031A (zh) 用于提供内容感知照片滤镜的装置和方法
CN104081438B (zh) 姓名气泡处理
CN108551519A (zh) 一种信息处理方法、装置、存储介质及系统
JP2009301485A (ja) 情報表示システムおよびそれを用いた携帯情報端末
CN110442879A (zh) 一种内容翻译的方法和终端
WO2015032308A1 (zh) 一种图像识别方法及用户终端
CN106791091B (zh) 图像生成方法、装置和移动终端
CN109669710B (zh) 便签处理方法及终端
KR100785617B1 (ko) 멀티미디어메시징서비스를 이용한 사진 전송시스템 및 그방법
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
US20230050987A1 (en) Apparatus for fastening an imaging device at a predetermined arrangement for image capture and detecting regions of interest in an image using image processing
JP6399371B1 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2011070475A (ja) 携帯端末及び情報提供方法ならびにそのためのプログラム
JP2008271239A5 (zh)
CN109084750B (zh) 一种导航方法及电子设备
CN114077364A (zh) 信息处理装置、信息处理方法及计算机可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant