CN102292978A - 标识显示控制装置、集成电路及标识显示控制方法 - Google Patents

标识显示控制装置、集成电路及标识显示控制方法 Download PDF

Info

Publication number
CN102292978A
CN102292978A CN2010800055165A CN201080005516A CN102292978A CN 102292978 A CN102292978 A CN 102292978A CN 2010800055165 A CN2010800055165 A CN 2010800055165A CN 201080005516 A CN201080005516 A CN 201080005516A CN 102292978 A CN102292978 A CN 102292978A
Authority
CN
China
Prior art keywords
sign
display
unit
display unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800055165A
Other languages
English (en)
Inventor
土田安纮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102292978A publication Critical patent/CN102292978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Details Of Television Systems (AREA)

Abstract

本发明目的是提供标识显示控制装置，使显示装置显示的标识的检测变得容易，并且降低显示装置的显示内容的难以观看性。标识显示控制装置具有：从拍摄了显示装置的图像检测标识的标识检测部；基于标识检测的结果，向显示装置发出变更标识的显示方式的指示的标识显示方式变更部。标识显示控制装置例如在标识能够检测的范围内使标识的显示面积减小，来降低显示装置的显示内容的难以观看性。

Description

标识显示控制装置、集成电路及标识显示控制方法
技术领域
本发明涉及进行将用于识别显示装置的标识显示在该显示装置的显示画面(显示区域)上的控制的标识显示控制装置，尤其涉及进行与显示装置向用户提供的本来的显示内容一起显示标识的控制的标识显示控制装置。
背景技术
标识通过形状、颜色来表示识别信息，也可以称为识别标识。通过对带有该标识的对象物进行拍摄，并取得标识的识别信息，例如能够识别对象物、识别拍摄图像中的对象物的位置。
在专利文献1中记载了将搭载了摄像机的信息处理终端作为远程控制器使用的技术。而且，由信息处理终端拍摄电子设备带有的识别码(标识)，识别多个电子设备中的成为操作对象的电子设备，并进行远程操作。由此，用户不需要通过手动切换操作对象的电子设备。但是，需要准备与多个电子设备相当的量的印刷有标识的封缄(seal)、并贴附于各电子设备上的劳力。
为了消除该劳力，在专利文献2中记载了如下技术，即：在便携终端的显示画面上显示标识，拍摄该标识，从而识别与标识对应的图像的种类、和拍摄图像中的标识的位置等。由此，即使不准备多种印刷有与多种图像对应的标识的封缄等，也能够将多种标识自由地显示在便携终端的显示画面上。
先行技术文献
专利文献
专利文献1：日本特开2001-142845号公报
专利文献2：日本特开2005-250950号公报
发明概要
发明要解决的问题
然而，为了将电视等显示装置作为操作对象，要求在该显示装置的显示画面(显示区域)上，与操作菜单或运动图像等的显示装置本来的显示内容一起显示标识。这是为了例如，对显示装置中显示的标识进行拍摄，并识别标识，从而识别显示装置的种类、位置等而使远程操作变得容易。
这里，在显示装置中，与本来的显示内容一起显示标识时，存在难以观看本来的显示内容的问题。因此，若将标识的显示面积减小，或将标识配置在显示画面的周缘部(尤其是四个角)，则标识变得不醒目，能够降低显示内容的难以观看性。
但是，如果仅仅使标识变得不醒目，则难以检测标识。例如，根据用户的位置，拍摄距离变远，若标识的显示尺寸小则检测会变得困难。另外，例如，标识的显示个数少的情况下，或者标识显示在显示画面的周缘部的情况下，因遮蔽物而妨碍标识的拍摄，结果有可能难以检测标识。
发明内容
本发明鉴于上述问题，其目的是提供一种标识显示控制装置，使标识的检测变得容易，并且能够降低显示装置本来的显示内容的难以观看性。
用于解决问题的手段
为了解决上述问题，本发明的标识显示控制装置，通过通信单元与显示装置连接，进行使该显示装置显示识别用的标识的控制，其特征在于，具备：标识检测部，从拍摄显示装置的显示内容而得到的图像中检测所述识别用的标识；以及标识显示方式变更部，基于标识检测的结果，对显示了标识的显示装置进行将标识的显示方式变更的指示。
发明效果
根据本发明的标识显示控制装置，例如，在标识检测前在显示装置的显示区域上将标识显示得大，在标识检测后，将标识的显示尺寸减小，由此使标识检测变得容易，并能够降低显示装置本来的显示内容的难以观看性。另外，例如，通常时，在显示装置的显示区域上将标识显示得小来降低显示内容的难以观看性，另一方面，在因拍摄距离远而不能检测出标识的情况下，将标识的显示尺寸增大，从而能够使标识的检测变得容易。
即，根据本发明的标识显示控制装置，能够使标识的检测变得容易，并能够降低显示装置本来的显示内容的难以观看性。
附图说明
图1是表示本发明的实施方式1中的小型信息终端1和电视2的结构的框图。
图2是表示实施方式1中的小型信息终端1和电视2的外观结构及配置例的图。
图3是表示实施方式1中的小型信息终端1的显示设备控制处理的流程图。
图4是表示实施方式1中的电视2的处理的流程图。
图5是表示实施方式1中的标识检测处理的流程图。
图6是表示实施方式1中的标识尺寸调整处理的流程图。
图7是表示实施方式1中的初始化处理时的标识信息保持部133的内容的图。
图8是表示实施方式1中的拍摄标识而得到的拍摄图像111的图。
图9是表示实施方式1中的标识检测时的标识信息保持部133的内容图。
图10是表示实施方式1中的调整标识尺寸后的标识信息保持部133的内容的图。
图11是表示实施方式1中的基准颜色的颜色名称和各颜色成分的基准亮度值的图。
图12是表示实施方式1中的调整标识尺寸后的小型信息终端1和电视2的外观结构及配置例的图。
图13是表示实施方式1的变形例1中的不使用检测处理的流程图。
图14是表示变形例1中的标识检测处理2的流程图。
图15是表示实施方式2中的小型信息终端500和电视2的结构的框图。
图16是表示实施方式2中的标识信息保持部133的内容的图。
图17是表示实施方式2中的小型信息终端500和电视2等的配置例的图。
图18是表示实施方式2中的标识尺寸调整处理2的流程图。
图19是表示实施方式2中的不可检测标识处理的流程图。
图20是表示实施方式3中的小型信息终端600和电视2等的结构的框图。
图21是表示实施方式3中的小型信息终端600和电视2的图。
图22是表示实施方式3中的小型信息终端600和电视2等的配置例的图。
图23是表示实施方式3中的标识信息保持部133的内容的图。
图24是表示实施方式3中的不可检测标识处理2的流程图。
图25是表示实施方式3中的遮蔽状态检测处理的流程图。
图26是表示实施方式3中的标识移动处理的流程图。
图27是表示实施方式3中的移动量计算处理的流程图。
图28是表示实施方式3中的标识信息保持部133的内容的图。
图29是表示实施方式3中的小型信息终端600、电视2等和遮蔽物4的配置例的图。
图30是表示实施方式3的变形例中的标识的基于显示位置和随机数的移动方向的图。
图31是表示实施方式3的变形例中的标识移动后的标识信息保持部133的内容的图。
图32是表示二维标识的例子的图。
图33是表示与上述不同的其他实施方式中的操作设备700和显示装置702等的结构的框图。
具体实施方式
发明的各种方式
以下，举例说明本发明能够采用的各种方式。
(1)本发明的一个方式的标识显示控制装置，通过通信单元与显示装置连接，进行使该显示装置显示识别用的标识的控制，其特征在于，具备：标识检测部，从拍摄显示装置的显示内容而得到的图像中检测所述识别用的标识；以及标识显示方式变更部，基于标识检测的结果，对显示了标识的显示装置指示将标识的显示方式变更。
本方式的标识显示控制装置例如被搭载在对显示装置进行远程操作的操作设备上。
根据本方式的标识显示控制装置，例如，在检测出了标识的情况下，通过将标识的显示尺寸减小，能够降低显示画面的难以观看性。另外，例如，在不能检测出标识的情况下，通过增大标识的显示尺寸、变更标识的显示位置(使标识移动)等，能够使标识的检测变得容易。
即，根据本发明的标识显示控制装置，能够使标识的检测变得容易的同时，能够降低显示装置的显示画面的难以观看性。
在本方式中，标识用于在拍摄图像中确定显示装置的种类，或者用于确定显示装置的显示画面的位置。
通过确定拍摄图像中的显示装置的种类，例如，在存在多个作为用户的操作对象的显示装置的情况下，能够确定作为用户的操作对象的显示装置。另外，通过确定显示装置的显示画面的位置，例如，在手边的操作设备中，对所拍摄的操作菜单进行操作，从而能够对显示装置的操作菜单进行远程操作。具体地，在显示装置中显示了操作菜单的情况下，通过由用户指定操作设备的显示部上显示的拍摄图像中的显示装置的操作菜单的位置，能够向显示装置发送显示画面的哪个坐标被指定。而且，显示装置能够当作选择了在被指定的坐标上显示的选项，来接受操作。
为了变更标识的显示方式，例如可以变更标识的显示面积、变更标识的显示位置、和变更标识的形态(例如，形状、颜色等)等。变更标识的显示面积，这包括变更标识的大小(显示尺寸)、变更标识的显示个数等。
“基于标识检测的结果，指示将标识的显示方式变更”是指，例如，在检测出标识的情况下，能够设为将标识的显示面积减小(减小显示尺寸、减少标识的显示个数等)的指示。由此，在进行标识检测之前，将标识的显示面积增大而使标识的检测容易，在检测出标识之后，能够适当地减小标识的显示面积。
另外“基于标识检测的结果，指示将标识的显示方式变更”是指，例如，在未检测出标识的情况下，能够设为增大标识的指示、变更标识的显示位置的指示。通过增大标识，例如即使在因拍摄距离远而未检测出标识的情况下，也能够进行标识检测。另外，通过变更标识的显示位置，例如在显示装置之前有障碍物、未能拍摄显示装置的一部分(显示着标识的部分)的情况下，检测出标识的可能性提高。
为了“进行指示”，例如，也可以将预定的规定信号发送给显示装置，也可以将标识的显示尺寸、显示位置发送给显示装置。
此外，在标识检测部进行的标识的检测中，被拍摄的图像被编码。也就是说，能够根据图像被编码的图像信息来检测标识。
显示装置既可以是电视接收机、笔记本式个人计算机等的具有图像显示功能的单体的显示设备，也可以是包括显示设备和图像再生设备等的装置。图像再生设备例如可以由DVD播放器(录像机)、HDD录像机、视频摄像机、PC(个人计算机)等构成。
此外，显示装置的显示区域是指配置了显示装置的显示画面的二维区域。另外，显示区域和显示画面的大小相同。
通信单元例如可以由红外线通信装置、无线LAN(Local Area Network：局域网)装置等通信装置构成。此外，通信单元(通信装置)只要能够向至少一个方向发送信息即可，也可以称为发送单元(发送装置)。这里，为了明确通信单元是单向或双向发送信息的单元，也可以将通信单元称为信息传递单元(信息传递装置)。此外，“通过通信单元”是指“经由通信单元”。
(2)本发明的一方式的标识显示控制装置可以构成为：所述标识显示方式变更部对显示了由所述标识检测部检测出的标识的显示装置进行将标识的显示面积减小的指示。
根据本方式，在确认了能够检测标识之后，通过将标识的显示尺寸减小、和将标识的显示个数减少中的至少一方，能够降低显示装置的显示内容的难以观看性。因此，例如，在显示装置的显示画面上预先显示较大的标识、在标识被检测出之后，能够将标识减小。
此外，在本方式中，标识显示方式变更部在满足规定条件的情况下，优选进行将标识的显示面积减小的指示。例如是被拍摄的图像中的标识的尺寸比被检测为标识的下限尺寸大的情况。
(3)本发明的一方式的标识显示控制装置可以构成为：还具备反复拍摄标识的拍摄图像输入部，所述标识检测部进行从由所述拍摄图像输入部依次得到的图像中检测标识的处理，所述标识显示方式变更部在由所述标识检测部检测出的标识在其后的标识检测处理中没有被检测出的情况下，对显示了所述标识的显示装置进行将该标识的显示尺寸增大的指示、或将该标识的显示位置变更的指示。
根据本方式，因标识的显示尺寸小、标识被障碍物遮蔽等而不能检测出标识的情况下，也能够通过将标识的显示尺寸增大、将标识的显示位置变更(使标识移动)，来使标识的检测变得容易。
因此，通常情况下，通过将标识的显示面积减小、将标识配置在显示区域的周缘部等，容易降低显示装置的显示内容的难以观看性。
拍摄图像输入部例如可以由数字摄像机、数字视频摄像机构成。
(4)本发明的一方式的标识显示控制装置可以构成为：还具备按每个标识来存储标识信息的标识信息保持部，该标识信息至少将包括分配给显示装置的标识的颜色信息的标识识别信息、与该标识建立对应的显示装置、以及显示装置显示的标识的显示尺寸作为构成要素。
在本方式中，例如，能够基于标识识别信息来检测标识，并基于与检测出的标识建立对应的显示装置的信息来识别作为操作对象的显示装置等。而且，基于标识的显示尺寸，在使标识缩小的情况下，能够指定比当前的显示尺寸小的尺寸，在使标识放大的情况下，能够指定比当前的显示尺寸大的尺寸。
此外，在本方式中，标识信息保持部设置在标识显示控制装置中，但作为与本方式不同的其他方式，标识信息保持部也可以设置于标识显示控制装置以外。例如，在标识显示控制装置搭载在小型信息终端等的操作设备上的情况下，标识信息保持部也可以设置在操作设备的构成要素中的标识显示控制装置以外的构成要素上。该情况下，标识显示控制装置能够从具有标识信息保持部的其他构成要素中取得标识信息。
(5)本发明的一方式的标识显示控制装置可以构成为：在显示装置的显示区域中，在相隔的多个位置分别显示了标识，所述标识显示方式变更部具备判断为是遮蔽等状态的标识遮蔽等状态判断部，该遮蔽等状态是指由于显示装置显示的标识被遮蔽物遮蔽、或标识脱离拍摄范围，因此该标识不能被标识检测部检测，所述标识显示方式变更部进行将由所述标识遮蔽等状态判断部判断为遮蔽等状态的标识的显示位置变更的指示。
在本方式中，使遮蔽等状态的标识移动，标识的检测变得容易。因此，通过将标识配置在显示区域的周缘部、将标识的显示个数减少，容易降低显示装置的显示内容的难以观看性。
遮蔽等状态例如包括显示装置所显示的标识被障碍物遮挡而不能拍摄的遮蔽状态、和标识位于拍摄范围外而不能拍摄的拍摄范围外状态。
(6)本发明的一方式的标识显示控制装置可以构成为：所述标识显示方式变更部进行将不是遮蔽等状态的标识的显示位置设为显示装置的显示区域的四个角中的某一个的指示，并且进行将遮蔽等状态的标识的显示位置向显示区域的水平方向及垂直方向中的至少一方的中央侧变更的指示。
在本方式中，通过使在显示装置的显示区域的角部上显示的标识接近于中央侧，标识的检测变得容易。
(7)本发明的一方式的标识显示控制装置可以构成为：所述标识显示方式变更部对显示装置进行以下述显示尺寸显示标识的指示，该显示尺寸使拍摄显示装置的显示内容而得到的图像中的标识的尺寸小于由所述标识检测部检测出的标识的检测尺寸、且为在所述图像中被检测为标识的下限尺寸以上。
在本方式中，在拍摄显示装置的显示内容而得到的图像(拍摄图像)中检测出标识的下限尺寸是预先设定的。因此，能够将标识的显示尺寸设定为在拍摄图像中成为下限尺寸以上。结果，例如，在标识检测之前，预先使标识的显示尺寸充分大，在标识检测之后，能够使标识的尺寸一下子缩小。
(8)本发明的一方式的标识显示控制装置可以构成为：所述标识显示方式变更部对显示装置进行将标识的显示尺寸减小的指示，直到所检测出的标识不被检测出为止，在标识不被检测出的情况下，进行将标识的显示尺寸增大的指示。
在本方式中，即使没有设定下限尺寸，也能够使标识阶段性地缩小。
(9)本发明的一方式的标识显示控制装置可以构成为：所述标识显示方式变更部指定使显示装置显示的标识的颜色，所述标识检测部在拍摄显示装置的显示内容而得到的图像中，将由指定的所述颜色的像素构成的像素组中下限尺寸以上的像素组作为标识来检测。
(10)本发明的一方式的标识显示控制装置可以构成为：还具备坐标变换部，该坐标变换部将拍摄显示装置的显示内容而得到的图像中的坐标变换为显示装置的显示区域中的坐标，所述标识检测部至少检测所述图像中的标识的位置，所述坐标变换部至少基于所述标识的位置进行所述坐标的变换。
根据本方式，能够将例如搭载了标识显示控制装置的操作设备如同显示装置的输入装置一样使用来进行远程操作。该情况下，能够进行直观的远程操作。
在上述远程操作中，例如进行如下操作：使显示装置显示操作菜单，通过手边的操作设备拍摄该操作菜单并显示在操作设备的显示部上，对显示在显示部上的操作菜单进行操作。在这样的状况下，可以想到因用户的手抖或移动，拍摄图像中的显示装置的位置发生变化，优选持续地检测标识而正确地检测显示装置的位置。
坐标变换部既可以基于多个标识的位置来进行坐标变换，也可以基于1个标识的位置和该标识在图像中的尺寸来进行坐标变换。
(11)本发明的一方式的标识显示控制装置可以构成为：所述显示装置具有在显示区域中显示包括标识和操作菜单的显示内容的功能，在指定了所述图像中的显示装置的显示区域中的坐标的情况下，所述坐标变换部将该坐标变换为显示装置的显示区域中的坐标。
(12)本发明的一方式的标识显示控制装置可以构成为：该标识显示控制装置被搭载在操作设备上，该操作设备具备：显示部，显示拍摄所述显示装置的显示内容而得到的图像；以及操作输入部，进行指定显示部的任意坐标的操作输入，所述显示装置具有在显示区域中显示包括标识和操作菜单的显示内容的功能，所述坐标变换部将由操作输入部输入的显示部的坐标变换为显示装置的显示区域中的坐标。
(13)本发明的一方式的标识显示控制装置可以构成为：还具备：坐标变换部，将拍摄显示装置的显示内容而得到的图像中的坐标变换为显示装置的显示区域中的坐标；以及位置计算部，基于所述遮蔽等状态的标识的显示位置的变更量和所述图像中的所述标识的变更后的位置，计算所述图像中的所述标识的变更前的位置，所述标识检测部用于检测所述图像中的标识的位置，所述坐标变换部基于不是遮蔽等状态的标识的位置、和由所述位置计算部计算出的遮蔽等状态的标识的变更前的位置，进行所述坐标的变换。
在本方式中，在标识的显示位置变更的情况下，也能够计算在所拍摄的图像中显示位置变更前的标识将被拍摄的位置。因此，即使在标识的显示位置变更的情况下，也能够与显示位置没有变更的情况同样地进行坐标变换。
(14)本发明的一方式的集成电路，通过通信单元与显示装置连接，进行使该显示装置显示识别用的标识的控制，其特征在于，具备：标识检测部，从拍摄显示装置的显示内容而得到的图像中检测所述识别用的标识；以及标识显示方式变更部，基于标识的检测结果，对显示了标识的显示装置进行将标识的显示方式变更的指示。
(15)本发明的一方式的标识显示控制方法，进行使显示装置显示识别用的标识的控制，其特征在于，包括：得到对显示装置的显示内容进行拍摄的图像的步骤；从所述图像中检测所述识别用的标识的步骤；以及基于标识的检测结果，对显示了标识的显示装置进行将标识的显示方式变更的指示的步骤。
以下，参照附图说明本发明的实施方式。
[实施方式1]
对本发明的实施方式1的标识显示控制装置、安装了本标识显示控制装置的操作设备、及显示设备进行说明。
在实施方式1中，将搭载了摄像机的小型信息终端作为操作设备的一例，以如下情况为例进行说明，即：通过该小型信息终端拍摄及检测在作为显示设备的一例的电视的显示画面(也可以称为显示区域)上显示的标识，调整该标识的尺寸，
图1是示意地表示本发明的实施方式1中的安装了标识显示控制装置13的小型信息终端1、及成为该小型信息终端1的操作对象的电视2(或个人计算机3)的主要部分结构的框图。这里，小型信息终端1例如为搭载了摄像机的小型PC(个人计算机)、便携电话、小型音乐播放器等，具备标识显示控制装置、及用于对识别出的显示设备进行控制的结构。由此，能够进行由本终端1所搭载的摄像机拍摄的显示设备的操作。另外，显示设备例如为电视、个人计算机(以下记作PC)、液晶投影仪等，具备用于显示标识的结构。由此，能够通过所述小型信息终端1确定显示设备的种类和位置。此外，显示设备是显示装置的一例。
<操作设备>
首先，对作为操作设备的小型信息终端1的结构进行说明。
小型信息终端1具备操作输入部10、拍摄图像输入部11(以下，有时称为“摄像机部11”)、显示部12、标识显示控制装置13、设备操作控制部14以及发送部15(通信部的一例)。
操作输入部10例如具备键盘、按钮开关、触摸屏、触摸板等输入装置。操作输入部10若接受用户的操作输入，则将用户的操作内容向设备操作控制部14发送。在图2的例子中，在操作输入部10上设有按钮开关10a和其他的开关。
拍摄图像输入部11由数字照相机等构成。另外，拍摄图像输入部11根据标识显示控制装置13的指示，拍摄现实世界，并将拍摄该现实世界而得到的图像编码而生成拍摄图像信息。此外，该拍摄图像输入部11每秒实施几次～几十次左右的拍摄和拍摄图像信息的生成，将该拍摄图像信息向显示部12及标识检测部131输出。
关于该拍摄图像信息，能够采用各种格式。例如，在本实施方式中，采用通过二维数组P(x，y)表现坐标(x，y)的颜色信息的所谓位图形式。作为位图形式中的颜色信息的表现方法，例如可以列举RGB888。所谓RGB888是指，将颜色信息分离为红、蓝及绿的各个颜色要素的亮度信息，用8位表现各颜色要素的亮度值。在以下的说明中，将红色的要素的亮度值记作Pr(x，y)，将蓝色的要素的亮度值记作Pb(x，y)，将绿色的要素的亮度值记作Pg(x，y)。另外，二维数组P(x，y)表现坐标(x，y)处的颜色信息，将该各坐标的颜色信息称为“像素”。
显示部12具备液晶面板或有机EL面板等的显示面板、和进行使显示面板显示图像的控制的显示控制部，该显示部12显示小型信息终端1提示给用户的包含图形、字符、风景等在内的图像。在本实施方式中，显示部12显示将拍摄图像输入部11所生成的拍摄图像信息等进行图像化而得到的拍摄图像(进行所谓的预览画面显示)。
标识显示控制装置13包括标识检测部131、显示标识控制部132、标识信息保持部133和标识显示指示部134。另外，标识显示控制装置13通过微机(微型计算机)执行规定的程序，从而发挥上述构成的功能。此外，标识显示控制装置13形成在集成电路内。这里，标识显示控制装置13也可以不包含标识信息保持部133。
标识显示方式变更部130由显示标识控制部132和标识显示指示部134构成。
标识检测部131从拍摄图像输入部11接收拍摄图像信息，检测该拍摄图像信息中包含的标识。另外，标识检测部133将检测出的标识的标识信息写入标识信息保持部133，并对显示标识控制部132通知标识信息的更新。此外，标识信息的详细情况将在后面说明。
显示标识控制部132从标识信息保持部133取出标识信息，基于标识检测部131检测出的标识的尺寸，在能够进行标识检测的范围内缩小标识的尺寸，并写入标识信息保持部133。另外，要求标识显示指示部134向显示着该标识的电视2指示标识的显示。
标识信息保持部133是具备RAM、非易失性存储器(例如，闪存EEPROM(电可擦除只读存储器))等的存储部中确保的存储器区域(存储区域)，保持标识信息。
这里，标识信息由识别标识的信息、与该标识建立对应的显示设备的信息、和该标识的指示尺寸等构成。这里，识别标识的信息是与该标识的形态特征相关的信息，基于该信息，能够检测拍摄图像信息所包含的标识。
作为识别标识的信息可以列举例如“标识的颜色”、二维标识中的“标识的形状”或“标识的图案”。在本实施方式中，“标识的颜色”作为识别标识的信息而保持在标识信息保持部133中(参照图7)。也就是说，对电视2和PC3分配不同的颜色的标识，用于识别它们。此外，作为识别标识的信息，拍摄图像信息所包含的标识的下限的大小(像素数的下限值Pm)也保持在标识信息保持部133中(省略图示)。
与标识建立对应的显示设备的信息是与显示各标识的显示设备相关的信息。例如是电视2的名称(参照图7)和IP地址(省略图示)等。
标识的指示尺寸是指定由显示设备显示的标识的大小(显示尺寸)的信息。
而且，在本实施方式中，标识信息中还包含通过标识检测而得到的信息即“标识检测信息”。标识检测信息例如包含“检测标志”、“检测位置”、“检测尺寸”等信息(图7)，详细情况将在后面叙述。
标识显示指示部134基于来自显示标识控制部132的要求，从标识信息保持部133读入与该要求相应的标识信息，并生成标识显示指示信息，发送给发送部15。标识显示指示信息是指从标识信息中抽出由显示设备显示标识所需的信息而构成的信息。上述的识别标识的信息和该标识的指示尺寸包含于标识显示指示信息中。
设备操作控制部14在标识被检测出的情况下，基于标识信息保持部133保持的信息，确定操作对象的显示设备。而且，将与确定的显示设备对应的操作菜单17(例如，图2)显示在显示部12。而且，如果用户向操作输入部10进行与操作菜单对应的输入，则对于上述确定的显示设备，将表示用户输入的内容的操作信息发送给发送部15。
发送部15通过红外线通信、无线LAN(Local Area Network)等的通信单元5，将由标识显示指示部134及设备操作控制部14发送的信息发送给电视2的接收部21。这里，在图1、图2的例子中，关于通信单元5是无线LAN的情况，示意地示出了小型信息终端1、电视2及PC3间的连接关系。
此外，在图1、图2的例子中，通信单元5由无线LAN装置的母机构成。相对于此，与图2等不同，也可以考虑通信单元由无线LAN装置的母机、发送部15及接收部16构成。
另外，在使用红外线通信的情况下，小型信息终端1和电视2通过通信单元5直接连接。该情况下，通信单元由发送部15和接收部21构成。此外，在使用红外线通信的情况下，并不一定将所有的显示设备和小型信息终端1连接。
<显示设备>
以下，对显示设备中的电视2的构成要素进行说明。
此外，图1代表性地示出了电视2的构成要素，但PC3也具有相同的构成要素。
接收部21通过红外线通信、无线LAN(或者，与无线LAN装置的母机连接的有线LAN)等通信单元5，接收由小型信息终端1的发送部15发送的信息。而且，接收部21在接收的信息中包含有标识显示指示信息的情况下，将标识显示指示信息发送给标识显示信息控制部22。另一方面，在接收的信息包含有操作信息的情况下，将操作信息发送给操作信息接收部24。
标识显示信息控制部22接收基于小型信息终端1的标识显示指示部134的要求发送的标识显示指示信息，并根据该信息更新标识显示信息保持部23。
标识显示信息保持部23是包含RAM、非易失性存储器(闪存EEPROM)等的存储部中确保的存储器区域(存储区域)，保持标识显示信息。这里，标识显示信息是指由标识显示的有无、标识的显示形态的信息(例如，标识的颜色、显示尺寸等)等构成的信息，其内容基于所述标识显示指示信息来更新。
操作信息接收部24接收基于小型信息终端1的设备操作控制部14的要求发送的操作信息，并将该操作信息向操作输入部25输入。
操作输入部25具备键盘、按钮开关、触摸屏及触摸板等中的某一种输入装置。而且，操作输入部25将由操作信息接收部24输入的操作信息也作为用户的输入来接受。
内容部26基于从操作输入部25接受的与用户操作相关的信息及内容信息(省略图示)，生成要在显示部27显示的显示信息。
在显示设备为电视2的情况下，该内容部具有调谐器和影像处理电路，基于作为内容信息的电视广播等影像信号生成显示信息。
另一方面，在显示设备为PC3的情况下，该内容部通过规定的应用软件的执行，成为发挥例如WEB浏览器、动画播放器、音乐播放器等的功能的部分。而且，例如通过WEB浏览器功能，基于用户操作并通过未图示的互联网等取得作为内容信息的WEB页的HTML数据，基于该HTML数据来决定图像或按钮等的显示部件的布局，并生成该布局和显示部件的显示信息，向显示部27输入。
显示部27具有由液晶面板等构成的显示面板、和进行使该显示面板显示图像的控制的显示控制部，进行内容部26所生成的显示信息的显示。显示控制部具有OSD(ON SCREEN DISPLAY：屏幕显示)功能，基于标识显示信息保持部23保持的标识显示信息，将标识与由内容部26生成的显示信息重叠地显示在显示面板上。另外，显示控制部根据用户操作，能够生成进行显示设备的设定的操作菜单等显示信息。此外，显示标识的信息比内容部26生成的显示信息优先显示。也就是说，在显示区域中的显示有标识的部分，不显示基于显示信息(与显示装置本来的显示内容相当)的图像。此外，基于上述显示信息的图像是所述“显示装置本来的显示内容”的具体例。
<动作>
以下，使用图3、图4、图5及图6所示的流程图说明本发明的实施方式1的具体的使用例(图2)中的处理流程。
图2是表示本发明的实施方式1中的作为操作设备的小型信息终端1和作为显示设备电视2及PC3(个人计算机3)的外观结构和配置的图。图2示出了通过小型信息终端1上搭载的摄像机部11(拍摄图像输入部11)拍摄电视2的状态。此外，小型信息终端1将拍摄电视2而得到的拍摄图像显示于显示部12(详细地讲，显示部12的显示区域或显示部12的显示画面)。
这里，在电视2的显示部27(详细地讲，显示部27的显示区域或显示部27的显示画面)上显示有标识271a，在小型信息终端1的拍摄图像(即显示部12)中出现与标识271a相当的标识拍摄图像121a。另一方面，关于PC3，由于配置在小型信息终端1的拍摄范围外，所以在拍摄图像中不出现与本PC3相当的部分。
此外，图2示出了通过标识检测部131检测出标识271a之后，通过设备操作控制部14显示操作菜单17(包含操作内容显示图像17a)的状态。
另外，小型信息终端1的操作输入部10具有多个按钮开关。这里，按钮开关10a接受对显示部12所显示的操作内容显示图像17a进行选择的来自用户的输入。即，按钮开关10a被按下时，与操作内容显示图像17a建立关联的操作信息发送到发送部15。此外，关于其他的按钮开关也同样，操作信息或其他的操作内容被建立关联。
以下，对小型信息终端1及电视2(或PC3)的处理进行说明。
图3是表示小型信息终端1执行的显示设备控制处理的流程图。图4是表示电视2(或PC3)的指示受理处理的流程图。
(1)小型信息终端1(操作设备)的处理的概要
对由小型信息终端1进行的显示设备控制处理(步骤S1～S6)进行说明。此外，关于步骤S3、S4，简单地进行说明，并在电视2的处理的说明之后进行详细说明。
这里，用户通过小型信息终端1的操作，启动进行显示设备控制处理的应用软件之后，使摄像机部11(拍摄图像输入部11)朝向电视2的方向，以在显示部12所显示的拍摄图像中映入电视2的方式保持小型信息终端1(图2)。
在步骤S1的标识初始化处理中，进行标识信息保持部133的初始化及向所有显示设备(在本例中，电视2、PC3)的标识显示指令。
标识信息保持部133的初始化由显示标识控制部132进行。
这里，图7表示被初始化的标识信息保持部133所保持的标识信息，基于该图说明标识信息及标识初始化处理。
在标识初始化处理中，如图7所示，关于小型信息终端1能够检测的显示设备组即登记在小型信息终端1中的各显示设备，设定用于识别显示设备的“颜色”和作为与该显示设备相关的信息的“设备名”。在本例中，为了将电视2及PC3作为检测对象，而对设备名“电视”设定颜色“红”，对设备名“PC”设定颜色“蓝”。此外，初始化时的设定通过产品出厂时的设定或用户登记等预先被设定，使用存储在小型信息终端1的存储部中的信息。
另外，对于通过标识检测得到的标识信息(标识检测信息)即“检测标志”、“检测位置”、“检测尺寸”也进行初始化。检测标志是表示标识检测部是否检测出标识的标志，作为初始值设定“未检测”。检测位置是标识检测部131在拍摄图像信息内检测出的标识的坐标(Xd，Yd)。此外，基本上，标识不是由1个像素构成，而是作为多个像素结合而成的像素组来被检测。因此，产生作为检测位置采用该多个像素的坐标中的某一个的问题。在本实施方式中，采用该多个像素中的位于最左上的像素的坐标。
此外，上述检测位置仅在检测标志的值是“检测”的情况下被设定有效的值。在该初始化处理中，由于检测标志的值是“未检测”，所以该值为“未设定”。
检测尺寸表示构成所述标识的多个像素的大小，设横宽为Wd、纵宽为Hd，记作(Wd，Hd)。这里，横宽Wd及纵宽Hd分别是由构成所述标识的像素组形成的四边形(例如，长方形)的X轴方向像素数及Y轴方向的像素数。
图8(a)是例示拍摄图像111的图，图8(b)是放大表示区域111a的图。图8(a)的区域111a是拍摄图像111中的包含与电视2所显示的标识相当的部分(像素组111b)在内的区域，图8(b)放大表示区域111a。区域111a内的小的四边形分别表示像素。另外，涂黑的像素组111b表示该区域111a中的与电视2所显示的标识相当的部分(标识拍摄图像)。该情况下，检测尺寸为(33，30)。
此外，该检测尺寸仅在检测标志的值是“检测”的情况下被设定有效的值。在该初始化处理中，由于检测标志的值是“未检测”，所以该值设为“未设定”。
指示尺寸是指定各显示设备显示的标识的大小(显示尺寸)的尺寸，设横宽为Wr、纵宽为Hr，记作(Wr、Hr)。这里，横宽Wr、纵宽Hr与上述检测尺寸同样，成为由构成标识的像素组形成的长方形的X轴方向像素数及Y轴方向的像素数。在本例中，“电视”及“PC”都将Wr＝150、Hr＝150作为初始值。
该初始值设定得大，即使在小型信息终端1和电视2的距离较远的情况下，也能够进行标识的检测。
步骤S1中的向所有显示设备的标识显示指令是如下实现的，即：通过上述初始化处理设定的标识信息经由通信单元5作为标识显示指示信息而发送到电视2及PC3。此外，在图3中，用虚线示意地表示标识显示指示信息的发送处理。这里，标识显示指示信息的发送从图3的记号“A”连接到图4的记号“A”。关于这样的指示信息等的发送处理，对其他的标识显示指示信息的发送(S4)和操作信息的发送(S5)也同样地表示。
此外，在上述步骤S1中，例如，在标识信息保持部133中设定了3个以上的显示设备的情况下，向3个以上的全部显示设备发送标识显示指示信息。即，向标识信息保持部133中设定的全部显示设备发送标识显示指示信息。由此，在进行标识检测之前的状态下，也能够指示显示设备显示标识。
这里，本例中的标识显示指示信息是指由“颜色”及“指示尺寸”构成的信息。即，作为本例的标识显示指示信息，向电视2发送颜色为“红”、指示尺寸为(150，150)的信息，向PC3发送颜色为“蓝”、指示尺寸为(150，150)的信息。
在步骤S2中，拍摄图像输入部11(摄像机部11)拍摄电视2并生成拍摄图像信息，将该生成的拍摄图像信息向标识检测部131输入。另外，拍摄图像输入部11将该拍摄图像信息还向显示部12输入。此外，显示部12将输入的拍摄图像信息图像化，显示拍摄图像。该步骤S2及后述的步骤S3～S6以每秒几次～几十次左右的频度实施。因此，在显示部12上以每秒几帧～几十帧的帧速率将拍摄图像输入部11拍摄的现实世界的风景作为运动图像来显示。
在步骤S3的标识检测处理中，由标识检测部131实施对所述拍摄图像信息所包含的标识进行检测的处理、及标识信息的更新处理等。标识检测部131在检测出标识的情况下，取得标识的检测尺寸等的标识检测信息。而且，通过将标识检测信息写入标识信息保持部133，对标识信息保持部133所保持的标识信息进行更新。
图9是表示标识检测处理后的标识信息保持部133的内容(所保持的标识信息)的一例的图。在该图中，电视2显示的标识被检测出，检测标志成为“检测”，检测位置及检测尺寸被设定。
在步骤S4的标识尺寸调整处理中，由显示标识控制部132基于标识的检测尺寸等，缩小标识的指示尺寸，更新标识信息。而且，由标识显示指示部134生成包含缩小后的指示尺寸在内的标识显示指示信息，并向电视2发送。
图10是表示步骤S4的标识尺寸调整处理后的标识信息保持部133的内容的一例的图。在该图中，与图9的指示尺寸(150，150)相比，通过标识尺寸调整处理，指示尺寸缩小到(23，25)。另外，在该图中，对检测尺寸设定了拍摄指示尺寸被缩小到(23，25)的标识并进行了检测处理的情况下的检测尺寸(5，5)。
在步骤S5的向显示设备的操作受理处理中，进行作为用户的操作对象的显示设备的决定、操作菜单17的显示、用户输入的受理、用户操作内容的发送。
具体地，设备操作控制部14基于步骤S3中检测出的标识的信息，来决定作为用户的操作对象的显示设备。而且，设备操作控制部14将与被决定的操作对象显示设备家里关联的操作菜单17显示在显示部12上，并等待用户操作的输入。此后，在向操作输入部10输入了与操作菜单17对应的用户操作的情况下，经由发送部15向操作对象显示设备发送表示用户的操作内容的操作信息。
以下，以在图2所示的显示设备的结构中通过所述步骤S4的处理将标识信息保持部133的内容更新为图10的内容的情况为例说明本步骤的处理。
首先，说明决定作为操作对象的显示设备的处理。
设备操作控制部14决定如下的显示设备，该显示设备是应将所述的通过用户输入选择的操作内容与保持在标识信息保持部133中的标识信息一起作为操作信息来发送的设备。在本例中，将检测标志的值是“检测”的标识信息所涉及的显示设备决定为应发送操作信息的显示设备。因此，标识信息保持部133是图9所示的内容的情况下的操作对象显示设备为检测标志是“检测”的设备名“电视”、即电视2。
此外，在检测标志的值为“检测”的显示设备存在多个的情况下，可以在显示部12上显示与设备选择有关的菜单，通过用户输入来决定操作对象显示设备。该情况下，能够在标识信息保持部133中存储：对于各显示设备，用户是否进行了选择。而且，能够将用户选择的显示设备决定为作为操作对象的显示设备。
以下，对操作菜单的显示及用户输入受理处理进行说明。
小型信息终端1具有存储部(省略图示)，在该存储部中存储有与各显示设备建立对应的操作菜单图像信息。而且，设备操作控制部14在决定操作对象显示设备之后，从存储部取出与操作对象显示设备对应的操作菜单图像信息，并与操作菜单的显示指令一起发送给显示部12。结果，显示操作菜单17。
在显示操作菜单17之后，设备操作控制部14通过操作输入部10受理用户的输入。这里，假设用户按下了按钮开关10a。该情况下，在显示了操作菜单17的状态下，如操作内容显示图像17a所示，向按钮开关10a的输入与在广播节目视听内容中将频道变更为2ch的操作信息建立了关联。因此，通过所受理的用户输入来选择的操作内容是操作内容显示图像17a中显示的内容即“2ch”操作，也就是说，是将节目视听内容中的频道变更为2ch的操作。
设备操作控制部14要求发送部15“向所述操作对象显示设备发送所述用户输入的操作内容”。在本例中，向电视2发送“将频道变更为2ch”这样的操作信息。
此外，经过了设定时间之后用户还没有输入的情况下，在S5中不进行操作信息的送出，处理前进到S6。
此外，在本例中，本处理S5设为与标识检测处理S3及标识尺寸调整处理S4为同步处理，也可以是非同步处理。
另外，上述操作菜单17示出了显示频道操作的例子，但也能够显示其他各种菜单。也可以显示例如音量调节、输入切换等的选项。该情况下，能够依次进行频道的变更、音量的调节等的多个操作。
上述S2至S5的处理被反复实施直到显示设备控制处理结束(步骤S6)。
上述显示设备控制处理例如在通过用户输入而实施了进行本控制处理的应用软件的结束操作的情况下结束。该情况下，在步骤S7的结束处理中，向所有显示设备(电视2等)发送标识显示的结束指示，从而所有显示设备中的标识的显示结束。
另外，例如，进行了频道变更等的操作之后，经过了设定时间也没有输入操作的情况下，可以结束显示设备控制处理，也可以暂时停止。暂时停止是指，直到进行再启动操作为止不进行显示设备控制处理的状态。另外，暂时停止时，处于电视2中显示标识的状态。
(2)显示设备的处理
以下，对电视2侧的处理进行说明。
图4是表示对从小型信息终端1发送的标识显示指示信息等进行的电视2(或PC3)的处理的流程图。此外，图4代表性地示出了电视2的处理，但PC3的处理也相同。
在步骤S11中，标识显示信息控制部22对标识显示信息保持部23的内容(省略图示)进行初始化。标识显示信息至少由“显示标志”、“颜色”及“指示尺寸”构成。“显示标志”是表示是否显示标识的信息。此外，关于颜色及指示尺寸，与步骤S1中说明的情况相同。
在该初始化处理中，将显示标志设定为“非显示”，将“颜色”及“指示尺寸”设定为“未设定”。
在步骤S12中，接收部21等待接收从小型信息终端1的发送部15发送的标识显示指示信息和操作信息(来自图3中的记号“A”的输入)。
在接收部21接收到操作信息的情况下(步骤S13)，根据操作信息，变更显示设备的工作状态(步骤S14)。以下，具体说明。
接收部21接收到的操作信息被输入到操作信息接收部24。操作信息接收部24将该操作信息变更为电视2中的用户操作事件的形式，并向操作输入部25输入。操作输入部25将该输入的用户操作事件向内容部26输入。内容部26根据该事件来实施处理，生成显示信息。在本例中，接收到所述步骤S4中所示的“2ch”操作的信号的电视2将频道变更为“2ch”，并生成该频道中广播的节目视听内容的显示信息。该显示信息变换为图像，显示在显示部12上，从而完成频道变更操作。
在步骤S12中接收部21接收到标识显示指示信息的情况下(步骤S15)，标识显示信息被更新(步骤S16)。以下，具体说明。
接收部21接收到的标识显示指示信息被输入到标识显示信息控制部22。标识显示信息控制部22根据该标识显示指示信息更新标识显示信息保持部23的内容。在本例中，根据步骤S1中发送的标识显示指示信息，电视2更新成颜色为“红”、指示尺寸为(150，150)，PC3更新成颜色为“蓝”、指示尺寸为(150，150)。另外，接收本信息的同时，将显示标志的值切换为“显示”。
此外，在小型信息终端1中，上述的步骤S1只执行一次，并向显示设备只发送一次标识显示指示信息，相对于此，步骤S4(细节后述)的处理反复执行，根据需要而多次发送标识显示指示信息，因此本更新处理有时被实施多次。
在本实施方式中，电视2设定成显示上述指示尺寸的四边形的标识，但也可以是由小型信息终端1指定标识的形状的结构。
在步骤S17中，显示部27在内容部26生成的显示信息之上重叠显示标识。重叠显示的标识基于标识显示信息保持部23的内容。即，显示部27在标识显示信息的显示标志为“显示”的情况下，根据颜色及指示尺寸的值，在显示信息之上绘制标识。在本例中，电视2将宽度150像素、高度150像素的红色的方形绘制在显示信息上，PC3将宽度150像素、高度150像素的蓝色的方形绘制在显示信息上。此外，关于标识的绘制位置，在本例中，显示设备预先确定任意的固定位置(例如，将坐标(0，0)作为标识的左上坐标等)，在该位置进行显示。此外，显示指示位置包含于标识显示信息，也可以采用向该显示指示位置显示标识的结构(关于该结构，在实施方式3中详细说明)。
上述处理至少在小型信息终端1的显示设备控制处理持续过程中，被反复实施(步骤S18)。此外，在接收到从小型信息终端1发送的显示设备控制处理的结束指示的情况下，通过步骤S11的初始化处理将标识显示设为非显示(OFF)。此后，等待接收显示指示等(S12)。
以上，结束电视2侧的处理的说明。
(3)标识检测处理的细节
以下，使用图5的流程图对步骤S3的标识检测处理的细节进行说明。在步骤S3中，标识检测部131接受拍摄图像输入部11生成的拍摄图像信息，并检测该拍摄图像信息中包含的标识。此外，在以下的说明中，假设上述步骤S2中由拍摄图像输入部11生成的拍摄图像信息是图8所示的拍摄图像111的信息。
在步骤S31中，对标识信息保持部133所保持的标识信息的一部分进行初始化。具体地，将标识信息保持部133所保持的所有显示设备的标识信息的检测标志重置为“未检测”状态。另外，将检测位置、检测尺寸的值设为“未设定”。
在步骤S32中，从标识信息保持部133读取而取得被分配给各显示设备的标识的颜色。在本例中，如图7所记载，取得电视2的“红”及PC3的“蓝”。
在步骤S33中，从上述拍摄图像信息中检测步骤S32中读出的颜色即“红”及“蓝”的像素组。各颜色的像素组的检测基于各像素P(x，y)的颜色信息如以下这样进行。
首先，通过下式，关于各像素P(x，y)，求出RGB(红、绿、蓝)的各颜色成分相对于各基准颜色(参照图11)的亮度差合计值C(i)。
[式1]
C(i)＝|Pr(x，y)-Sr(i)|+|Pg(x，y)-Sg(i)|+|Pb(x，y)-Sb(i)|
这里，Pr(x，y)、Pg(x，y)、Pb(x，y)分别是各像素的红、绿、蓝成分的亮度值。另外，基准亮度值Sr(i)、Sg(i)及Sb(i)分别是构成基准颜色的红、绿、蓝成分的亮度值。图11是表示该基准亮度值的设定例的图。“i”是颜色号。例如，红色的情况下，“i”为2，各基准亮度值Sr(2)＝255、Sg(2)＝0、Sb(2)＝0。此外，各颜色的基准亮度值被存储在小型信息终端1的存储部。
而且，对于各颜色号i(1≤i≤N)，计算拍摄图像信息的各像素的亮度差合计值C(i)。这里，在图11的例子中N＝8，因此对各像素计算8个亮度差合计值C(1)～C(8)。而且，对于各像素，与8个亮度差合计值C(1)～C(8)中的最小值的颜色号i0对应的颜色名称Cn(i0)成为该像素的颜色名称。
而且，在颜色名称相同的多个像素连续地配置的情况下，视为像素组。具体地，像素组是与P(xk-1，yk)、P(xk+1，yk)、P(xk，yk-1)及P(xk，yk+1)中的任意1个以上的像素对应的颜色名称和与P(xk，yk)对应的颜色名称相同的像素P(xk，yk)的集合。这里，下标k例如是正整数，P(xk，yk)表示第k个坐标的颜色信息。
在本例中，构成拍摄图像信息111中拍摄电视2所显示的标识而得到的部分111b的各像素应为与颜色名称“红”相近的亮度值。因此，在本步骤中，区域111b的部分被作为颜色名称“红”的像素组。此外，根据拍摄图像输入部11的感光性能和拍摄环境，可能会与构成颜色名称“红”的基准颜色的各成分的基准亮度值(红色的基准亮度值为Sr(2)＝255，绿色的基准亮度值为Sg(2)＝0，蓝色的基准亮度值为Sb(2)＝0)稍有不同。
这里，在取得各像素的颜色名称的情况下，也可以对C(i)设置上限阈值，以选择尽可能与基准颜色接近的颜色名称。该情况下，在亮度差合计值C(1)～C(N)的全部比上限阈值大的情况下，该像素的颜色名称设为未设定(例如，颜色号为0)。由此，排除具有与基准颜色大为不同的基准亮度值的颜色。而且，只有由亮度差合计值C(i)～C(N)中的最小值为上限阈值以下的像素构成的像素组成为标识检测的对象。由此，能够提高标识检测的精度。
另外，在像素组的检测中，也可以将与P(xk-1，yk)、P(xk+1，yk)、P(xk，yk-1)、P(xk，yk+1)、及P(xk-1，yk-1)、P(xk+1，yk-1)、P(xk-1，yk+1)、P(xk+1，yk+1)中的任意1个以上的像素对应的颜色名称和与P(xk，yk)对应的颜色名称相同的像素P(xk，yk)的集合作为像素组。另外，也可以不是任意1个以上，而是任意N个以上(N≥2)。该情况下，将N设得越大，耐噪声性越提高，另一方面，会将本来是标识的部分作为噪声来排除。
在步骤S34中，判断步骤S33中检测的像素组是否是标识。具体地，通过该像素组的像素数是否是下限值Pm以上来进行判断。即像素数小于下限值Pm时，判断为不是标识而是噪声。此外，下限值Pm通过(式2)来计算，下限值Pm的最小值为1。
[式2]
Pm＝α×Wp×Hp
这里，设定值Wp是横向的像素数，设定值Hp是纵向的像素数。设定值Wp及Hp都设定成在能够检测标识的的范围内能够缩小标识的值。在本实施方式中，例如，设定值Wp及Hp都为“5”。
另外，系数α是被设定成大于“0”且小于等于“1”的值。若将该值设得越小，越能够可靠地检测标识，但小的像素组也会作为标识被检测出，将噪声误检测为标识的可能性也升高。另一方面，若将系数α设定得大，则将噪声误检测为标识的可能性降低，但有可能将小的标识作为噪声来排除。因此，为减少误检测，优选将系数α设为0.5以上。但是，在难以发生误检测的状况下，也可以将系数α设为小于0.5。
系数α例如能够基于摄像机部11(拍摄图像输入部11)的性能(例如分辨率)决定。若摄像机部11的像素性能低，则例如即使以在后述的步骤S33中计算出的显示尺寸将标识显示在电视2，也会存在拍摄的标识的尺寸比计算值小的情况。为了应对这样的情况，例如，优选将系数α设为0.6等某种程度小的值。
系数α例如在产品出厂时或执行进行上述显示设备控制处理的应用软件时通过进行试拍来决定。
这里，对上述像素数Wp、Hp分别乘以系数α而得到的像素数(α·Wp，α·Hp)成为被检测为标识的下限尺寸(标识检测所需的最低限度的尺寸)。
此外，将像素组判断为标识的基准也可以代替上述下限值Pm而设为：像素组的横向(X轴方向)及纵向(Y轴方向)的像素数分别为设定值(α·Wp，α·Hp)以上。由此，像本例那样，标识的形状为四边形的情况下，能够减少标识的误检测。
在步骤S35中，对于步骤S34中判断为标识的像素组，将有关该像素组的标识信息写入标识信息保持部133，这里写入的信息为该像素组的检测位置、检测尺寸。另外，将检测标志设为“检测”。通过本步骤的处理，例如，图6的内容即标识信息保持部133的内容更新为图9所示的内容。
(4)标识尺寸调整处理
图6是表示步骤S4的标识尺寸调整处理的流程图。基于该图对标识尺寸调整处理进行说明。
在步骤S41中，显示标识控制部132从标识信息保持部133取出标识检测部131检测到的各显示设备的标识信息、即检测标志的值为检测状态的标识信息。在本例中，只取出与电视2相关的标识信息。
在步骤S42中，显示标识控制部132基于步骤S41中取得的标识信息，进行在标识检测部131能够检测的范围内能够缩小标识的显示尺寸的计算。这里，缩小时的标识的显示尺寸(Wm，Hm)通过(式3)所示的数学式计算。能够检测出标识的的横向的像素数的设定值由Wp表示、纵向的像素数的设定值由Hp表示、该标识信息的检测尺寸由(Wd，Hd)表示，该标识信息的指示尺寸由(Ws，Hs)表示。
[式3]
W m = W P W d &CenterDot; W S
H m = H P H d &CenterDot; H S
在本例中，若设定值Wp＝5、设定值Hp＝5，则检测尺寸Wd＝33、Wd＝30、指示尺寸Ws＝150、Ws＝150，因此缩小尺寸为Wm＝22.72、Hm＝25。这里，小数点以下四舍五入，标识检测部131计算出缩小尺寸(Wm，Hm)＝(23，25)，作为在能够检测的范围内缩小标识的显示尺寸。该标识信息的指示尺寸更新为该计算出的尺寸(23，25)(图10)。
在步骤S43中，将缩小后的指示尺寸写入标识信息保持部133，并且进行对电视2的标识显示指示。标识显示指示部134向步骤S42中进行了指示尺寸更新的电视2发送标识显示指示信息。在本例中，该标识显示指示信息是：颜色为“红”，指示尺寸为(23，25)。通过该标识指示信息的发送，实施上述步骤S16及S17，电视2对于标识的显示尺寸，将横向的像素数变更为23，将纵向的像素数变更为25。
结果，能够将如图2所示在电视2中显示得大的标识271a，如图12所示缩小后显示在电视2上。因此，能够降低电视2本来的显示内容的难以观看性。
这里，在小型信息终端1和电视2的位置关系没有变化的情况下，对标识271a的显示尺寸而言，由于通过上述数学式3计算出指示尺寸，因此在下次的标识检测处理中，拍摄图像信息中的标识的尺寸为(Wp，Hp)。该检测尺寸而言，由于构成标识的像素组的像素数为上述下限值Pm以上，所以被检测为标识。此外，如上所述，下限值Pm为系数α×Wp×Hp(0＜α≤1)。像这样决定下限值Pm，并且将指示尺寸决定为拍摄图像中的标识的尺寸成为(Wp，Hp)，由此，该指示尺寸成为几乎能够可靠地检测标识的值。因此，能够在能够进行标识检测的范围内尽可能地缩小标识的指示尺寸。
另外，系数α基于摄像机部11的性能来决定，而设定值Wp、Hp不取决于摄像机部11的性能。也就是说，通过根据设定值Wp、Hp计算出使标识缩小的指示尺寸，能够不考虑摄像机部11的像素性能而计算出指示尺寸。
(5)总结
如上所述，根据本实施方式1，能够将如图2所示在电视2中显示得大的标识271a，变更为如图12所示由小型信息终端1能够识别的尽可能小的尺寸的标识271a。
由此，能够减轻电视2等显示设备本来的显示内容因标识而局部不能呈现、从而难以观看显示内容的情况。另外，将在电视等显示设备上显示的标识的尺寸减小到能够检测的程度，标识检测也较容易。而且，在进行标识检测处理之前的状态下，先将标识的显示尺寸设为比较大，由此，不易受到拍摄距离的影响，能够容易地检测标识。即，能够确保标识检测的容易性，并且降低显示设备本来的显示内容的难以观看性。
<标识的形状、其他>
在本实施方式中，标识的形状不限于四边形，例如也可以是三角形、圆、L字形状(钩型)、带状等。尤其，在标识形状为直角三角形或L字形状的情况下，将直角的角配置在显示设备的显示画面的角部，能够有效地利用显示画面。
另外，在标识初始化处理(S1)中基于向电视2等发送的标识显示指示信息而显示的标识在标识检测处理后减小，因此也可以将显示面积设为非常大。例如也可以在显示设备的整个显示画面(也可以称为显示区域)上显示、或设为沿显示画面的外周的框形状。该情况下，初期的标识检测变得容易。
而且，不需要1个标识由1种颜色构成，也可以组合多种颜色来构成标识。例如，可以将1个标识分割成两个或三个以上，对1个标识分配两种以上的颜色。在像这样1个标识由多种颜色构成的情况下，若相邻的像素组是规定颜色的组合，则是标识的概率高，标识检测的精度提高。而且，也可以使1个标识构成为由第2颜色的部分包围第1颜色的部分。该情况下，标识检测的精度也提高。另外，电视2等的内容和第1颜色的部分被第2颜色的部分划分，因此在拍摄图像中，精度良好地再现第1颜色的部分的轮廓，在进行模式匹配的情况下优选。
而且，如图31所示，标识也可以是在框内显示记号的结构。该框内的图形是标识的图案的一例。
另外，标识的个数不限于1个，也能够显示多个标识。例如，也可以在位于显示设备的显示画面的对角处的2个角显示标识。
[变形例1]
在上述实施方式中，标识的颜色被指定成预先设定的颜色。
相对于此，作为各显示设备显示的标识的颜色，可以采用先选择当前的拍摄图像信息中不包含的颜色即不使用的颜色这样的顺序。
<不使用颜色检索处理>
图13表示对拍摄图像信息中的不使用颜色进行检索的不使用颜色检索处理的流程图。
该不使用颜色检索处理对如下拍摄图像信息执行，即：不使电视2等显示标识而拍摄电视2等得到的拍摄图像信息、或标识检测处理中标识的检测数比标识的显示数多的拍摄图像信息等。
首先，步骤S1001中将变量i设定为1。另外，设U(i)＝0。
在步骤S1002～S1007中，对于颜色号为1～N(N例如为8)的基准颜色，检查像素数为阈值Pn以上的像素组的有无等。此外，阈值Pn设为下限值Pm以下的值。
这里，在S1002中，进行与标识检测中的像素组的检测处理(S33)相同的处理。
在S1003～S1005中，进行以下的处理。首先，对于颜色号(i)的基准颜色(i)，在不存在像素组的情况下，或像素组的像素数小于阈值Pn的情况下，该基准颜色(i)未被使用。因此，在S1004中，变量U(i)设为“0”。另一方面，在像素组的像素数为阈值Pn以上的情况下，该基准颜色(i)被使用，将变量U(i)的值设为所检测出的像素组的数量。
若对于N个基准颜色检索出使用的有无，则在S1008中，将不使用颜色分配给标识。这里，从变量U(i)＝0的基准颜色(i)中选择不使用颜色。
在S1009中，更新标识信息，对于各显示设备将上述不使用颜色设定成标识的颜色。
在更新标识信息后，在步骤S1或S3(图3)中，若从小型信息终端1向电视2等发送标识显示指示信息，则在电视2等上显示被分配的颜色的标识(图4：步骤S15～S17)。结果，能够容易地检测标识。
如上所述，例如，如果拍摄电视2并进行不使用颜色检索处理，则将拍摄图像信息中未被使用的颜色的标识显示在电视2，能够容易地进行标识的检测。
此外，在步骤S1002、S1003中，也可以只判断是否存在与各基准颜色相同的颜色的像素。而且，如果将拍摄图像信息中没有相同颜色像素的基准颜色分配给电视2等，则能够使标识的检测精度进一步提高。这样，如果用拍摄图像信息中不包含的颜色来显示各显示设备的标识，则由于该颜色在该标识以外不存在，因此也可以省略步骤S34。
另外，在步骤S1002～S1007中，不需要对全部的基准颜色检查是否不使用。例如，只要检测出与登记的显示设备相同数量的不使用颜色即可。另外，在发生了标识的误检测的情况下，不需要检查误检测的标识的颜色。
<标识误检测时的不使用颜色检索处理的执行例>
这里，说明在标识检测处理中标识的检测数比标识的显示数多的情况下如何进行标识检测处理(S3)。此外，将实施方式1的标识检测处理记作“标识检测处理1”，将本变形例的标识检测处理记作“标识检测处理2”，来加以区别。
图14表示标识检测处理2的流程图。在该图中，步骤S31～S35的处理与标识检测处理1相同，因此省略说明。
在步骤S36中，判断被看作标识的像素组(像素数为Pm以上)的个数、即标识的检测数是否比标识的显示数(在实施方式1中是1个)多。假设标识的显示数由小型信息终端1指示，并存储在小型信息终端1中。
标识的检测数比标识的显示数多的情况是因为将与标识不同的图像误检测为了标识。因此，在步骤S37中进行上述的不使用颜色检索处理，变更对各显示设备的标识的颜色分配。
此外，不使用颜色检索处理也能够在标识初始化处理(图3的S1)之前进行。该情况下，例如，能够根据用户操作在没有显示标识的状态下拍摄电视2等，并对通过该拍摄而得到的拍摄图像信息进行不使用颜色检索处理。而且，在不使用颜色检索处理中分配给各显示设备的颜色，在标识初始化处理(S1)中被设定到标识信息保持部133，并通过标识显示指示信息发送到电视2等。
而且，在上述不使用颜色检索处理的S1002中，也可以进行对上述亮度差合计值C(i)为阈值以下的像素或像素组进行检测的处理等。该情况下，在标识检测处理中，优选对亮度差合计值C(i)为阈值以下的像素组进行检测。
这里，在发生了标识的误检测的情况下，也可以不进行不使用颜色检索处理，而仅仅变更标识的颜色。该情况下，直到不发生标识的误检测为止接着变更标识的颜色，由此最终将不使用颜色分配给标识。
[变形例2]
在上述实施方式1中，能够进行以下处理。
在标识检测处理的S34中，能够对S33中检测出的像素组进行模式匹配，判断是否是标识。模式匹配是对标识形状数据和像素组的形状的特征量进行比较，该特征量的差为设定值以下的情况下，判断为是标识。因此，与标识形状不近似的形状的像素组即使颜色与标识相同，也判断为不是标识。
通过进行上述模式匹配，能够提高标识检测的精度。
[变形例3]
在上述实施方式中，标识检测处理中计算了亮度差合计值C(i)。也可以代替该亮度差合计值C(i)的计算，而根据是否满足各基准颜色的亮度条件，来判别各像素的颜色是否与基准颜色相同。
例如，在基准颜色是“红”的情况下，对RGB分别设定亮度阈值Br(2)、Bg(2)、Bb(2)。而且，检测红的亮度值Pr(x，y)为Br(2)以上、绿的亮度值Pg(x，y)为Bg(2)以下、蓝的亮度值Pb(x，y)为Bb(2)以下的像素，由此能够提取颜色与标识相同的像素。此外，各亮度阈值能够设为例如Br(2)为200，Bg(2)及Bb(2)为30。在图11的例子中，对于基准亮度值为255的颜色成分，亮度阈值作为下限使用，对于基准亮度值为0的颜色成分，亮度阈值作为上限使用。
根据本变形例，不需要取得所有像素的颜色名称，只要提取颜色与标识相同的像素即可，能够简化标识检测处理。
(实施方式2)
本实施方式中，例如，在小型信息终端和电视等的距离变远、检测出的标识不再被检测出的状况下，使标识的显示尺寸增大并谋求再检测。
图15是表示本发明的实施方式2中的作为装入了标识显示控制装置的操作设备的小型信息终端500、及成为该操作设备的操作对象的作为显示设备的电视2(PC3也具有相同的结构)的结构的框图。在图15中，对于与所述实施方式1相同的构成要素使用与图1相同的符号，并省略或简化说明。此外，还存在附加了与图1相同的符号的构成要素具有图1的构成要素不具有的功能的情况。
图15中的标识显示控制装置513除了在实施方式1中说明的图1的标识显示控制装置13相同的结构以外，还具有不可检测标识控制部135。
不可检测标识是指在上次(或几次前)的标识检测处理中检测出、且在此次标识检测处理中未能检测出的标识。
不可检测标识控制部135对于不可检测标识，为实现再次的标识检测而实施将标识的显示尺寸增大的处理。
这里，图16表示图17所示的状态下的标识信息保持部133的设定内容。为了判别不可检测标识，向标识信息保持部133中存储的标识信息追加了“上次检测位置”这样的项目。由此，能够将设定有上次检测位置的值且未被设定检测位置的值的(或者，检测标志为未检测)标识判断为不可检测标识。
图17是表示本发明的实施方式2中的操作设备(小型信息终端500)及显示设备(电视2、PC3)的外观结构和配置的图。该图17表示在图12的配置中小型信息终端500远离电视2的状态。因此，小型信息终端500上的与标识271b相当的部分即标识拍摄图像121b成为将上述的像素组判断为标识时所需要的像素数的下限值Pm以下。也就是说，在步骤S34的处理中，在图2的状态下，标识拍摄图像121a被检测为标识，但在图17的状态下，标识拍摄图像121b不被判别为标识。
关于在该图17所示的状态下小型信息终端500所进行的处理的过程，使用图18及图19所示的流程图进行说明。此外，关于与图3中已经说明的步骤相同的步骤，附加相同的符号，并省略说明。
图18是表示标识尺寸调整处理2的流程的图。此外，标识尺寸调整处理2是将所述实施方式1的标识尺寸调整处理(S4)与步骤S44的不可检测标识显示方式变更处理(以下记作不可检测标识处理)一起进行的处理。此外，步骤S41、S42实施与所述实施方式1相同的处理。另外，在没有检测出标识的情况下，在步骤S41、S42中，实质上不进行处理。
在图16中，在此次的标识检测处理(S3)中，由于未能进行电视2的标识的检测，所以检测标志为未检测，检测位置及检测尺寸为“未设定”。另外，在上次的标识检测处理中，由于进行了标识的检测，所以设为设定了上次检测位置的状态。
在步骤S44的不可检测标识处理中，不可检测标识控制部135按照图19所示的过程，当存在不可检测标识的情况下，为了能够检测不可检测标识，进行将标识的显示尺寸增大的处理。
在步骤S441中，确定不可检测标识。不可检测标识的条件有2个。条件1是标识信息保持部133保持的标识信息中的检测位置为“未设定”。这是为了表示在此次的标识检测处理中没有检测出与该标识信息有关的标识。此外，条件1也可以是检测标志为未检测。条件2是该标识信息中的上次检测位置不是“未设定”。这是为了表示在上次的标识检测处理中，在该检测位置上检测出了有关该标识信息的标识。在本例中，如上述图16的说明，电视2的标识被确定为不可检测标识。
另外，在所述步骤S441中未能确定不可检测标识的情况下，不实施S443的处理(步骤S442)。
在步骤S443中，将确定为不可检测标识的标识的指示尺寸变更为比当前的尺寸大的值(Wb，Hb)。具体地，计算对该标识信息的指示尺寸乘以常数B而得到的尺寸，并将标识信息保持部133的指示尺寸更新为该计算值。在本例中，若B＝2，则Wb＝23×2＝46、Hb＝25×2＝50，指示尺寸更新为(46，50)。
最后在步骤S444中，将各标识信息的检测位置的值设定到上次检测位置。由此，作为上次检测位置的设定值，在下次的不可检测标识处理中设定通过上次(即此次)的标识检测处理检测到的检测位置。
此外，在“检测位置”的值是未设定的情况下，设“上次检测位置”的值不变。也就是说，“检测位置”的值是未设定且在上次检测位置上设定有某种坐标的情况下，保持该坐标。
通过本处理而指示尺寸增大后，该指示尺寸作为标识显示指示信息被发送到电视2(S43)。结果，电视2显示的标识的显示尺寸增大(S15～S17)，此后的标识检测(S3)变得容易。
通过本步骤S44的导入，标识的尺寸依次更新为大的值，直到不可检测标识变得能够检测。而且，在该标识变得能够检测之后，按照实施方式1中说明的过程，调整到能够检测且最小的尺寸。
如上所述，根据本实施方式2，即使因小型信息终端500和电视2的距离变远等而小型信息终端500不能检测标识271b，也能够通过标识显示控制装置513将电视2等的显示设备显示的标识的显示尺寸增大、谋求标识的检测。
即，通过将标识的显示尺寸减小，降低显示内容的难以观看性，另一方面，因拍摄距离的增加等而不能检测出标识的情况下的标识的检测变得容易。
此外，有时由用户改变小型信息终端500的摄像机部11的朝向，显示设备位于拍摄范围外。能够进行以下的处理，以备这样的状况。
在步骤S443中，关于不可检测标识，对进行了指示尺寸的增加指示的次数进行计数，S444之后，在进行了设定次数的增加指示也没检测出标识的情况下，例如判断为拍摄范围中不包括电视2等，能够设置使不可检测标识处理结束的步骤。另外，对不可检测标识的指示尺寸超过上限设定值的情况下，也可以设置使不可检测标识处理结束的步骤。此外，也可以在S444之后设置进行上述处理的步骤。
在使不可检测标识显示方式变更处理结束的情况下，不可检测标识的“上次检测位置”设为未设定，没有确定出不可检测标识。另外，对于显示着不可检测标识的显示设备，进行使标识的显示结束的指示、或者减小指示尺寸的指示。此外，在进行减小指示尺寸的指示的情况下，例如，能够将不可检测标识被确定之前的指示尺寸存储在标识信息保持部133，并使用该指示尺寸。
在本实施方式中，标识显示方式变更部530包括显示标识控制部132、标识信息保持部133、标识显示指示部134和不可检测标识控制部135。
[变形例]
此外，在上述实施方式2中，还能够进行如下控制：一旦检测出标识之后，阶段性地将显示尺寸减小的同时进行标识检测处理，在标识不被检测出的情况下，将标识的显示尺寸调节成能够检测的尺寸。
具体地，能够如以下这样变更上述实施方式。
这里，为了预先存储标识的能够检测的尺寸，因此向标识信息保持部133中存储的标识信息追加“上次指示尺寸”这样的项目。由此，因将标识的指示尺寸减小而标识不被检测出的情况下，能够使指示尺寸回到上次指示尺寸的值。
而且，在S42中，将标识的指示尺寸每次减小例如10％左右。在本例中，将指示尺寸从(150，150)减小到(135，135)。另外，在变更指示尺寸之前，将原来的指示尺寸例如(150，150)复制到上次指示尺寸。将这样的处理反复进行直到标识不能被检测出，若确定不可检测标识，则在S443中，指示尺寸成为上次指示尺寸的值。结果，能够将标识的显示尺寸设为能够检测且尽可能小的尺寸。此外，在指示尺寸成为上次指示尺寸的值之后，不进行将标识的指示尺寸减小的处理。
另外，关于不可检测标识，也能够使指示尺寸的增加量减小(例如，1.1倍等)。该情况下，能够防止标识过度增大，并能够抑制显示设备本来的显示内容变得难以观看。
此外，在上述实施方式2中，也可以在各显示设备上显示多个标识。另外，存在多个不可检测标识的情况下，在S44中，增加各不可检测标识的指示尺寸。
[实施方式3]
在本实施方式中，在因标识被障碍物遮蔽等、标识的显示位置不适当而不能拍摄标识的情况下，通过改变标识的显示位置、也就是说移动标识，来实现标识的再检测。
另外，在本实施方式中，通过指定小型信息终端600的显示部12上(详细地讲，显示部12的显示画面或显示区域)的坐标，能够对在显示部12上显示的电视2等的操作菜单进行远程操作。
图20是表示本发明的实施方式3中的装入标识显示控制装置的作为操作设备的小型信息终端600及成为小型信息终端600的操作对象的作为显示设备的电视2、PC3的结构的图。在图20中，关于与图1、图15相同的构成要素使用相同的符号，并省略或简化说明。此外，附加了与图1等相同的符号的构成要素有时也具有图1等的构成要素所不具备的功能。
图20中的标识显示控制装置613除了在实施方式2中说明的图15的标识显示控制装置513的结构以外，还具有标识遮蔽等判断部136及显示设备信息生成部137。另外，标识显示方式变更部630除了图15的标识显示方式变更部530的结构以外，还具有标识遮蔽等判断部136。
<关于远程操作方法>
(1)概要
首先，对本实施方式中的远程操作方法进行说明。
图21是表示显示了4个标识271d～274d及操作菜单28的状态的电视2和拍摄该电视2的小型信息终端600的图。
电视2(及PC3)具有对进行画质设定等的操作菜单28进行显示的功能。在图的例子中，操作菜单28中包含3个操作内容显示图像28a、28b、28c。通常，通过电视专用的遥控操作，选择操作内容显示图像28a、28b、28c中的某一个，来进行画质设定操作。
该操作菜单28利用与标识所使用的颜色不同的颜色(例如，中间颜色)形成。由此，标识的检测变得容易。此外，也能够将各显示设备中用于操作菜单28的颜色作为标识信息而保持在标识信息保持部133中，并将其以外的颜色作为标识的颜色。
小型信息终端600的操作输入部10具有覆盖显示部12的液晶面板的触摸板。因此，通过由用户触摸触摸板，能够输入显示部12上的任意的坐标Qa(Xa，Ya)。也就是说，能够指定显示部12上的坐标Qa(Xa，Ya)。
(2)点(point)信息Qb的生成
显示设备信息生成部137具有坐标变换功能，即：在所述步骤S5中，将拍摄图像信息中的显示设备上的坐标位置Qa(Xa，Ya)(以下，有时称为拍摄图像坐标位置Qa)，变换为实际的显示设备的显示区域中的坐标位置Qb(Xb，Yb)(以下，有时称为显示区域坐标位置Qb)。
这里，通过拍摄图像坐标位置Qa的坐标变换，将生成显示区域坐标位置Qb的情况表现为“点信息Qb(Xb，Yb)的生成”。点信息Qb(Xb，Yb)是表示拍摄图像信息中的坐标Qa(Xa，Ya)与该拍摄图像所表现的显示设备的显示区域的哪个部分对应的坐标信息。
关于本点信息Qb(Xb，Yb)的生成，使用图21详细说明。图21的显示部12将拍摄图像原样进行显示。另外，本显示部12如上述那样在液晶面板上搭载所谓的触摸板，兼用作操作输入部10。即，用户能够通过触摸操作来指定拍摄图像上的一点Qa(Xa，Ya)。
此时，电视2的点信息Qb(Xb，Yb)通过(式4)例示的数学式来计算。在该数学式中，拍摄图像中的电视2的显示区域的横向的像素数由Wa表示，纵向的像素数由Ha表示。另一方面，实际的电视2的显示区域的横向的像素数由Wb表示，纵向的像素数由Hb表示。此外，该像素数Wb、Hb是电视2的分辨率，保持在标识信息保持部133中。
[式4]
Wa＝X4-X1
Ha＝Y4-Y1
X b = W b W a &CenterDot; ( X a - X 1 )
Y b = H b H a &CenterDot; ( Y a - Y 1 )
在上述数式中，拍摄图像信息中的X坐标X1、X4及Y坐标Y1、Y4分别为拍摄图像信息中的标识121d及124d的坐标M1(X1，Y1)、M4(X4，Y4)的值。
这里，在所检测出的标识由多个像素构成的情况下，应将哪个像素的坐标采用为Mi(Xi，Yi)成为问题。关于该问题，由于依赖于标识的形状及标识的显示位置，所以难以通过一般化的数学式来表现。但是，在本例中，标识是正方形，显示位置为显示设备的显示区域的四角，因此能够如下决定Mi(Xi，Yi)。
(i)M1(X1，Y1)为构成标识121d的像素组中的最左上的像素的坐标。
(ii)M2(X2，Y2)为构成标识122d的像素组中的最左下的像素的坐标。
(iii)M3(X3，Y3)为构成标识123d的像素组中的最右上的像素的坐标。
(iv)M4(X4，Y4)为构成标识124d的像素组中的最右下的像素的坐标。
这样，通过标识检测处理检测拍摄图像信息中的4个标识121d至124d的坐标M1(X1，Y1)至M4(X4，Y4)的值，由此能够生成点信息Qb。
此外，在上述数学式4的例子中，基于坐标M1(X1，Y1)及M4(X4，Y4)这2个坐标来生成了点信息Qb，但也可以基于4个坐标M1(X1，Y1)至M4(X4，Y4)来生成点信息Qb。基于2个坐标M1及M4来生成点信息Qb更简便，但基于4个坐标M1至M4来生成点信息Qb能够提高坐标变换的精度。
而且，在使标识的显示位置移动的情况下，除了上述标识的检测位置等以外还考虑标识移动量来计算上述坐标Mi，详细情况后述。
此外，也可以基于标识的检测位置及检测尺寸计算上述坐标M1至M4。
(3)点信息Qb的发送、操作执行
在图21的例子中，在小型信息终端600中，由用户对进行画质调整的操作菜单28的“色调”调整进行指示的坐标Qa已被指定。该指定坐标Qa由显示设备信息生成部137进行坐标变换，而生成点信息Qb。生成的点信息Qb(Xb，Yb)在上述的步骤S5中作为操作信息发送到电视2等。接收到该操作信息的电视2等在操作输入部25中将点信息Qb作为对电视2的显示画面中的坐标Qb进行指定的操作来受理。结果，视为选择了操作菜单28的“色调”调整(操作内容显示图像28c)，显示进行色调调整的子菜单。通过继续这样的操作，实施进行色调调整的远程操作。
(4)如上所述的远程操作会需要几秒～几十秒左右的时间，但在该期间减小标识的显示尺寸，降低作为显示装置本来的显示内容的操作菜单的难以观看性。
在本实施方式中，显示设备信息生成部137中的、进行将拍摄图像坐标位置Qa坐标变换为显示区域坐标位置Qb的处理的部分(生成点信息Qb的部分)构成“坐标变换部”。
<不可检测标识的移动处理>
以下，说明在不可检测标识的显示位置不适当的情况下、使不可检测标识移动的处理。
在说明上述不可检测标识的移动处理时，假定以下的状况。
图22表示例如用户以外的人将遮蔽物4置于电视2前方的状况。因此，电视2所显示的标识271c至274c中的标识274c处于因遮蔽物4而无法拍摄的状态。由于该被遮蔽的标识274c在放置遮蔽物4之前的时刻被检测出，所以判断为不可检测标识。因此，如所述实施方式2中说明的那样，标识274c的显示尺寸被增大。但是，即使将标识274c的显示尺寸增大，仍然因遮蔽物4的存在，而检测不出标识274c。是这样的状况。
此外，不限于在电视2附近放置遮蔽物4，还有在用户的手边放置的杯子等成为遮蔽物而妨碍标识274c等的拍摄的情况。
(1)标识移动处理的概要
标识遮蔽等判断部136对于在实施方式2中详细说明的不可检测标识，判断该不可检测标识成为不可检测的理由。也就是说，进行如下判断：该不可检测标识是否因某种遮蔽物而变得不能拍摄标识、或因该标识位于拍摄范围外等(以下记作“遮蔽等状态”)而引起。
这里，用于判断为该不可检测标识因遮蔽等状态而成为不可检测的条件有以下的两点。
条件1是：即使将实施方式2中说明的显示尺寸的变更实施设定次数(E次)，也不能检测出标识。为了实施该条件的判断，对实施了标识的检测但未能检测出的次数进行保持的不可检测计数导入到标识信息保持部133中(图23)。
条件2是：检测出了显示在与该不可检测标识相同的显示设备上的其他标识。这里，显示在与该不可检测标识相同的显示设备上的其他标识是指，在与该不可检测标识对应的显示设备中显示了多个标识的情况下，多个标识中的不可检测标识以外的全部的标识。
此外，在没有检测出其他标识的情况下，或者不存在其他标识的情况(某显示设备显示的全部标识是不可检测标识的情况)下，认为显示设备整体在摄像机部11的拍摄范围外，因此判断为不是遮蔽等状态。
在图22中，标识274c是不可检测标识，与不可检测标识274c对应的显示设备是电视2。而且，除了不可检测标识274c以外，与电视2对应的标识271c至标识273c是“其他标识”。
此外，显示设备显示的标识的个数是1个的情况下，例如能够仅根据上述条件1来判断遮蔽等状态。另外，例如，在该情况下，也可以构成为，通过动态地增加该显示设备显示的标识的数量，变更为能够进行基于条件2的判断的状态。
在不可检测标识控制部135中，在实施方式2中说明的功能的基础上，还追加了如下功能：在标识遮蔽等判断部136判断为不可检测标识处于被遮蔽等的遮蔽等状态的情况下，对该不可检测标识的显示位置进行变更。
图23表示标识信息保持部133保持的标识信息。
标识信息保持部133在具有实施方式1、2中说明的项目的基础上，还具有对存储标识显示指示位置的显示指示位置、不可检测计数、遮蔽标志、移动计数及存储标识的移动量的标识移动量进行保持的存储区域(图23)。显示指示位置(Xr，Yr)表示以使标识的左上角位于电视2等的显示区域的坐标(Xr，Yr)的方式显示标识。
不可检测计数用于后述的遮蔽等状态的检测。遮蔽标志是表示是否是遮蔽等状态的标志。移动计数在使不可检测标识(遮蔽等状态标识)移动的处理中使用。
标识移动量(Xm，Ym)表示根据显示指示位置、在沿X轴方向移动Xm像素且沿Y轴方向移动Ym像素的位置上显示标识。此外，电视2等的显示区域的坐标是以左上为原点(0，0)，X坐标朝向右侧增加，Y坐标朝向下侧增加。
(2)不可检测标识处理2
以下，使用图24、图25及图26所示的流程图说明图22的结构的小型信息终端1的处理过程。
图22的电视2根据来自小型信息终端1的标识显示指示(基于图23记载的标识信息)，在画面的四个角显示标识271c至标识274c。然而，标识274c被遮蔽物4遮蔽。因此，小型信息终端1所生成的拍摄图像信息中，不出现与标识274c相当的部分(在将该拍摄图像原样显示的显示部12中也没有出现)。因此，在该状态下不能通过检测上述的四个角的标识来进行点信息Qb的计算。此外，通过检测2个标识272c、273c，能够计算出点信息Qb，但为便于说明，尝试标识274c的再检测。
在该状态下，小型信息终端600上搭载的标识显示控制装置通过以下的处理过程，判断标识274c被遮蔽的情况，调节标识274c的显示位置。此外，图24所示的不可检测标识显示方式变更处理2(记作不可检测标识处理2)是在先前示出的图19的不可检测标识处理的流程图中追加处理而成的。另外，在本事例中，设为对小型信息终端600设定了图23所示的标识状态保持部133的内容的状态。
图24是不可检测标识显示方式变更处理2(以下记作不可检测标识处理2)的流程图。
步骤S441至S443如实施方式2中的说明。
而且，在步骤S442中，判断为有不可检测标识的情况下，进行检测是否是标识被遮蔽的状态等(以下称为遮蔽等状态)的处理(S445)。具体地，不可检测标识控制部135要求标识遮蔽等判断部136判断标识274c是否因遮蔽等状态而不可检测。标识遮蔽等判断部136按照图25的流程图所示的处理实施本判断(S445的处理)。
通过步骤S446的判断，在不是遮蔽等状态的情况下，实施使指示尺寸增加的处理(S443)。另一方面，在判断为是遮蔽等状态的情况下，实施使遮蔽等状态的标识移动的处理(S447)。
在步骤S442中，在没有不可检测标识的情况下，在步骤S448中，遮蔽标志、不可检测计数等重置为OFF(非遮蔽)或“0”。
(3)标识遮蔽等状态判断处理
这里，对图25所示的标识遮蔽等状态判断处理(S445)进行说明。
在步骤S4451中，从标识信息保持部133取得与该不可检测标识有关的标识信息，并确认遮蔽标志的设定值。在本遮蔽标志的值为“遮蔽(ON)”的情况下，不实施以下的遮蔽等判断的处理，结束标识遮蔽等状态判断处理。在本事例中，由于在与标识274c有关的标识信息的遮蔽标志中没有设定“遮蔽”(遮蔽标志为OFF)，因此进入下一步骤S4452。
在步骤S4452中，判断是否检测出了与该不可检测标识相同的显示设备对应的“其他标识”。这是因为，在没有检测出的情况下，认为与该不可检测标识有关的显示设备整体在拍摄图像输入部11的拍摄区域范围外，不需要进行遮蔽等状态的判断。在本事例中，如图23所示，显示标识274c的电视2的“其他标识”即标识271c至273c的检测标志为“检测(ON)”。因此，电视2的“其他标识”已被检测出，所以满足上述条件2，进入下一步骤S4453。
在步骤S4453中，增加与该不可检测标识有关的标识信息的不可检测计数的值。在本事例中，由于与标识274c有关的标识信息的不可检测计数的值为“3”，所以将其更新为增加后的值即“4”。
在步骤S4454中，判断与该不可检测标识有关的标识信息的不可检测计数是否是预定的设定值E以上。这里，在该值小于设定值E的情况下，视为通过实施方式2所示的、标识的显示尺寸放大，有可能检测出标识，而结束本遮蔽等判断。在本事例中，若将该设定值E的值设为4，则与标识274c有关的标识信息的不可检测计数的值为“4”，满足上述条件。因此，满足所述条件1，进入下一步骤S4455。
在步骤S4455中，将与该不可检测标识有关的标识信息的遮蔽标志的值更新为“遮蔽(ON)”。在本事例中，将与标识274c有关的标识信息的遮蔽标志的值更新为“遮蔽”，结束标识是否处于遮蔽等状态的判断处理。
这里，说明在步骤S4453中不可检测计数的值为“2以下”的情况下的处理的流程。不可检测计数的初始值为“0”。因此，确定不可检测标识之后(S441，S442)、本遮蔽等状态判断处理(S445)的执行次数为第三次为止，在上述S4453中不可检测计数的值为“3以下”。结果，遮蔽标志不设置成ON而结束标识遮蔽等状态判断处理。
结果，在不可检测标识处理2(图24)中，进行步骤S443的指示尺寸增加处理，而使不可检测标识的指示尺寸增大。而且，接收到标识显示指示信息的电视2使不可检测标识274c的显示尺寸增大。但是，因遮蔽物4的存在，不可检测标识274c不被拍摄而不被检测出，因此在S441、S442中再次被确定为不可检测标识。
反复进行这样的处理，若不可检测计数成为上述设定值E以上，则满足所述条件1，判断为处于遮蔽等状态。另一方面，在不可检测标识作为标识被检测出的情况下，由于不存在不可检测标识，所以S442的判断成为否，在S448中，不可检测计数重置为0。
(4)标识移动处理
返回图24，在图25的步骤S4455中遮蔽标志设为遮蔽(ON)的情况下，执行S447的处理。
在步骤S446中，不可检测标识控制部135使在上述判断处理中判断为因遮蔽等状态而不可检测(即遮蔽标志的值为“遮蔽”)的标识(以下称为遮蔽等状态标识)向适当的位置移动，来消除由遮蔽等导致的不可检测状态。以下，关于遮蔽等状态标识的移动处理(S447)，使用图26所示的流程图进行说明。
在步骤S4471中，取得显示在与遮蔽等状态的不可检测标识相同的显示设备上的其他标识的标识信息。在本事例中，作为遮蔽等状态标识的标识274c的显示设备是“电视2”，作为其他标识检测出了标识271c至标识273c。因此，在本步骤中，读出这些其他标识的标识信息。
在步骤S4472中，基于遮蔽等状态标识及他的标识的显示指示位置，上次检测位置等，确定显示设备的显示区域中的其他标识及不可检测标识的显示位置。这里显示位置不是如坐标那样的详细信息，而是例如显示设备的显示区域内的、显示不可检测标识的大致位置的信息。
像本事例那样，在显示设备的显示区域的四个角配置了标识的情况下，各标识的显示位置为“左上”、“左下”、“右上”、“右下”。并且，标识274c的显示位置是“右下”。
在步骤S4473中，基于先前的步骤中确定的显示位置、被遮蔽等的不可检测标识(以下称为遮蔽等状态标识)的显示指示位置和指示尺寸，计算标识移动量。
在步骤S4474中，将标识显示指示信息发送给电视2，在后面详细说明。
(5)移动量计算处理
图27表示标识移动量计算处理(S4473)的流程图。
在本标识移动量计算处理中，遮蔽等状态标识相对于当初的显示指示位置依次沿水平方向(X轴方向)、垂直方向(Y轴方向)、倾斜方向移动，谋求标识的再检测。此外，在上述第一次或第二次移动后检测出标识的情况下，不进行此后的移动。另一方面，通过上述3次移动也不能检测出标识的情况下，标识移动处理结束。
以下，具体说明。
首先，在步骤S44731中，移动计数的值为2以下的情况下，进入步骤S44732。移动计数对使遮蔽等状态标识移动了的次数进行计数。
在步骤S44732的判断中，根据移动计数的值，选择步骤S44733～S44734中的某一个处理。
步骤S44733是在移动计数为“0”的情况下执行，计算向X轴方向的移动量。此外，关于在X轴方向上朝向正、负中的哪一方向移动，基于不可检测标识的显示位置，来决定向显示区域的中央侧移动的方向。在本例中，不可检测标识的显示位置是“右下”，因此决定向左侧即负侧移动。
移动量被计算为：以使标识的中心在X轴方向上位于显示区域的中央。
在本例中，移动量为从电视2的X轴方向上的中央的坐标(512)减去标识的X轴方向上的中心的坐标(931)而得到的值(-419)。
此外，在执行步骤S44734、S44735的情况下，进行与S44733同样的处理，分别根据显示设备的中央的坐标(512，384)计算移动量，以使标识的中心在Y轴方向上、或在X轴方向及Y轴方向上位于显示区域的中央。
步骤S44736中增加移动计数的值，增加1。通过该移动计数的增加，在下次执行本标识移动处理时，通过S44732的判断，执行S44734的处理，使标识沿垂直方向移动。而且，在再下一次执行时，执行S44735的处理。此外，通过使标识沿X轴方向移动而能够检测之后，在S448中将遮蔽标志重置为非遮蔽(OFF)，由此，不执行本标识移动处理，标识不沿Y轴方向移动。
步骤S44737中，关于由遮蔽等导致的不可检测标识，设定标识信息保持部133的标识移动量(-419，0)。图28表示设定了标识移动量的状态的标识信息保持部133的内容。
此外，通过3次移动来谋求标识的检测也检测不出标识的情况下，移动计数的值成为3，步骤S44731的判断成为否。而且，步骤S44738中，结束标识移动处理。具体地，不可检测计数及移动计数的值成为“0”，遮蔽标志成为非遮蔽，上次检测位置成为未设定，指示尺寸与其他标识的指示尺寸相同。
通过该结束处理，标识274d不被确定为不可检测标识，不进行标识274d的再检测处理。此外，若通过使遮蔽物4移动而变得能够拍摄标识274d，则标识274d被检测出。
上述结束处理之后，既可以结束显示设备控制处理，也可以使用3个标识271d～273d继续进行显示设备控制处理。
在步骤S4474中，标识显示指示部134为了将包括所计算出的上述标识移动量及显示指示位置的标识显示指示信息发送给与该不可检测标识有关的设备，而发送给发送部15。从发送部15接收到本标识显示指示信息的电视2的接收部21将该信息输入到标识显示信息控制部22。受理了本输入的标识显示信息控制部22通过标识显示信息更新处理(步骤S16)，基于标识显示指示信息，更新“颜色”、“指示尺寸”、“显示指示位置”及“标识移动量”。另外，在标识的重叠处理(步骤S17)中，显示部27基于标识显示信息，在坐标(Xr+Xm，Yr+Ym)上以尺寸(Wr，Hr)重叠显示由“颜色”指定的颜色的标识。在本例中，标识274c的显示位置为(420，567)，显示在避开遮蔽物4的位置(图29)。
也就是说，如图29所示，标识274d移动到显示区域的X轴方向的中央，脱离遮蔽等状态而变得能够拍摄。因此，在其后的检测处理中，小型信息终端600能够检测拍摄图像信息中的标识拍摄图像124d、即能够检测标识274d。
另外，在该状态下，通过对检测到的标识274d实施上述实施方式1所示的标识尺寸调整处理(S4)，能够将标识274d的显示尺寸调整到能够检测的程度的小的尺寸。
在本实施方式中，将包含“标识移动量”的标识显示指示信息发送给电视2，这相当于“进行将标识的显示位置变更的指示”。
此外，在上述标识显示时信息的发送中，也可以通过标识显示指示部134将不可检测标识的显示指示位置和标识移动量相加而计算出“移动后的显示指示位置”，并将该移动后的显示指示位置作为标识显示指示信息的一部分发送给电视2。
(6)关于点信息Qb的生成
在本实施方式中，如上所述，基于标识的坐标M1至M4生成点信息Qb。这里，移动后的标识274d的坐标M4为从实际的标识274d的坐标减去标识移动量而得到的值。即，通过下式，基于移动后的坐标Mi(Xi，Yi)和移动量(Xm，Ym)，在假定没有遮蔽物4的情况下，求出预测为移动前的标识被检测出的坐标Mgi(Xgi，Ygi)。
此外，(Wa，Ha)是拍摄图像中的电视2的显示区域的大小(像素数)。另外，(Wb，Hb)是实际的电视2的显示区域的大小(分辨率)(参照式4)。
[式5]
X gi = X i - W a W b &CenterDot; X m
Y gi = Y i - H a H b &CenterDot; Y m
通过计算出上述坐标Mgi，点信息Qb的生成变得容易。
在本实施方式中，显示设备信息生成部137中的、实施计算上述坐标Mgi(Xgi，Ygi)的处理的部分构成了“位置计算部”。
(7)总结
通过上述不可检测标识处理2，使遮蔽等状态的标识移动，能够谋求再检测。因此，通常情况下，通过在电视2的显示区域的四个角以小尺寸显示标识，能够降低电视2的难以观看性，并且使遮蔽等状态的标识移动而使标识检测变得容易。另外，检测出移动后的标识的情况下，在上述步骤S42中减小标识的指示尺寸，减小电视2中的标识的显示尺寸。
在本实施方式中，标识显示方式变更部630包括显示标识控制部132、标识信息保持部133、标识显示指示部134、不可检测标识控制部135和标识遮蔽等判断部136。
[变形例1]
在上述实施方式3中，也能够考虑摄像机部11的移动来进行不可检测标识处理2。也就是说，若由用户改变型信息终端600的朝向，则标识的检测位置变化。而且，关于其他标识，若对上次检测位置和此次检测位置进行比较，则能够计算出检测位置的变化量。
若基于上述检测位置的变化量和不可检测标识的上次检测位置，则能够计算出假定为不可检测标识这次被检测出的情况下的预测检测位置。若该预测检测位置在小型信息终端600的显示部12的范围外，则能够判断为处于不可检测标识位于拍摄范围外的拍摄范围外状态。该情况下，不进行使标识的指示尺寸增加的处理，也能够判断为是拍摄范围外状态。
在不可检测标识位于拍摄范围外的情况下，通过使不可检测标识的显示指示位置向拍摄范围内侧移动，能够谋求不可检测标识的再检测。
即，标识显示控制装置613在标识的显示位置不适当而不能拍摄的状态下，能够在一部分的标识被遮蔽的状态和一部分的标识位于拍摄范围外的状态中的至少一方的状态下使标识移动，来谋求再检测。
另外，在上述实施方式3中，存在不可检测标识的情况下，首先，判断是否是拍摄范围外状态，在不是拍摄范围外状态的情况下，能够判断是否是遮蔽等状态。
[变形例2]
在上述实施方式3中，预先设定遮蔽等状态的标识向显示区域的中央侧移动。相对于此，移动量能够随机地决定。
在步骤S4473中，基于先前的步骤中计算出的显示位置、被遮蔽的不可检测标识的显示指示位置和指示尺寸，计算标识移动量。在本标识移动量的计算中，定义下记标识移动方向和标识变动量。
标识移动方向是指，基于标识的“显示位置”而决定的值，表示标识向哪个方向移动。图30是表示为了决定本标识移动方向而使用的表的图，基于显示位置和随机数Rp(采用0～99)来决定标识移动方向。在本例中，标识274c的标识的显示位置为“右下”，因此根据随机数值Rp，选择“上”(Rp为0～32的情况)、“左”(Rp为33～65的情况)和“左上”(Rp为66～99的情况)中的某一个。此外，如图30的表所示，关于选择“左”、“左上”、和“上”中的某一个，既可以以等概率选择某一个，也可以进行加权而使某一个容易被选择。在本事例中，随机数值Rp为35，选择了“左”。
标识变动量表示使标识向上述标识移动方向移动多少。本值基于该被遮蔽等的不可检测标识的指示尺寸进行计算。具体地，将随机数Rv设为取比0.0大且为1.0以下的值的随机数值，通过(式6)计算标识变动量V。
[式6]
V = ( 1 + 2 R v ) W r &CenterDot; H r 2
在本事例中，设Rv＝0.5，计算出V＝192。
此外，随机数Rv由不可检测标识控制部135生成。
基于上述标识移动方向及标识变动量，通过(式7)计算标识移动量(Xm，Ym)。
[式7]
Xm＝V·Dx
Ym＝V·Dy
此外，本数式中的标识移动方向如图30所示，将横向的移动量表现为Dx，将纵向的移动量表现为Dy。在本例中，由于Dx＝-1、Dy＝0，所以标识移动量为(-192，0)。本状态下的标识信息保持部133的内容如图31所示。
通过使用随机数来决定标识的移动量，能够将标识的显示位置变更为各种位置。因此，即使在不清楚电视2等的显示区域的哪个部分能够拍摄的情况下，也有可能在反复移动标识的过程中检测出标识。
[其他]
(1)上述实施方式及变形例的说明只不过是本发明的例示，不限于该范围。另外，在不脱离本发明的范围内，当然能够进行各种改良和变形。
(2)图33是表示操作设备700及显示装置702(电视2、PC3)的结构的框图。小型信息终端700具有标识显示控制装置713。本发明的实施方式的标识显示控制装置713是通过通信单元5与显示装置702连接、并且进行使该显示装置702显示识别用的标识的控制的控制装置。另外，标识显示控制装置713具有：标识检测部131，从拍摄显示装置702的显示内容而得到的图像中检测所述识别用的标识；标识显示方式变更部730，基于标识检测的结果，对显示着标识的显示装置702进行将标识的显示方式变更的指示。
通过上述结构，能够发挥与实施方式1相同的作用效果。此外，操作设备700例如可以由小型信息终端构成。另外，显示装置702可以由电视、PC等显示设备构成。此外，在图33中，对与图1相同的构成要素附加了相同的符号。
(3)在所述实施方式及变形例中，也可以使电视2的标识显示信息控制部22具有指示显示部27显示标识的功能、或向显示部27发送标识的图像信息的功能。
(4)在所述实施方式1、2中，也可以与所述实施方式3同样地在显示设备中显示多个标识。另外，也可以对所述实施方式1、2的小型信息终端设置将拍摄图像信息中的显示设备上的坐标位置Qa(Xa，Ya)变换为实际的显示设备的显示区域中的坐标位置Qb(Xb，Yb)的坐标变换功能。
(5)在所述实施方式及变形例中，在标识检测处理中，检测出了拍摄图像信息所包含的标识的图像。也可以将该标识检测处理仅表现为对拍摄图像中所包含的标识的图像进行检测的处理。
(6)上述的各实施方式(或变形例)的标识显示控制装置典型地作为集成电路即LSI来实现。标识显示控制装置既可以设为单芯片，也可以通过多个芯片实现。另外，也可以是标识显示控制装置的一部分被芯片化。
这里，设为了LSI，但根据集成度的不同，有时也称为IC、系统LSI、特级(Super)LSI、超级(Ultra)LSI。另外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器实现。也可以利用LSI制造后能够编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或能够对LSI内部的电路单元的连接和设定进行重构的可重构处理器。而且，若通过半导体技术的进步或派生的其他技术而出现置换LSI的集成电路化的技术，则当然可以使用该技术进行功能块的集成化。例如，存在生物技术的适用等的可能性。
(7)也可以将在上述的各实施方式中说明的标识显示控制装置的动作过程中的至少一部分记载为标识显示控制程序，例如由CPU(CentralProcessing Unit)读出存储在存储器中的该程序并执行。另外，也可以将上述程序保存在记录介质(例如，非暂时记录介质)中进行分发等。
工业实用性
本发明的标识显示控制装置例如具有将识别用的标识调整到能够检测的尺寸的功能，用于对电视等的显示装置进行远程操作的遥控设备等。另外，在对便携电话、小型音乐播放器、便携信息终端等的信息终端赋予遥控功能，或使具有信息终端的遥控功能高功能化等的用途中也能够应用。
符号说明
1 小型信息终端
10 操作输入部
11 拍摄图像输入部(摄像机部)
111 拍摄图像
12 显示部
121 拍摄图像中的标识1
122 拍摄图像中的标识2
123 拍摄图像中的标识3
124 拍摄图像中的标识4
13 标识显示控制装置
130 标识显示方式变更部
131 标识检测部
132 显示标识控制部
133 标识信息保持部
134 标识显示指示部
135 不可检测标识控制部
136 标识遮蔽等判断部
137 显示设备信息生成部
14 设备操作控制部
15 发送部
2 电视(显示设备)
21 接收部
22 标识显示信息接收部
23 标识显示信息保持部
24 操作信息接收部
25 操作输入部
26 内容部
27 显示部
271 标识1
272 标识2
273 标识3
274 标识4
3 PC(显示设备)
4 遮蔽物
5 通信单元

Claims (15)

1.一种标识显示控制装置，通过通信单元与显示装置连接，进行使该显示装置显示识别用的标识的控制，其特征在于，具备：
标识检测部，从拍摄显示装置的显示内容而得到的图像中检测所述识别用的标识；以及
标识显示方式变更部，基于标识检测的结果，对显示了标识的显示装置进行将标识的显示方式变更的指示。
2.如权利要求1所述的标识显示控制装置，其中，
所述标识显示方式变更部对显示了由所述标识检测部检测出的标识的显示装置，进行将标识的显示面积减小的指示。
3.如权利要求2所述的标识显示控制装置，其中，
还具备反复拍摄标识的拍摄图像输入部，
所述标识检测部进行从由所述拍摄图像输入部依次得到的图像中检测标识的处理，
所述标识显示方式变更部在由所述标识检测部检测出的标识在其后的标识检测处理中未被检测出的情况下，对显示了所述标识的显示装置进行将该标识的显示尺寸增大的指示、或将该标识的显示位置变更的指示。
4.如权利要求3所述的标识显示控制装置，其中，
还具备按每个标识来存储标识信息的标识信息保持部，该标识信息至少将包括分配给显示装置的标识的颜色信息的标识识别信息、与该标识建立对应的显示装置、以及显示装置所显示的标识的显示尺寸作为构成要素。
5.如权利要求4所述的标识显示控制装置，其中，
在显示装置的显示区域中，在相隔的多个位置上分别显示了标识，
所述标识显示方式变更部，具备判断为是遮蔽等状态的标识遮蔽等状态判断部，该遮蔽等状态是指由于显示装置所显示的标识被遮蔽物遮蔽、或标识脱离拍摄范围，因此标识检测部不能检测出该标识，
所述标识显示方式变更部进行将由所述标识遮蔽等状态判断部判断为遮蔽等状态的标识的显示位置变更的指示。
6.如权利要求5所述的标识显示控制装置，其中，
所述标识显示方式变更部进行将不是遮蔽等状态的标识的显示位置设为显示装置的显示区域的四个角中的某一个的指示，并且进行将遮蔽等状态的标识的显示位置向显示区域的水平方向及垂直方向中的至少一方的中央侧变更的指示。
7.如权利要求2所述的标识显示控制装置，其中，
所述标识显示方式变更部对显示装置进行以下述显示尺寸显示标识的指示，该显示尺寸使拍摄显示装置的显示内容而得到的图像中的标识的尺寸小于由所述标识检测部检测出的标识的检测尺寸、且为在所述图像中被检测为标识的下限尺寸以上。
8.如权利要求3所述的标识显示控制装置，其中，
所述标识显示方式变更部对显示装置进行将标识的显示尺寸减小的指示，直到所检测出的标识不被检测出为止，在标识不被检测出的情况下，进行将标识的显示尺寸增大的指示。
9.如权利要求2所述的标识显示控制装置，其中，
所述标识显示方式变更部指定使显示装置显示的标识的颜色，
所述标识检测部在拍摄显示装置的显示内容而得到的图像中，将由指定的所述颜色的像素构成的像素组中下限尺寸以上的像素组作为标识来检测。
10.如权利要求1～9中任一项所述的标识显示控制装置，其中，
还具备坐标变换部，该坐标变换部将拍摄显示装置的显示内容而得到的图像中的坐标变换为显示装置的显示区域中的坐标，
所述标识检测部至少检测所述图像中的标识的位置，
所述坐标变换部至少基于所述标识的位置进行所述坐标的变换。
11.如权利要求10所述的标识显示控制装置，其中，
所述显示装置具有在显示区域中显示包括标识和操作菜单的显示内容的功能，
在指定了所述图像中的显示装置的显示区域中的坐标的情况下，所述坐标变换部将该坐标变换为显示装置的显示区域中的坐标。
12.如权利要求10所述的标识显示控制装置，其中，
该标识显示控制装置被搭载在操作设备上，该操作设备具备：显示部，显示拍摄所述显示装置的显示内容而得到的图像；以及操作输入部，进行指定显示部的任意坐标的操作输入，
所述显示装置具有在显示区域中显示包括标识和操作菜单的显示内容的功能，
所述坐标变换部将由操作输入部输入的显示部的坐标变换为显示装置的显示区域中的坐标。
13.如权利要求5或6所述的标识显示控制装置，其中，还具备：
坐标变换部，将拍摄显示装置的显示内容而得到的图像中的坐标变换为显示装置的显示区域中的坐标；以及
位置计算部，基于所述遮蔽等状态的标识的显示位置的变更量和所述图像中的所述标识的变更后的位置，计算所述图像中的所述标识的变更前的位置，
所述标识检测部用于检测所述图像中的标识的位置，
所述坐标变换部基于不是遮蔽等状态的标识的位置、和由所述位置计算部计算出的遮蔽等状态的标识的变更前的位置，进行所述坐标的变换。
14.一种集成电路，通过通信单元与显示装置连接，进行使该显示装置显示识别用的标识的控制，其特征在于，具备：
标识检测部，从拍摄显示装置的显示内容而得到的图像中检测所述识别用的标识；以及
标识显示方式变更部，基于标识的检测结果，对显示了标识的显示装置进行将标识的显示方式变更的指示。
15.一种标识显示控制方法，进行使显示装置显示识别用的标识的控制，其特征在于，包括：
得到对显示装置的显示内容进行拍摄的图像的步骤；
从所述图像中检测所述识别用的标识的步骤；以及
基于标识的检测结果，对显示了标识的显示装置进行将标识的显示方式变更的指示的步骤。
CN2010800055165A 2009-07-10 2010-07-09 标识显示控制装置、集成电路及标识显示控制方法 Pending CN102292978A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009163433 2009-07-10
JP2009-163433 2009-07-10
PCT/JP2010/004476 WO2011004612A1 (ja) 2009-07-10 2010-07-09 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法

Publications (1)

Publication Number Publication Date
CN102292978A true CN102292978A (zh) 2011-12-21

Family

ID=43429039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800055165A Pending CN102292978A (zh) 2009-07-10 2010-07-09 标识显示控制装置、集成电路及标识显示控制方法

Country Status (4)

Country Link
US (1) US20110187731A1 (zh)
JP (1) JPWO2011004612A1 (zh)
CN (1) CN102292978A (zh)
WO (1) WO2011004612A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106463000A (zh) * 2014-06-13 2017-02-22 三菱电机株式会社 信息处理装置、信息重叠图像显示装置、标记显示程序和信息重叠图像显示程序
CN107256405A (zh) * 2012-06-29 2017-10-17 日立麦克赛尔株式会社 显示系统和显示终端
WO2021087826A1 (en) * 2019-11-06 2021-05-14 Qualcomm Incorporated Methods and apparatus to improve image data transfer efficiency for portable devices

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5715842B2 (ja) * 2011-02-08 2015-05-13 新日鉄住金ソリューションズ株式会社 情報提供システム、情報提供方法、及びプログラム
JP5691802B2 (ja) * 2011-04-28 2015-04-01 コニカミノルタ株式会社 投影システム、投影装置、投影方法、および制御プログラム
JP2013041348A (ja) * 2011-08-12 2013-02-28 Kyocera Corp 携帯端末、補助情報表示プログラムおよび補助情報表示方法
JP5988563B2 (ja) * 2011-10-25 2016-09-07 キヤノン株式会社 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム
US9337926B2 (en) 2011-10-31 2016-05-10 Nokia Technologies Oy Apparatus and method for providing dynamic fiducial markers for devices
JP5349623B2 (ja) * 2012-01-06 2013-11-20 株式会社東芝 電子機器
EP2904480A4 (en) * 2012-10-04 2016-06-22 Intel Corp METHOD, DEVICE AND SYSTEM FOR MANAGING A USER-INTERFACE INTERFACE
US10127196B2 (en) 2013-04-02 2018-11-13 3M Innovative Properties Company Systems and methods for managing notes
CN105144198B (zh) 2013-04-02 2021-09-14 3M创新有限公司 用于便笺识别的系统和方法
WO2014165438A1 (en) 2013-04-02 2014-10-09 3M Innovative Properties Company Systems and methods for managing notes
WO2015006343A2 (en) 2013-07-09 2015-01-15 3M Innovative Properties Company Note recognition and management using color classification
US9082184B2 (en) 2013-10-16 2015-07-14 3M Innovative Properties Company Note recognition and management using multi-color channel non-marker detection
EP3058511A4 (en) 2013-10-16 2017-11-08 3M Innovative Properties Company Note recognition and association based on grouping
WO2015057804A1 (en) 2013-10-16 2015-04-23 3M Innovative Properties Company Organizing digital notes on a user interface
US9274693B2 (en) * 2013-10-16 2016-03-01 3M Innovative Properties Company Editing digital notes representing physical notes
EP3058514B1 (en) 2013-10-16 2020-01-08 3M Innovative Properties Company Adding/deleting digital notes from a group
TWI638273B (zh) 2013-10-16 2018-10-11 ３Ｍ新設資產公司 用於重疊實體便箋之便箋辨識
JP6393986B2 (ja) * 2013-12-26 2018-09-26 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
WO2015116803A1 (en) 2014-01-31 2015-08-06 3M Innovative Properties Company Note capture and recognition with manual assist
JP5773036B2 (ja) * 2014-06-11 2015-09-02 コニカミノルタ株式会社 投影システム、投影装置、投影方法、および制御プログラム
EP3159829A1 (en) * 2015-10-21 2017-04-26 Thomson Licensing Methods of detecting and managing a fiducial marker displayed on a display device
JP2017211766A (ja) * 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
US10096133B1 (en) 2017-03-31 2018-10-09 Electronic Arts Inc. Blendshape compression system
EP3416092A1 (en) * 2017-06-16 2018-12-19 Thomson Licensing Method and devices to optimize marker management for pose estimation
US10878540B1 (en) * 2017-08-15 2020-12-29 Electronic Arts Inc. Contrast ratio detection and rendering system
US10535174B1 (en) 2017-09-14 2020-01-14 Electronic Arts Inc. Particle-based inverse kinematic rendering system
US10860838B1 (en) 2018-01-16 2020-12-08 Electronic Arts Inc. Universal facial expression translation and character rendering system
KR102328121B1 (ko) * 2018-02-12 2021-11-17 삼성전자주식회사 전자 장치 및 그 동작 방법
KR102338900B1 (ko) * 2018-02-13 2021-12-13 삼성전자주식회사 전자 장치 및 그 동작 방법
US10902618B2 (en) 2019-06-14 2021-01-26 Electronic Arts Inc. Universal body movement translation and character rendering system
US11972353B2 (en) 2020-01-22 2024-04-30 Electronic Arts Inc. Character controllers using motion variational autoencoders (MVAEs)
US11504625B2 (en) 2020-02-14 2022-11-22 Electronic Arts Inc. Color blindness diagnostic system
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
US11232621B2 (en) 2020-04-06 2022-01-25 Electronic Arts Inc. Enhanced animation generation based on conditional modeling
US11830121B1 (en) 2021-01-26 2023-11-28 Electronic Arts Inc. Neural animation layering for synthesizing martial arts movements
US11887232B2 (en) 2021-06-10 2024-01-30 Electronic Arts Inc. Enhanced system for generation of facial models and animation
US11670030B2 (en) 2021-07-01 2023-06-06 Electronic Arts Inc. Enhanced animation generation based on video with local phase
US11562523B1 (en) 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006330027A (ja) * 2005-05-23 2006-12-07 Matsushita Electric Ind Co Ltd 画像出力装置、画像出力システム、およびプログラム
JP2008181198A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 画像表示システム
CN101383141A (zh) * 2007-09-06 2009-03-11 佳能株式会社 图像显示控制设备和图像显示控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142845A (ja) * 1999-11-17 2001-05-25 Toshiba Corp コンピュータシステムおよびデータ転送制御方法
JP4729791B2 (ja) * 2001-01-23 2011-07-20 ヤマハ株式会社 リモコン送信システム
JP4200435B2 (ja) * 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7130584B2 (en) * 2003-03-07 2006-10-31 Nokia Corporation Method and device for identifying and pairing Bluetooth devices
JP4041993B2 (ja) * 2004-06-01 2008-02-06 ソニー株式会社 表示装置、受光装置、通信システムおよび通信方法
JP4997783B2 (ja) * 2006-02-15 2012-08-08 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム、電子会議制御装置、情報端末機器、電子会議支援方法
US7900838B2 (en) * 2006-12-21 2011-03-08 Canon Kabushiki Kaisha Form editing apparatus, control method, and storage medium
JP4296210B2 (ja) * 2006-12-21 2009-07-15 キヤノン株式会社 二次元コード画像表示装置、および二次元コード画像表示プログラム
KR101089443B1 (ko) * 2007-12-04 2011-12-07 에이.티 코뮤니케이션즈 가부시끼가이샤 2차원 코드 표시 시스템, 2차원 코드 표시 방법, 및 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006330027A (ja) * 2005-05-23 2006-12-07 Matsushita Electric Ind Co Ltd 画像出力装置、画像出力システム、およびプログラム
JP2008181198A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 画像表示システム
CN101383141A (zh) * 2007-09-06 2009-03-11 佳能株式会社 图像显示控制设备和图像显示控制方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256405A (zh) * 2012-06-29 2017-10-17 日立麦克赛尔株式会社 显示系统和显示终端
CN107256405B (zh) * 2012-06-29 2020-10-13 麦克赛尔株式会社 显示系统和显示终端
CN106463000A (zh) * 2014-06-13 2017-02-22 三菱电机株式会社 信息处理装置、信息重叠图像显示装置、标记显示程序和信息重叠图像显示程序
US10229543B2 (en) 2014-06-13 2019-03-12 Mitsubishi Electric Corporation Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
WO2021087826A1 (en) * 2019-11-06 2021-05-14 Qualcomm Incorporated Methods and apparatus to improve image data transfer efficiency for portable devices

Also Published As

Publication number Publication date
WO2011004612A1 (ja) 2011-01-13
US20110187731A1 (en) 2011-08-04
JPWO2011004612A1 (ja) 2012-12-20

Similar Documents

Publication Publication Date Title
CN102292978A (zh) 标识显示控制装置、集成电路及标识显示控制方法
EP2646946B1 (en) User control of the display of matrix codes
CN102722517B (zh) 用于观看者选择的视频对象的增强信息
JP4603778B2 (ja) 画像表示方法及び画像表示装置
JP5081918B2 (ja) 地図表示装置
US20160037205A1 (en) User terminal apparatus, display apparatus, user interface providing method and controlling method thereof
CN106101610B (zh) 图像显示系统、信息处理设备和图像显示方法
US20080256485A1 (en) User Interface for Controlling Video Programs on Mobile Computing Devices
CN107741806A (zh) 用于根据设备类型来渲染用户界面元素的系统和方法
KR20110063466A (ko) 줌 기능을 갖는 사용자 인터페이스
CN102402382A (zh) 信息处理设备和信息处理方法
US11039196B2 (en) Method and device for displaying a screen shot
CN113051432A (zh) 显示设备及媒资播放方法
CN105912315A (zh) 信息处理装置、信息处理系统、信息处理方法和计算机程序产品
CN109104608A (zh) 电视性能测试方法、设备及计算机可读存储介质
US10552515B2 (en) Information processing terminal and information processing method capable of supplying a user with information useful for selecting link information
JP2006330027A (ja) 画像出力装置、画像出力システム、およびプログラム
CN103905911A (zh) 显示设备和用于提供显示设备的菜单的方法
JP2007087023A (ja) 情報処理装置
JP4689209B2 (ja) 携帯端末
US8365219B2 (en) Remote frames
JP5323367B2 (ja) 画像表示装置、画像送信サーバ、画像表示システム、画像表示方法、画像表示プログラム、および、記録媒体
KR101596592B1 (ko) 디스플레이 장치 및 그 제어방법과, 그 제어방법을 실행하기 위한 프로그램을 기록한 기록 매체와, 하드웨어와 결합되어 그 제어방법을 실행시키기 위하여 매체에 저장된 애플리케이션
EP1772801A2 (en) Method for searching data in a wireless terminal
CN114489550A (zh) 投屏控制方法、投屏器及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111221