CN101395908B - 映像连锁型控制对象外部设备控制装置 - Google Patents

映像连锁型控制对象外部设备控制装置 Download PDF

Info

Publication number
CN101395908B
CN101395908B CN2007800074732A CN200780007473A CN101395908B CN 101395908 B CN101395908 B CN 101395908B CN 2007800074732 A CN2007800074732 A CN 2007800074732A CN 200780007473 A CN200780007473 A CN 200780007473A CN 101395908 B CN101395908 B CN 101395908B
Authority
CN
China
Prior art keywords
mentioned
data
pixel
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800074732A
Other languages
English (en)
Other versions
CN101395908A (zh
Inventor
幡生安纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
L·A·B·株式会社
L A B Inc
Original Assignee
L A B Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by L A B Inc filed Critical L A B Inc
Publication of CN101395908A publication Critical patent/CN101395908A/zh
Application granted granted Critical
Publication of CN101395908B publication Critical patent/CN101395908B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/802—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving processing of the sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明将用于输出主图像的映像信号的第一映像数据上附加，用于输出反映了控制对象外部设备的操作控制中使用的控制信息内容的信息编入标记图像4的映像信号的第二映像数据的扩张映像数据存储在映像存储媒体61M中。通过其扩张映像数据的再生得到的扩张映像信号，通过本发明的外部设备控制装置60，被分离成基于第一映像数据的主图像再生映像信号和基于第二映像数据的信息编入标记图像再生映像信号。而且，被分离的信息编入标记图像再生映像信号被解码化成控制对象外部设备62可直接读取的操作控制数据后，向控制对象外部设备62进行输出。由此，在使用了存储媒体的映像应用技术中，提供一种能够将映像上附加的信息输出给映像再生系统外的电子设备中，从而可以实现电子设备的连动控制也引入视野的扩张功能的映像连锁型控制对象外部设备控制装置。

Description

映像连锁型控制对象外部设备控制装置
技术领域
本发明涉及映像连锁型控制对象外部设备控制装置及其中使用的映像存储媒体。 
背景技术
专利文献1：特开平10-164524号公报 
近年来，多重通信技术也正在被电视广播适用，在语音多重广播、文字多重广播等中已发展为实用化。但是，任一语音频带及文字频带都与映像频带分开设定，所以不能在映像的发送图像中内藏语音、文字等的附加信息。因此，为了解决此问题，在专利文献1中公开了在映像的发送图像，具体在其扫描线的一部分区域上内藏条型码状的附加信息的技术。具体来说，使CM广播时CM商品的详细信息或针对电视节目的节目内容信息反映成条型码，并解析电视接收机侧的其映像信号，从而读取条型码的内容，在映像画面上通过叠加等方式进行显示。 
发明内容
发明所解决的课题 
但是，在上述的技术中，信息的输出方在电视接收机内，不能实现在画面上显示附加信息以外其他更多的功能，在扩张性这一观点上存在很大的缺点。 
本发明的课题提供一种能够将附加于映像上的信息输出给映像再生系统外的电子设备中，实现电子设备的连动控制也可以引入到视野的扩张功能的映像连锁型控制对象外部设备控制装置及其中使用的映像存储媒体。 
用于解决课题的方法及发明效果 
为了解决上述的课题，本发明的映像连锁型控制对象外部设备控制装置，其特征在于， 
将用于输出主图像的映像信号的第一映像数据上附加第二映像数据的扩张映像数据作为映像数据源使用，同时将再生扩张映像数据的映像再生装置和控制对象外部设备连接使用，该第二映像数据用于输出信息编入标记图像的映像信号，而该信息编入标记图像映像信号反映了用于控制对象外部设备的操作控制的控制信息内容，映像连锁型控制对象外部设备控制装置其具备： 
标记图像再生映像信号提取机构，该机构在随着映像数据的再生从再生装置中输出的扩张映像信号中，提取出标记图像再生映像信号，该扩张映像信号是在基于第一映像数据的主图像再生映像信号上附加，基于第二映像数据的信息编入标记图像再生映像信号的信号； 
操作控制数据解码机构，其解析标记图像再生映像信号的内容，并解码成为直接可读取的操作控制数据，从而使控制对象外部设备进行自身的操作控制处理； 
操作控制数据输出机构，其将该解码化的操作控制数据输出给控制对象外部设备。 
另外，本发明的映像存储媒体，作为向上述本发明的映像连锁型控制对象外部设备控制装置的映像数据源而使用，并且通过连接着映像连锁型控制对象外部设备控制装置的映像再生装置而将扩张映像数据以可再生的形式进行存储，该扩张映像数据是在用于输出主图像的映像信号的第一映像数据上附加用于输出信息编入标记图像映像信号的第二映像数据而生成的数据，该信息编入标记图像映像信号反映了控制对象外部设备的操作控制中使用的控制信息内容。 
通过上述本发明的映像连锁型控制对象外部设备控制装置的构成， 将扩张映像数据存储于映像存储媒体中，该扩张映像数据是在用于输出主图像的映像信号的第一映像数据上附加用于输出信息编入标记图像映像信号的第二映像数据而生成的数据，该信息编入标记图像映像信号反映了控制对象外部设备的操作控制中使用的控制信息内容。通过扩张映像数据的再生而得到的扩张映像信号，通过本发明的控制对象外部设备控制装置被分离成基于第一映像数据的主图像再生映像信号和基于第二映像数据的信息编入标记图像再生映像信号。而且，被分离的信息编入标记图像再生映像信号被解码化成控制对象外部设备可直接读取的操作控制数据后，向控制对象外部设备进行输出。由此，能够与映像连动、进行控制对象外部设备的操作控制，从而达到现有的映像再生系统中所没有的向外部大幅度地扩张功能的效果。 
另外，本发明的映像存储媒体，由于将在控制对象外部设备的操作控制中使用的控制信息作为信息编入标记图像、作为映像数据的一部分进行编入，所以与现有的映像再生装置中通常的映像存储媒体一样可再生，经由本发明的映像连锁型控制对象外部设备控制装置，使信息编入标记图像解码化成操作控制数据，从而输出给控制对象外部设备，与映像连动的控制对象外部设备的操作控制，也能够作为新的映像数据源而发挥功能。 
还有，本发明对可适用的控制对象外部设备的类别没有特别限定，例如为按摩设备、电动模型等的玩具、面向孩子的教材中使用的机器人等。此时，控制对象外部设备由驱动部分(例如，如果是按摩设备的话，是给人体施加按摩力的动作部分，如果是机器人、电动模型的话，是机械的操作部分)及控制硬件部分构成，该控制硬件部分利用来自本发明的控制装置的控制信息，从而直接管理上述的驱动部分的操作控制。 
该控制硬件部分可以由以下部件构成，具备扩张映像数据的输入接口的微型计算机、具有同样处理能力的专用硬件。另外，作为扩张映像 数据的获取端的数据源是，例如除与上述输入接口直接连接的映像存储媒体再生装置(例如DVD播放器、HDD/DVD录音机)外，还可以是与上述输入接口网络连接的信息数据库(网络是LAN、因特网等)，另外也可以是来自电视调谐器的广播接收装置。 
还有，本发明的映像连锁型控制对象外部设备控制装置，可与控制对象外部设备本身编入成一体，这也属于“与控制对象外部设备连接而使用”的概念。而且，上述控制硬件部分也可以与本发明控制装置成为一体化，例如也可以由共有的微型计算机及周边硬件构成。 
扩张映像数据可以是，在输出监视器中用于显示主图像的映像帧上，内藏信息编入标记图像的扩张映像帧的数据。标记图像再生映像信号提取机构，可以从基于该扩张映像帧数据的再生映像信号中，将构成信息编入标记图像的像素的映像信号作为标记图像再生映像信号而进行提取。如上构成，通过计数器计测像素的同步信号，从而能够简单地特定出各个地址像素的输出时刻，因此很容易地进行标记图像再生映像信号的提取。 
信息编入标记图像，可采用如专利文献1的条型码，但也可通过以下所述的方式，使可内藏的信息量再增加。也就是说，将构成图像的像素输出设定值，量子化成预先规定序列的2位以上的多个等级，并规定该输出设定值的序列上的顺序及，由用于记录控制信息内容的多个位组成的控制用的位数据间的唯一对应关系。而且，操作控制数据解码机构具有，检测出被标记图像再生映像信号反映的像素的输出设定值、且根据上述的对应关系解码化成控制用位数据的控制用位数据解码机构。由于映像存储媒体可以对图像进行品质保证而存储，所以即使用色彩、灰度色标存储信息编入标记图像，其再生映像信号也能够将对被存储的像素的输出设定的误差抑制到很小。因此，在专利文献1中，通过广播接收状态的制约，能够将限制为二值的附加信息进行多值化，使可内藏的 信息量大幅度地增加。 
在上述的构成中，存储在媒体上的第二映像数据所表示的色彩、灰度色标的像素输出设定值对应于，由多个位组成的控制用位数据。但是，在本发明中，一旦再生此第二映像数据(有关监视器显示)而成为再生映像信号，将不可避免地发生利用本发明的装置，再次使其解码化成像素输出值所示的多位的信息、即控制用位数据的处理。因此，由于再生时或解码化处理时的噪声等的影响，存在解码化后的控制用位数据与媒体上的像素输出设定值变得不能正确地对应、成为误差要因的情况。本发明者也针对用于应对此噪声等影响的各种方法进行了研究。 
首先，信息编入标记图像分割成像素集合单位，该像素集合单位由输出设定值被规定为均等的多个像素组成。控制用位数据解码机构，根据被该图像集合单位规定的输出设定值，进行向控制用位数据的解码化。以输出设定值被规定成均等的多个像素的组为单位而构成信息编入标记图像，能够大幅度地减轻在单一像素中易受影响的噪声等的影响。 
上述的影响特别是，作为再生映像信号而使用NTSC信号等的模拟映像信号时更加显著。当扩张映像信号是模拟映像信号时，控制用位数据解码机构可以具有A/D变换器的构成，该A/D变换器通过对反映了输出设定值的该模拟映像信号的模拟输入值进行数字变换，从而解码化成控制用位数据。此时，如上述所述，以输出设定值被规定成均等的多个像素的组为单位，构成信息编入标记图像，这时效果会更加显著。 
使通过解码化得到的控制用位数据多个集合，从而构成操作控制数据的记录单位区域。由此，能够更加系统地进行操作控制数据的识别、向控制对象外部设备的传送等。 
具体的说明的话，上述记录单位区域多个集合，从而构成向控制对象外部设备的操作控制数据的输出单位的帧构造数据，该帧构造数据可包含以下顺序：从其输出时系列中的开始侧开始，用于识别以后的像素列为记录操作控制数据的帧构造数据的识别区域；表示帧构造数据的数据长度的数据长度区域；及表示向控制对象外部设备的操作控制数据内容的主区域等。通过识别区域的配置，能够很容易识别出作为映像信号的一部分而送来的帧构造数据是否构成在控制对象外部设备中使用的操作控制数据，且根据数据长度区域表示的数据长度，可明确地判别出到哪里为止是有效的操作控制数据。 
另外，使构成各记录单位区域的控制用位数据的位数据数目全部相同，使各记录单位区域的数据位列的末尾作为用于进行该数据位列的奇偶校验的垂直奇偶校验位，另一方面，由数据长度特定的帧构造数据的最终记录单位区域相对于先行的记录单位区域的顺序，将此相互对应顺序的数据位进行个别地集中，成为集合了用于进行奇偶校验的多个水平奇偶校验位的水平奇偶区域。由此，能够有效地防止噪声等的影响引起的数据误识。 
在上述构成中，由于记录操作控制数据的主区域也采用一定的数据位数，所以根据操作控制数据的大小增减主区域的数目时，能够对应更多样的操作控制数据内容。此时，可根据该主区域的数目，变更被数据长度区域记录的数据长度。 
另外，存储命令编号的命令编号区域设置在识别区域和数据长度区域之间，该命令编号唯一地特定向控制对象外部设备的命令执行顺序，该控制对象外部设备基于主区域记录的操作控制数据。同时上述主区域的记录内容和上述命令编号相同的多个上述帧构造数据，重复内藏到相同的上述映像帧或映像区域(此时的区域，例如在隔行扫描方式上分割映像帧的区域，与帧构造数据中的表示数据保存区域是不同的概念)上。也就是说，将基于多个相同命令编号的相同操作控制数据重复、内藏于映像之中，从而能够在任意情况下，作为因噪音等不能读取时的防故障设备而发挥功能。 
接着，信息编入标记图像被分割成由一定个数的多个像素组成的像素集合单位，该一定个数的多个像素的相对位置关系被规定成一定的位置关系。控制用位数据解码机构为以下构成，其对属于该像素集合单位的各个像素的输出设定值，实施预先规定的、使那些输出设定值相互运算结合的解码化准备运算，同时，根据其解码化运算结果，进行向控制用位数据的解码化。也就是说，在此构成中，不是使像素的输出设定值单独对应于控制用位数据，而是使控制用位数据对应于，将多个像素(像素集合单位)的输出设定值运算结合而得到的结果。由此，构成信息编入标记图像的像素的设定值，只介入运算的部分，就可以得到以下优点，即，作为控制用位数据而增加得到相同解码化结果后的自由度，能够大幅度扩张映像再生时的信息编入标记图像的显示方式。特别是，不用大幅度地扩大存在于信息编入标记图像周围的主图像像素之间的输出设定值差，就可以充分编入控制用位数据，从而可以大幅度地减少映像视听中信息编入标记图像看起来分离的不适感。 
此时，能够将上述的像素集合单位规定为相对位置关系被规定为一定的像素对组成的信息编入像素对。这样，供给于解码化准备运算的像素输出设定值的总数为2个，可以简略化解码顺序。 
信息编入像素对，可规定为同一帧内相互邻接的像素对。在同一帧内相互邻接的像素对，像素的设定值比较接近的情况居多，即使在编入了控制用位数据的状态下，也更难感觉视觉的不适感。 
信息编入像素对，可为在同一扫描线上存在的邻接关系的像素对。这样，能够将按照扫描顺序依次读入的像素的输出设定值立即供给解码化准备运算，可以将信息编入像素对的特定进而谋求解码化顺序的简略化。另一方面，信息编入像素对，也可规定为在同一帧内相互邻接的扫描线间存在邻接关系的像素对。还有，也可规定为在相互邻接的帧间存在邻接关系的像素对。这些邻接像素对，虽然扫描线或帧不同，但扫描 线内或帧内的序列相同，所以能够谋求信息编入像素对的特定处理的简略化。 
控制用位数据解码机构，作为解码化准备运算，可进行信息编入像素对的输出设定值的差分运算。而且，根据与差分值的被预先规定的阈值的比较，进行向控制用位数据的解码化，该差分值是由差分运算得到。通过此方式，能够在信息编入像素对上只给予与阈值的大小关系判定中充分需要的输出设定值，就可以简单地进行控制用位数据的编入处理。另外，解码化准备预算也仅仅执行“减法运算”，所以能够大幅度的简略处理顺序。 
此时，信息编入像素对，能够对构成本来主图像的对应的原像素对的输出设定值修正变换并生成为，将给与需求内容的控制用位数据的差分值通过解码化准备运算而得到的数值。即以生成对应于需要编入的控制用位数据的、期望的差分值的方式，使属于原主图像的原像素对的输出设定值的一方或双方通过修正变换方式成为信息编入像素对，所以即使不用大幅度地从原像素对变化输出设定值，也能够将其变换成信息编入像素对，可以成为映像视听上更不显眼的控制用位数据的编入。 
此时，在解码化时，以上述差分值变为预先规定的余裕度以上的方式，规定用于将原像素对变换成信息编入像素对的输出设定值的修正内容。通过适当地给予余裕度D，能够在该余裕度D的范围内付与对噪声等的耐性。 
接着，扩张映像帧数据，将规定输出设定状态的像素设定信息，按照在输出监视器上显示扩张映像帧的扫描线上的像素顺序进行排列，上述输出设定状态为输出监视器的各像素的输出设定状态。此时，能够将信息编入标记图像的显示区域规定为映像帧上的预先规定位置的扫描线。因此，从扫描线的显示输出的同步信号中能够很容易把握出，作为信息编入标记图像的显示区域而使用的扫描线的到来。
由扩张映像数据的再生得到的扩张映像信号，可分配输入给映像的输出监视器和本发明的控制对象外部设备控制装置。此时，主图像再生映像信号与信息编入标记图像一起向输出监视器进行映像输出。另外，一旦将扩张映像信号输入给本发明的控制对象外部设备控制装置，也能向输出监视器传送。此时，信息编入标记图像再生映像信号也可与主图像再生映像信号一起传送给输出监视器，也可在本发明的控制对象外部设备控制装置内除去(过滤)信息编入标记图像再生映像信号后，传送给输出监视器。 
在任一方式中，当为主图像再生映像信号和信息编入标记图像再生映像信号的双方被发送给输出监视器的构成时，信息编入标记图像自身不会变成本来视听者的兴趣对象，即使可直接视觉识别其映像，也不清楚其意味着什么内容的情况居多。因此，较好的情况为，使此信息编入标记图像尽量不成为主图像再生映像的视觉识别的障碍。 
例如，当输出监视器的扫描方式是光栅扫描方式时，可将位于映像帧上的上下方向的任一端部的1个或多个扫描线，规定为信息编入标记图像的显示区域。在此构成中，成为信息编入标记图像的扫描线只出现在画面的上下端，所以在视听主图像上那哪注意。 
另外，图像帧的切换间隔期间是，向输出监视器侧的映像信号的各像素的输出被阻断，从而变成映像非显示，所以可利用此期间，输出信息编入标记图像再生映像信号。 
信息编入标记图像，可分割成由扫描线上相互邻接的输出设定状态被一律规定的多个像素组成的像素集合单位，控制用位数据解码机构，可根据该单位像素集合规定的输出设定值，进行控制用位数据的解码化。由此，能够抑制噪声等引起的错误发生。 
附图说明
图1是采用了本发明的映像连锁型控制对象外部设备控制装置的系 统构成的模式图。 
图2是表示扩张映像数据的一例的概念图。 
图3是表示信息编入标记图像的像素构成的第一例的模式图。 
图4是表示像素构成的第二例的模式图。 
图5是表示辉度信息的量子化与位数据的对应关系的图。 
图6是表示颜色信息的量子化与位数据的对应关系的图。 
图7是表示帧构造数据的一例的概念图。 
图8是表示与采用了辉度信息的帧构造数据相对应的信息编入标记图像的例子的图。 
图9是表示与采用了色度信息的帧构造数据相对应的信息编入标记图像的例子的图。 
图10是表示映像连锁型外部设备控制装置的硬件构成的第一例的模块图。 
图11是表示映像连锁型外部设备控制装置的硬件构成的第二例的模块图。 
图12是表示通过邻接像素的差分，编入控制用位数据的第一例的模式图。 
图13是表示相同第二例的模式图。 
图14是表示相同第三例的模式图。 
图15是表示映像连锁型外部设备控制装置的硬件构成的第三例的模块图。 
图16是表示通过邻接像素的差分，编入控制用位数据的处理流程的流程图。 
图17是表示通过邻接像素的差分，编入控制用位数据时的效果的图表。
具体实施方式
以下，参考附图说明本发明的实施方式。 
图1省略地表示了，本发明的映像连锁型控制对象外部设备控制装置的系统构成的一例。映像连锁型控制对象外部设备控制装置60将扩张映像数据作为映像(动画)数据源而使用，该扩张映像数据是在用于输出主图像的映像信号的第一映像(动画)数据上附加用于输出信息编入标记图像映像信号的第二映像数据，该信息编入标记图像映像信号反映了在控制对象外部设备的操作控制中使用的控制信息内容。而且，在其上连接着再生扩张映像(动画)数据的映像(动画)再生装置61和控制对象外部设备62。在本实施方式中，在映像连锁型控制对象外部设备控制装置60上还连接着由电视接收机等组成的输出监视器50(具备着语音输出用扬声器51)。扩张映像数据被存储在DVD、录像带等的映像存储媒体61M上，利用映像再生装置61再生，在输出监视器50中视听包含主图像的映像。 
通过下述的电路构成，映像连锁型控制对象外部设备控制装置60装载了如下的功能。 
·标记图像再生映像信号提取机构：其从伴随着映像数据再生的再生装置输出的扩张映像信号中，提取出标记图像再生映像信号，该扩张映像信号是在基于第一映像数据的主图像再生映像信号上附加基于第二映像数据的信息编入标记图像再生映像信号， 
·操作控制数据解码机构：其解析标记图像再生映像信号的内容，解码化成控制对象外部设备62用于进行自身的操作控制处理的可直接读取的操作控制数据， 
·操作控制数据输出机构：其将该解码化的操作控制数据输出给控制对象外部设备。 
映像连锁型控制对象外部设备控制装置60是采用扩张映像数据，该扩张映像数据是在用于再生主图像的第一映像数据上，作为控制控制对象外部设备62的信息，附加了用于输出反映了在控制对象外部设备的操作控制中使用的控制信息内容的信息编入标记图像映像信号的第二映像数据，将该扩张映像数据通过再生装置61再生而得到扩张映像信号，从而提取标记图像再生映像信号并直接解码(解码化)，对控制对象外部设备62进行控制。
如图1实线(1)(2)所示，通过扩张映像数据的再生而得到的扩张映像信号，一旦输入给外部设备控制装置60，就可从该外部设备控制装置60传送给输出监视器50。此时，信息编入标记图像再生映像信号可与主图像再生映像信号一起，也传送给输出监视器50，或在本发明的外部设备控制装置60内除去(过滤)信息编入标记图像再生映像信号后传送给输出监视器50。另一方面，如一点划线(3)(4)所示，可将通过扩张映像数据的再生而得到的扩张映像信号分配输入给输出监视器50和外部设备控制装置60。任一方式都与在输出监视器50(电视接收机)中放映的映像信息连动，从而控制外部设备控制装置60。 
例如，当以销售对象的电器设备作为控制对象外部设备62时，用信息编入标记图像的形式附加其控制信息的说明映像，预先录像在录像带、DVD等的媒体61M上。而且，当连接映像再生装置61、输出监视器50、外部设备控制装置60及控制对象外部设备62时，配合基于输出监视器50的映像(及语音)的说明，控制对象外部设备62被连动控制，能进行逼真的商品说明。如果控制对象外部设备是按摩设备等，顾客能够一边体验被连动控制的按摩设备的效果，一边视听基于映像的详细的说明。另外如果是电动模型等，顾客能一边进行其动作确认，一边视听基于映像的详细的说明。另外，如果是面向孩子的教材等，作为控制对象外部设备62，预备作为上述教材的机器人62等，配合媒体61M(录像机、DVD等)的再生画面，可以使机器人进行姿势动作、使其讲话。比起现有的教材，变得能够逼真、快乐地学习。另外，当换成控制信息内容不同的媒体时，使机器人配合于此而进行不同的动作，因此有待于发展。 
以采用NTSC信号规格的电视信号(映像信号)的情况为例进行说明(但映像信号的类别并不限定于此)。如图2所示，在市场销售的很多的电视机接收机中，电视信号进行隔行扫描，1张图像由偶数扫描线101A和奇数扫描线101B构成的2张区域图像50A、50B构成。各区域图像的扫描线数有262.5个，其中可显示映像的扫描线数约240个。 
扩张映像帧的数据，将规定输出监视器50的各像素的输出设定状态的像素设定信息，按照在输出监视器50上显示扩张映像帧的扫描线101A、101B上的像素顺序进行排列，信息编入标记图像104的显示区域，被规定为映像帧上的预先规定位置的扫描线101A、101B。 
信息编入标记图像104，可插入于任意的扫描线之中，如果在显示期间插入，也可以看到视觉的信息。但是，如果两个信号，即，主图像再生映像信号和信息编入标记图像再生映像信号被发送给输出监视器50的情况下，信息编入标记图像104自身不会变成本来视听者的兴趣的对象，即使直接视觉识别其映像，也不清楚其意味着什么内容的情况居多。此时最好是，以此信息编入标记图像104尽量不成为主图像再生映像的视觉识别的障碍。 
例如，当输出监视器50的扫描方式为如上述那样的光栅扫描方式时，如图2所示，可将位于映像帧上的上下方向的任一端部的1个或几个扫描线101A、101B，作为信息编入标记图像104的显示区域而进行规定。在此构成中，作为信息编入标记图像104的扫描线101A、101B只出现在画面的上或下端，所以在视听主图像上不会注意到。 
另外，图像帧的切换间隔期间，向输出监视器50侧的映像信号的各像素的输出被阻断，成为映像非显示，所以可利用此期间，输出信息编 入标记图像再生映像信号。通过此方式，可以完全不造成影响就可以控制映像。另外，通过使多个扫描线分配给信息编入标记图像104，能内藏更大量的信息。 
其次，如图3所示，信息编入标记图像104被分割成由输出设定值被一律规定的多个像素100组成的像素集合单位105A、105B、105C。而且，根据每个该像素集合单位105A、105B、105C规定的输出设定值，进行控制用位数据的解码化。在本实施方式中，如图3所示，信息编入标记图像104被分区成像素集合单位105A、105B、105C，该像素集合单位由扫描线101A、101B上相互邻接的输出设定状态被一律规定的多个像素(这里为8个像素)组成。 
以下，以信息编入标记图像104的形式，将控制信息附加于映像数据上的方法，用图2进行说明。这里，在横：640像素×纵：480像素的显示画面内进行配置，在编号1～480的扫描线中的479、480扫描线上进行固定内藏。此时，控制信息位于各区域50A、50B的显示期间的最后(第240)扫描线上。 
信息编入标记图像104可从扫描线中的任意位置、任意长插入。这里，信息编入标记图像104的构成像素数越少，1个扫描线101上能内藏越多的信息，但还需要考虑图像的压缩方法、录像设备的图像劣化。这里，从第1到第640的像素中，由先头的第1开始，如图3说明那样，各像素集合单位105A、105B、105C的长度为8个像素。此时，1扫描线上最大可内藏80个图像数据。另外，在扫描线102A、102B上，相互邻接的多个像素集合单位105A、105B、105C(这里为3个)形成组，通过该组的解码化得到的控制用位数据构成了操作控制数据的记录单位区域104。 
还有，如图4所示，在图像帧上以跨越邻接的多个扫描线102A、102B的形式设定像素集合单位105A、105B、105C。
构成图像的像素的输出设定值，被量子化为序列预先规定的2位以上的多个等级，在该输出设定值的序列上的顺序与用于记录控制信息内容的多个位组成的控制用位数据之间规定唯一的对应关系。而且，检测被标记图像再生映像信号反映的像素的输出设定值，根据上述的对应关系，解码化为控制用位数据。即将控制信息变换成映像中的辉度信息或色彩信息并内藏到映像中。例如，辉度信息作为振幅具有8位程度的分解能，内藏偏于细分化的信息。这里，如图5所示，判别辉度信息为3位(8段)。另外，如图6所示，也可通过作为监视器的色彩信息的红色(R)、绿色(G)、蓝色(B)的有无进行3位的表现。这样，当构成图3的信息编入标记图像104的像素集合单位105A、105B、105C上具有3位的信息时，内藏在1扫描线上的最大的控制信息为3×80＝240位。还有，利用辉度信息写入3位的信息时，原图像的颜色不变，只把亮度置换成信息，以使主图像的变化保留到最小限度的形式，使其考虑成不成为视听的障碍。也就是说，如交接主图像的颜色信息的同时，亮度信息作为标记图像反映所需的信息那样，通过从主图像的亮度进行变更，也能够在主图像的像素中兼用标记图像的像素。 
下面，利用图7说明，用于在信息编入标记图像104中内藏控制信息的符号化的例子。映像数据由于图像压缩、基于模拟记录器的图像存储等会劣化，所以需要考虑实施充分的噪声对策。另外，也需要考虑将显示画面误识别为控制信息的情况。因此，在控制信息的集管(header)部分上附加识别码、命令编号、数据长度，并导入水平·垂直奇偶方式。 
具体的，集合多个上述的记录单位区域(在图7中用1～7表示各区域的特定编号)，从而构成成为向控制对象外部设备的操作控制数据的输出单位的帧构造数据。该帧构造数据，包含以下顺序：从其输出时系列的先头侧开始，用于识别以后像素列为记录操作控制数据的帧构造数据的识别区域(1)，表示帧构造数据的数据长度的数据长度区域(3)， 表示向控制对象外部设备62的操作控制数据内容的主区域(4、5、6)。另外，构成各记录单位区域的控制用位数据的数据位数相同(这里包含奇偶位为9位)，各记录单位区域的数据位列的末尾为用于进行该数据位列的奇偶校验的垂直奇偶校验位VRC。另外，由数据长度(3)特定的帧构造数据的最终记录单位区域，将先行的记录单位区域相互对应的顺序的数据位进行个别集合，成为集合了用于进行奇偶校验的多个水平奇偶校验位的水平奇偶区域LRC(7)。还有，将保存命令编号的命令编号区域(2)设置在识别区域(1)和数据长度区域(3)之间，该命令编号为基于记录在主区域(4、5、6)上的操作控制数据，唯一特定向控制对象外部设备的命令执行顺序的编号。 
在识别区域(1)上写入识别码的同时，位于命令的先头，当没有取得此码的情况下，通过判定帧构造数据上不包含控制命令来防止误识别。 
另外，在命令编号区域(2)上，每个新的控制信息上写入增加1的命令编号(255下面再从0开始)。一边附加这样的命令编号、一边跨越着多个图像区域(或图像帧)，内藏具有相同命令编号的相同控制信息。而且，当某命令编号的控制信息的执行失败时，通过采用相同命令编号的下一个控制信息进行再试(retry)，来提高识别率。由此，不改变命令编号重复多次地写入相同的控制信息。还有，为了避免无意义地重复相同的控制信息的执行，在执行1次相同的命令编号后，就不接受出现在其后面的同一命令编号的控制信息。即，对各命令编号的控制信息的内容，如上所述通过严格的奇偶校验等检测错误，如果没有错误，将与命令编号相同的命令编号的控制信息全部除外，接受下一个新编号的命令。另外，例如在变更DVD的章节等时，由于出现了新的不同的命令编号，将取得的命令编号信息直接识别为新的命令编号信息(即，在先行的章节之间不进行命令编号的相同性判定)。 
另外，数据长度(3)是命令的字节(byte)数，用于表示水平奇偶 (LRC)区域(7)的位置而被附加。通过在数据8位上加上奇偶数据位(VRC)成为9位(图7的横向)从而进行垂直奇偶校验，还有，通过(从纵向看图7)进行水平奇偶校验，来防止误识别。 
其次，主区域(4、5、6)用于记录操作控制数据，在上述奇偶校验的关系上，由一定的数据位数构成。这里，可根据操作控制数据的大小，增减主区域的数目(图7中被分配成3个区域)。另外，根据该主区域的数目，变更记录在数据长度区域上的数据长度。在图7中，保存在主区域(4)上的控制命令1($13)是1语命令，例如进行用于初始化控制对象外部设备的动作。另外，主区域(5)的控制命令2($20)是2语命令，例如将其下一个主区域(6)内的控制数据($AA)输出给端口，对控制对象外部设备进行控制。这样，通过预备多个命令长度，可对应多数的命令。 
还有，在8位的命令数据上附加了垂直奇偶1位的数据变为9位，通过3位×3被模式化(记录单位区域104)。将其用亮度模式和色彩模式的表现表示在图7的右侧，显示在图2的画面编号479及480的扫描线上的、形成上述记录单位区域的信息编入标记图像104的显示例分别表示在图8及图9上。 
图10是表示用于从信息编入标记图像104的映像信号中识别亮度模式、控制控制对象外部设备的本发明的映像连锁型外部设备控制装置60的电路构成例。映像再生装置的映像输出信号(上述的扩张映像信号)连接于本装置的映像信号输入。而且，该输入的映像信号被分支，一方面利用缓冲放大器(AMP)202以保证负荷的形式作为监视器电视的映像输入信号使用。 
另一方面被分支的另一个映像输入信号，通过缓冲放大器(AMP)201进行振幅修正后，通过Y/C分离·同步信号分离电路203，被分离成亮度信号(Y信号)和同步信号。时钟生成·定时控制电路207，通过被 分离的同步信号，生成用于AD变换器204的量子化采样时钟(CK)、用于保持信号级别的夹位(CLP)信号，另外在3到9数据变换电路205中产生所需的控制定时信号。在本实施方式中使用了，Y/C分离·同步信号分离电路203和AD变换器204的模块成为一体化的视频解码器LSI(商品名：ML86V7667(冲电气工业株式会社制造))。另外，使用了数据变换电路205和时钟生成·定时控制电路207的模块成为一体的门阵列(产品名：XC9572(XILINX公司制造))。还有，微型计算机206使用了AT90S2313(ATMEL公司制造)。 
亮度信号(Y信号)通过A/D变换器204被变换成0～7的3位数字数据。还有，信息编入标记图像104分配成，已决定的扫描线上的已决定了的顺序的像素。而且，当前的映像信号到底对应第几个扫描线，是在时钟生成·定时控制电路207内检测出图像帧的垂直同步信号后，能够通过各扫描线的水平同步信号的计数来把握，当信息编入标记图像104被分配的扫描线到来时，向数据变换电路205中输出数据变换的采样指令信号。 
在数据变换电路205中进行与图3所示的3个像素集合单位105A、105B、105C对应的3次数据采样，变换成9位的记录单位区域的数据后，利用同电路205进行垂直奇偶校验。而且，除去奇偶校验位的数据部的8位被传送给微型计算机206。很明显A/D变换器204构成了操作控制数据解码机构的要部，数据变换电路205构成了标记图像再生映像信号提取机构的要部。然而，由电路构成明确地知道，数据变换电路205与标记图像再生映像信号一起，还进行主图像再生映像信号的数字化，从而构成利用数据变换电路205，提取对应标记图像再生映像信号的数字的位数据的形式。另外，微型计算机206，根据规定程序的执行，发挥操作控制数据输出机构的功能。还有，在本实施方式中很明显地知道，从附加了标记图像再生映像信号的扩张映像信号中提取标记图像再生映像信号 的处理，是在信号数字化后进行。 
在量子化(数字化)后，模拟映像信号中不具有能够识别扫描线上的全部像素的解像度的情况居多，此时连续的多个像素的期间，通过设定同一输出，能够谋求信号历时的稳定化，能够大幅度降低进行量子化后的设定值识别上的误差。 
在数据变换电路205和微型计算机206之间，进行现状信号(STATUS)、应答信号(ACK)及数据信号(DATA)的交换。在STATUS中预备START标识、ERR标识、DATA标识及VRC标识的输出。START标识在输出先头命令数据时被置位，ERR标识在检测到垂直奇偶错误时被置位，DATA标识在8位数据齐全时被置位，VRC标识在数据中1的数为奇数时被置位。这些标识，通过微型计算机206受理数据时返回的ACK信号而清零，在下一个数据齐全时通过其内容进行设定。微型计算机206按照下一节处理顺序处理控制信息，对于控制对象外部设备进行控制输出。 
另外，来自映像再生装置61的语音信号能够存储2通道以上的语音信息，例如立体声语音时，使用一个通道的信号作为输出监视器50的监视器语音，使另一个通道的信号作为例如连接的机器人(控制对象外部设备)的语音进行独立发音。由此，在本装置中具备语音输入端子(L、R)，可通过缓冲放大器301，输入给语音通道选择器303之中，再将这里选择的通道的语音，通过缓冲放大器301输出给控制对象外部设备。还有，来自映像再生装置61的语音信号，还通过缓冲放大器302，分配输出给图1的输出监视器50的扬声器51之中。 
图11表示了本发明的映像连锁型外部设备控制装置60的电路构成例，该装置是用于从信息编入标记图像104的映像信号中识别颜色模式并控制控制对象外部设备。为了识别颜色模式，通过颜色信号处理电路203’，将映像信号变换成红色(R信号)、绿色(G信号)、蓝色(B 信号)的强度信号，通过基于比较器204’的阈值处理判定各色的有无，利用数据变换电路205将其变换成位数据。剩余的构成与图10完全相同，省略其详细的说明。 
还有，向操作控制数据(或语音)的控制对象外部设备的输出，可通过传输线组成的有线连接进行，也可以通过利用电波·红外线等的无线连接进行，哪个都可以。 
如上述的被解码化的控制用位数据，通过微型计算机206，一边监视STATUS信号，一边通过以下的顺序取得。 
(1)监视START标识，确认置位后，转移到下一个步骤。 
(2)如果ERR标识被置位，发送ACK信号，返回到(1)。 
(3)受理8位数据(控制用位数据)，如果在标识码($E3)中没有，发送ACK信号，返回到(1)。 
(4)发送ACK信号，清除全部的标识。 
(5)监视DATA标识，确认置位后，转移到下一个步骤。 
(6)如果ERR标识被置位，发送ACK信号，返回到(1)。 
(7)受理数据，如果与前面的命令编号相同，发送ACK信号，返回到(1)。 
(8)发送ACK信号，清除全部的标识。 
(9)监视DATA标识，确认置位后，转移到下一个步骤。 
(10)如果ERR标识被置位，发送ACK信号，返回到(1)。 
(11)受理数据，在内部寄存器中设定数据长度。 
(12)发送ACK信号，清除全部的标识。 
(13)监视DATA标识，确认置位后，转移到下一个步骤。 
(14)如果ERR标识被置位，发送ACK信号，返回到(1)。 
(15)受理数据，在存储器中顺次保存命令数据。 
(16)发送ACK信号，清除全部的标识。
(17)将数据长度的内部寄存器减1，如果为0，返回到(13)。 
(18)监视DATA标识，确认置位后，转移到下一个步骤。 
(19)如果ERR标识被置位，发送ACK信号，返回到(1)。 
(20)受理数据进行奇偶校验，如果异常，发送ACK信号，返回到(1)。 
(21)发送ACK信号，清除全部的标识。 
微型计算机206通过以上的处理受理正常的命令数据，在进行了保存在存储器中的命令数据的执行处理后，再转移到(1)，成为命令待机状态。在命令的执行处理中，例如当受理图7的命令例中的控制命令1($13)时，初始化外部设备，接上控制命令2($20)，当受理控制数据($AA)时，向端点输出$AA，进行控制对象外部设备的控制。 
在以上的实施方式中，信息编入标记图像将构成信息编入标记图像的像素的输出设定值与阈值相比较，进行向控制用位数据的基于两值化的解码化。另外，即使作为集合而处理多个像素，对于那些像素的设定值是在集合内相同，或是通过平均值等采用1个代表值作为该像素集合的输出设定值，也没有任何变化。 
但是，作为与此不同的方法，可采用下面的方法。将信息编入标记图像，分割成相对位置关系被规定一定的一定个数的多个像素组成的像素集合单位，对属于该像素集合单位的各个像素的输出设定值，实施使那些输出设定值相互运算结合的被预先规定的解码化准备运算，同时根据其解码化运算结果，进行控制用位数据的解码化。 
构成像素集合单位的像素数(即输出设定值通过解码化准备运算而被相互结合的像素数)为3以上也好，但是基本上是以2个像素，即以像素对设定是最简便的方法(然而，即使增加供给运算的像素数时，在由于噪声而特定的输出设定值变动的情况下，也具有能够限定其影响到很小的优点)。此时，相对位置关系被规定一定的像素对，特别使帧内或帧间相互邻接的像素对成为信息编入标记像素对，处理上也是有利的。 
图像信息由于平面空间上连续，所以附近像素具有相近值。还有，作为连续图像的录像图像信息在时间轴上连续，所以相邻帧(NTSC时、用摄影存储单位每1/30秒的摄影图像)中的相同位置的像素具有相近值。即存在以下3个关系： 
(1)在水平线上的图像信息上，相邻的像素的输出设定值具有相近值(邻接相关)； 
(2)连续的上下线的相同位置的像素的输出设定值具有相近值(线相关) 
(3)连续帧的相同位置的像素输出设定值具有相近值(帧相关)。 
利用此相关关系，通过对信息编入标记像素对附加用于特定控制用位数据的内容的差分值，映像上也能够用很小的变化量(不显眼)编入信息。 
基于差分的位数据的内容判定(H：1，L：0)，在信息编入像素对的各输出设定值a，b上，通过减法运算a—b＝c求得差分值，例如c≧0时为H，c<0时为L(此时阈值为0，也可用0以外的值为阈值)。由此，编入H信息时，以c≧0的方式操作信息编入像素对的输出设定值a、b，编入L的信息时，如果以c<0的方式修正操作a、b时，能够没问题地读取控制用位数据。 
这里，为了具有对噪声等的耐性，导入余裕度D的概念。即以采用该余裕度D的满足以下关系的方式，用最小的变化量操作a、b，写入a’、b’。 
H：a’—b’＝D 
L：a’—b’＝—D 
D>0                        ··(51) 
例如当原始的值a＝100、b＝100，设定了余裕度D为10时，编入H 信息时，如果取a与b的平均值， 
(a+b)/2＝100                          ··(52) 
则a’＝((a+b)/2)+D/2＝100+5＝105 
b’＝((a+b)/2)—D/2＝100—5＝95       ··(53) 
将原始的主图像的像素对的输出设定值a、b修正变化为上述a’、b’，作为信息编入像素对的输出设定值。另外，编入L信息时， 
a’＝((a+b)/2)—D/2＝100—5＝95 
b’＝((a+b)/2)+D/2＝100+5＝105        ··(54) 
同样将a、b修正变化为a’、b’。 
这样，由于主图像的像素对为邻接像素，输出设定值a、b原本接近，可知用较少的修正变化量(此例中为5)可以使信息编入。另外，例如当主图像的像素对的输出设定值a＝115、b＝100时，编入H的信息时，变成 
a—b＝15≧D(＝10)                     ··(55) 
主图像的像素对不使其输出设定值变化(即不修正)，可以转向为信息编入像素对。 
对于具有基于相关关系的相近值的信息编入像素对的输出设定值，通过采用将控制用位数据作为差分而编入的方法，能够对原图像实现由少变化量组成的不显眼的控制用位数据的编入。 
以下，再具体地进行说明。图1的映像连锁型外部设备控制装置60，在这里承担像素对的输出设定值的读入和利用其输出设定值的解码化准备运算及解码化处理。包含控制装置60的全体的系统构成与图1相同。近年，个人计算机(PC)运算能力增大，具备实时地通过内藏图像而解码控制信息并控制外部设备62的能力。这里，如图15，作为实施例，表示了以PC60为主体构成控制装置的例子。包含信息编入标记图像的扩张映像数据(即内藏控制信息的图像信息)，通过将DVD等的媒体(与图 1相同的DVD播放器或VTR(符号61))、基于因特网的分发、还有以电视广播等作为数据源，与其对应的图像输入接口(具体的为DVD驱动、USB接口、视频捕捉卡、LAN卡、电视调谐卡等)401装备到PC60上进行输入。 
PC60具备含有CPU403及工作存储器404的运算处理部402。运算处理部402根据规定的程序处理，从构成扩张图像数据的被预先指定的线的像素群中，取得信息编入像素对，同时通过那些像素设定值(a’、b’)的比较运算，顺次展开为控制用位数据。而且，对控制用位数据实施与之前说明相同的错误检测处理、基于识别码的判别处理，最终的控制数据被解码化。而且，此信息从对应了所控制的设备的控制输出接口(USB、RS232、并行接口等)403中输出给外部设备62，被用于其控制。还有，控制装置60，为了实现与上述PC同等的处理能力，也可为专用设计的硬件。 
作为解码化准备运算的方式，有上述的3种类型。 
(A)邻接相关的利用：在图12中，在帧fz的水平线(扫描线)1y上占邻接位置Px、Px+1的2个像素a、b。 
(B)线相关：在图13中，帧fz上的连续的上下线(扫描线)上1y、1y+1的相同水平位置Px的2个像素a、b。 
(C)帧相关：在图14中，占邻接帧fz、fz+1的相同水平·垂直位置Px、ly的2个像素a、b。 
对以上的具有任一相近值的2个邻接像素的值a、b进行修正操作。还有，像素的输出设定值，除一般采用的R、G、B或Y、U、V各要素的值以外，也可使用合成了这些的值(例如(R2+G2+B2)1/2)。另外，由此，值a、b的范围也变得不同，这里为了单纯化，作为具有0～255范围的整数值进行说明。另外，这里，为了使其具有对噪声等的耐性，导入上述的余裕度D，但也有根据使用环境，不需要余裕度D的导入的 情况(例如处理完全没有劣化的数字图像的情况)。 
图16表示用于对上述2个像素的输出设定值a、b编入1位的控制用位数据(C＝H或L)的、计算信息编入像素对的输出设定值a’、b’的顺序。 
·在S01中，取得需要的信息，进行初始设定。 
·在S02中，根据编入1位的控制用位数据(C＝H或L)进行分支。 
·在S03、04中，当原始像素的输出设定值a、b的差分值超过余裕度D时，无论如何在S05中输出置换其值。 
·在S06、07中，算出内含了余裕度D的注入值a’、b’。 
·在S08、13中，当数值超过上限时进行分支，在S10、S15中进行调整。 
·在S12、09中，当数值超过下限时进行分支，在S14、S11中进行调整。 
·在S16中，将原始像素的输出设定值a、b的位置上注入算出的值a’、b’的图像。 
利用上述(A)、(B)、(C)的各相关关系，将控制用位数据E3H：11100011B上，再编入附加了垂直奇偶的编入信息：111000111B(参照图7)时的像素的输出设定值的修正计算例表示在表1、表3及表5上(取得像素值意味着修正前的像素值，注入像素值意味着修正后的像素值)。
Figure G2007800074732D00261
Figure G2007800074732D00271
Figure G2007800074732D00272
Figure G2007800074732D00281
Figure G2007800074732D00282
在表1的邻接相关(A)组成的编入的例子中，取得水平线上的相邻像素的组(D0、D1)、(D2、D3)、(D4、D5)、…，作为值(b、a)的组进行代入。这里最初的值a＝104、b＝100。与此相对，为了编入最初的控制用位数据H(H：1，L：0)，作为计算的结果得到a’＝107、b’＝97。同样地，利用D0～D17的18个取得像素，算出用于编入9个控制用位数据111000111B的注入像素的输出设定值。由此像素，要解码化控制用位数据，对(D0、D1)、(D2、D3)、(D4、D5)…组，通过减法运算a—b＝c求得差分值c，c≧0时判定为H(1)，c<0时判定为L(0)。由此，如表2所示，作为控制用位数据的解码化结果得到HHHLLLHHH＝111000111B。 
在表3的线相关组成的编入例子中，取得L478和L479的、连续水平线的相同垂直位置像素的输出设定值的组(L478：D0、L479：D0)、(L478：D1、L479：D1)、(L478：D2、L479：D3)、…的值，通过作为值(a、b)的组进行代入，算出注入像素的输出设定值(a’、b’)。a’的注入信息值，通过向478线的改写，生成编入图像；b’通过向479线的改写，生成编入图像，此图像如表4所示，可解码化成正确的控制用位数据。 
同样，在表5的帧相关组成的编入例子中，取得连续帧F1和F2的相关同水平线L479的相同垂直位置像素的输出设定值的组(F1：L479：D0、F2：L479：D0)、(F1：L479：D1、F2：L479：D1)、(F1：L479：D2、F2：L479：D2)、…的值，通过作为值(a、b)的组进行代入，算出注入像素的输出设定值(a’、b’)。a’的注入信息值，通过向479线的改写，生成编入图像；b’通过向479线的改写，生成编入图像，如表6所示，可解码化成正确的控制用位数据。 
这里，从取得像素的输出设定值，基于注入像素的输出设定值的减法运算得到的修正值，例如在表1的D0中为—3，在D1中为+3，与像 素的值的范围0～255相对较小，图像变化很少。另外在(D2、D3)中不使图像变化而作为控制用位数据使用。表1的取得像素的输出设定值(实线)和注入像素的输出设定值(虚线)表示为图形的结果如图17所示。由此可知，2个像素输出设定值的差十分小，能够抑制到编入控制用位数据的图像与原图像通过目视不能判别出其变化的程度。

Claims (22)

1.一种映像连锁型控制对象外部设备控制装置，其特征在于，
将用于输出主图像的映像信号的第一映像数据附加上第二映像数据得到扩张映像数据，把其扩张映像数据作为映像数据源使用，同时将再生上述扩张映像数据的映像再生装置和控制对象外部设备连接着使用，其中上述第二映像数据是用于输出信息编入标记图像映像信号，上述信息编入标记图像映像信号反映控制对象外部设备的操作控制中使用的控制信息内容，该映像连锁型控制对象外部设备控制装置具备：
标记图像再生映像信号提取机构，其在随着上述扩张映像数据的再生从映像再生装置中输出的，基于上述第一映像数据的主图像再生映像信号上附加的基于上述第二映像数据的信息编入标记图像再生映像信号的扩张映像信号中，提取标记图像再生映像信号；
操作控制数据解码机构，其解析上述标记图像再生映像信号的内容，从而解码上述控制对象外部设备用于进行自身的操作控制处理的可直接读取的操作控制数据；
操作控制数据输出机构，其将该解码的操作控制数据输出给控制对象外部设备中。
2.根据权利要求1所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述扩张映像数据在输出监视器上用于显示上述主图像的映像帧上，生成内藏了上述信息编入标记图像的扩张映像帧的数据，上述标记图像再生映像信号提取机构，从基于该扩张映像帧的数据的再生映像信号中，将提取出构成上述信息编入标记图像的像素的映像信号作为上述标记图像再生映像信号的信号。
3.根据权利要求2所述的映像连锁型控制对象外部设备控制装置，其特征在于，
构成上述信息编入标记图像的像素的输出设定值，量子化成序列被预先规定的2位以上的多个等级，同时规定该输出设定值的上述序列上的顺序与用于记录上述控制信息内容的多个位组成的控制用位数据之间的唯一对应关系，上述操作控制数据解码机构具有控制用位数据解码机构，该机构检测被上述标记图像再生映像信号反映的上述像素的上述输出设定值，根据上述对应关系，解码成上述控制用位数据。
4.根据权利要求3所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述信息编入标记图像，被分割成输出设定值被一律规定的多个像素组成的像素集合单位，上述控制用位数据解码机构根据被该像素集合单位规定的上述输出设定值，进行向控制用位数据的解码化。
5.根据权利要求4所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述扩张映像数据是模拟映像信号，上述控制用位数据解码机构，具有A/D变换器，该变换器通过对反映了上述输出设定值的该模拟映像信号的模拟输入值进行数字变换，从而解码化成上述控制用位数据。
6.根据权利要求3所述的映像连锁型控制对象外部设备控制装置，其特征在于，
通过上述解码化得到的多个上述控制用位数据集合，从而构成上述操作控制数据的记录单位区域。
7.根据权利要求6所述的映像连锁型控制对象外部设备控制装置，其特征在于，
多个上述记录单位区域集合，从而构成作为向上述控制对象外部设备的上述操作控制数据的输出单位的帧构造数据，该帧构造数据包含以下顺序的区域：从其输出时系列中的先头侧开始，用于识别以后的像素列为记录上述操作控制数据的帧构造数据的识别区域，表示上述帧构造数据的数据长度的数据长度区域，及表示向上述控制对象外部设备的上述操作控制数据的内容的主区域。
8.根据权利要求7所述的映像连锁型控制对象外部设备控制装置，其特征在于，
构成各个上述记录单位区域的上述控制用位数据的数据位数全部相同，各上述记录单位区域的数据位列的末尾成为用于进行该数据位列的奇偶校验的垂直奇偶校验位，由上述数据长度特定的上述帧构造数据的最终记录单位区域，对先行的记录单位区域相互对应顺序的数据位进行个别地汇集，成为集合了用于进行奇偶校验的多个水平奇偶校验位的水平奇偶区域。
9.根据权利要求7所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述主区域的数目可根据上述操作控制数据的大小增减，根据该主区域的数目，变更记录于上述数据长度区域中的上述数据长度。
10.根据权利要求7所述的映像连锁型控制对象外部设备控制装置，其特征在于，
将保存命令编号的命令编号区域设置在识别区域和数据长度区域之间，该命令编号为基于记录在主区域上的操作控制数据，唯一特定向控制对象外部设备的命令执行顺序的编号，同时上述主区域的记录内容和上述命令编号相同的多个上述帧构造数据，重复内藏到相同的上述映像帧或映像区域上。
11.根据权利要求3所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述信息编入标记图像被分割成由相对位置关系被规定为一定的一定个数的多个像素组成的像素集合单位，上述控制用位数据解码机构，对属于该像素集合单位的各个像素的上述输出设定值，实施使那些输出设定值相互运算结合的预先规定的解码化准备运算，同时根据其解码化准备运算的结果，进行向上述控制用位数据的解码化。
12.根据权利要求11所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述像素集合单位成为由相对位置关系被规定成一定的像素对组成的信息编入像素对。
13.根据权利要求12所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述信息编入像素对为同一帧内相互邻接的像素对。
14.根据权利要求13所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述信息编入像素对为在同一扫描线上存在邻接关系的像素对。
15.根据权利要求13所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述信息编入像素对为在同一帧内相互邻接的扫描线间存在邻接关系的像素对。
16.根据权利要求12所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述信息编入像素对为在相互邻接的帧间存在邻接关系的像素对。
17.根据权利要求12所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述控制用位数据解码机构，作为上述解码化准备运算，进行上述信息编入像素对的输出设定值的差分运算，根据与该差分运算得到的差分值的被预先规定的阈值的比较，进行向上述控制用位数据的解码化。
18.根据权利要求17所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述信息编入像素对是，对构成原来上述主图像的对应的原像素对的输出设定值进行修改变换而生成，从而通过上述解码化准备运算，得到给予意图内容的控制用位数据的差分值。
19.根据权利要求18所述的映像连锁型控制对象外部设备控制装置，其特征在于，
在上述解码化时，以上述差分值变为预先规定的余裕度以上的方式，规定用于将上述原像素对变换成信息编入像素对的上述输出设定值的修改内容。
20.根据权利要求2所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述扩张映像帧数据，将规定上述输出监视器的各像素的输出设定状态的像素设定信息，按照在上述输出监视器上显示上述扩张映像帧的扫描线上的像素顺序进行排列，
上述信息编入标记图像的显示区域规定为上述映像帧上的预先规定位置的扫描线。
21.根据权利要求20所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述输出监视器的扫描方式是光栅扫描方式，位于上述映像帧上的上下方向的任一端部的1个或多个扫描线，被规定为上述信息编入标记图像的显示区域。
22.根据权利要求20所述的映像连锁型控制对象外部设备控制装置，其特征在于，
上述信息编入标记图像，被分割成由在扫描线上相互邻接的输出设定状态被一律规定的多个像素组成的像素集合单位，上述控制用位数据解码机构，根据该像素集合单位规定的上述输出设定值，进行向上述控制用位数据的解码化。
CN2007800074732A 2006-03-01 2007-03-01 映像连锁型控制对象外部设备控制装置 Expired - Fee Related CN101395908B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006055136 2006-03-01
JP055136/2006 2006-03-01
PCT/JP2007/053920 WO2007100044A1 (ja) 2006-03-01 2007-03-01 映像連動型制御対象外部機器制御装置及びそれに使用する映像記録媒体

Publications (2)

Publication Number Publication Date
CN101395908A CN101395908A (zh) 2009-03-25
CN101395908B true CN101395908B (zh) 2011-12-07

Family

ID=38459143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800074732A Expired - Fee Related CN101395908B (zh) 2006-03-01 2007-03-01 映像连锁型控制对象外部设备控制装置

Country Status (8)

Country Link
US (1) US20090010620A1 (zh)
EP (1) EP1998565A4 (zh)
JP (1) JP4637235B2 (zh)
KR (1) KR101062567B1 (zh)
CN (1) CN101395908B (zh)
AU (1) AU2007221717B2 (zh)
CA (1) CA2644523A1 (zh)
WO (1) WO2007100044A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482051B1 (ja) * 2008-12-23 2010-06-16 株式会社東芝 装置制御システム
KR20120058763A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 영상 장치에서 영상 데이터를 송신하기 위한 장치 및 방법
WO2013166649A1 (en) 2012-05-08 2013-11-14 Nokia Corporation Method and apparatus for providing immersive interaction via everyday devices
US9471824B2 (en) * 2013-07-12 2016-10-18 Qualcomm Incorporated Embedded barcodes for displaying context relevant information
WO2020179618A1 (ja) * 2019-03-04 2020-09-10 パナソニックＩｐマネジメント株式会社 映像表示システム、映像変換装置及び映像表示方法
JP7234719B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム
US20230384763A1 (en) * 2022-05-31 2023-11-30 Rockwell Automation Technologies, Inc. Interlacing data in streaming industrial image data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1250270A (zh) * 1998-08-11 2000-04-12 卡西欧计算机株式会社 数据通信设备、数据通信方法、和存储用于数据通信的计算机程序的存储媒体
JP2004048186A (ja) * 2002-07-09 2004-02-12 Seiko Epson Corp コミュニケーション支援システム、コミュニケーション端末、動作制御データ蓄積端末及び端末用プログラム、並びにコミュニケーション支援方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807301A (en) * 1987-09-02 1989-02-28 Ferber Robert C Protective garment for the hip area
US4807031A (en) * 1987-10-20 1989-02-21 Interactive Systems, Incorporated Interactive video method and apparatus
US6251493B1 (en) * 1996-04-08 2001-06-26 3M Innovative Properties Company Vibration and shock attenuating articles and method of attenuating vibrations and shocks therewith
JP3980687B2 (ja) 1996-11-29 2007-09-26 ソニー株式会社 情報付加放送システム
JP2000056857A (ja) * 1998-08-12 2000-02-25 Nec Corp 情報処理装置における操作部のロック装置
US6701529B1 (en) * 1999-02-05 2004-03-09 Extrude Hone Corporation Smart padding system utilizing an energy absorbent medium and articles made therefrom
DE60045927D1 (de) * 1999-02-25 2011-06-16 Macrovision Corp Verfahren und Gerät zur Kontrolle des Kopierens eines Video- oder Audiosignales unter Verwendung von Wasserzeichen
US6737957B1 (en) * 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7142691B2 (en) * 2000-03-18 2006-11-28 Digimarc Corporation Watermark embedding functions in rendering description files
JP4934904B2 (ja) * 2000-05-12 2012-05-23 富士通株式会社 ロボット連携装置、ロボット連携プログラム記憶媒体、およびロボット連携プログラム
WO2001099325A2 (en) * 2000-06-20 2001-12-27 Digimarc Corporation Interactive video and watermark enabled video objects
MXPA02006748A (es) * 2000-11-08 2002-12-13 Koninkl Philips Electronics Nv Metodo y aparato para comunicar una orden.
US20060157901A1 (en) * 2001-08-27 2006-07-20 Sting Free Company Vibration dampening material and method of making same
US7116374B2 (en) * 2003-08-26 2006-10-03 Koplar Interactive Systems International, L.L.C. Method and system for enhanced modulation of video signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1250270A (zh) * 1998-08-11 2000-04-12 卡西欧计算机株式会社 数据通信设备、数据通信方法、和存储用于数据通信的计算机程序的存储媒体
JP2004048186A (ja) * 2002-07-09 2004-02-12 Seiko Epson Corp コミュニケーション支援システム、コミュニケーション端末、動作制御データ蓄積端末及び端末用プログラム、並びにコミュニケーション支援方法

Also Published As

Publication number Publication date
CN101395908A (zh) 2009-03-25
KR20080105142A (ko) 2008-12-03
AU2007221717B2 (en) 2010-06-10
CA2644523A1 (en) 2007-09-07
JPWO2007100044A1 (ja) 2009-07-23
KR101062567B1 (ko) 2011-09-06
AU2007221717A1 (en) 2007-09-07
WO2007100044A1 (ja) 2007-09-07
JP4637235B2 (ja) 2011-02-23
EP1998565A4 (en) 2011-06-08
US20090010620A1 (en) 2009-01-08
EP1998565A1 (en) 2008-12-03

Similar Documents

Publication Publication Date Title
CN101395908B (zh) 映像连锁型控制对象外部设备控制装置
CN101861732B (zh) 发送设备、接收设备、通信系统、发送方法、接收方法
TW298698B (zh)
CN1307837C (zh) 可一起产生逐行扫描与隔行扫描视讯信号的影像播放系统
CN101151673B (zh) 用于提供多视频画面的方法和设备
CN101049015B (zh) 修改视频信号的设备和方法
US5920661A (en) Information recording medium and information reproducing apparatus
CN102726038A (zh) 用于依据视频输入产生适合显示装置的显示能力的视频输出的视频处理装置及相关方法
DE20211123U1 (de) Media-Player mit Möglichkeit zur Unterstützung verschiedener Chipkarten
US20030043142A1 (en) Image information transmission system
US20080094516A1 (en) Digital image processing method for analog transmission network, and camera apparatus, image processing apparatus and image processing system therefor
CN103402107A (zh) 记录再现装置和变换装置
CN100551009C (zh) 用于产生视频信号的方法和设备
CN1731526B (zh) 记录再现装置
CN102387332A (zh) 传送系统
EP0827347A2 (en) Recording and reproducing apparatus for digital image information
CN102792683A (zh) 显示控制装置、显示控制程序产品、及显示控制系统
CN1913627B (zh) 解码装置
JPS5984314A (ja) 情報記録円盤再生装置
JP2007518297A (ja) 複数のフォーマットで製作されたビデオデータを記録した情報記録媒体及びその再生装置
JP2006324739A (ja) 符号化データ再生装置
JPH10262268A (ja) 立体映像符号化装置及び復号化装置
JP4131349B2 (ja) データ変換装置およびデータ変換方法、記録媒体、並びにデータ変換システム
US5982978A (en) Magnetic recording/reproducing apparatus and data arranging method for use in the apparatus
CN1321527C (zh) 用于在屏幕上显示字符的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111207

Termination date: 20120301