CN102648623A - 非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质 - Google Patents

非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质 Download PDF

Info

Publication number
CN102648623A
CN102648623A CN2010800555503A CN201080055550A CN102648623A CN 102648623 A CN102648623 A CN 102648623A CN 2010800555503 A CN2010800555503 A CN 2010800555503A CN 201080055550 A CN201080055550 A CN 201080055550A CN 102648623 A CN102648623 A CN 102648623A
Authority
CN
China
Prior art keywords
visual information
image
information
unit
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800555503A
Other languages
English (en)
Inventor
羽生直人
福井宽
佐久间健一
道关隆国
北村一真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ritsumeikan Trust
Shiseido Co Ltd
Original Assignee
Ritsumeikan Trust
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ritsumeikan Trust, Shiseido Co Ltd filed Critical Ritsumeikan Trust
Publication of CN102648623A publication Critical patent/CN102648623A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32229—Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Record Information Processing For Printing (AREA)

Abstract

一种非可视化信息嵌入装置，在获取的图像的预定位置嵌入非可视化信息，所述非可视化信息嵌入装置的特征在于，具有：图像解析单元，获取所述图像内所包含的物体信息和位置信息；嵌入对象图像判定单元，根据由所述图像解析单元所获得的物体信息，判断所述图像是否为嵌入对象图像；以及图像合成单元，根据由所述嵌入对象图像判定单元所获得的判定结果，将所述非可视化信息合成至所述图像。

Description

非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质
技术领域
本发明涉及一种非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质，用于通过高效地获取信息，以提供具有高附加值和高精度的图像。
背景技术
在现有技术中有这样一种技术（例如，参照专利文献1），即：对例如描绘有图案等的卡片进行拍摄，并根据从拍摄的映像中所检测出的卡片的种类和三维位置信息来进行对控制乐器的MIDI（Musical Instrument Digital Interface）信号的输出、以及对映像的输出。
还存在一种系统工具（例如，参照非专利文献1），其使用相机对纸介质的图形进行识别，然后在计算机的显示器上显示出相应的虚拟图像。
另外，熟知的有一种图像处理技术（例如，参照专利文献2），其包含如下步骤：获取具有与预定的图像图案相对应的识别信息的对象图像；从所取得的对象图像中识别出识别信息；在预先登记的多个(本申请中指2个以上，下同)处理中，实行与所识别的识别信息相对应的预定处理；将对象图像显示在预定的显示区域内；从所显示的对象图像中获取多个预定位置的位置信息；以及在基于所获取的多个位置的位置信息的方向和位置上，描绘与所识别的识别信息相对应的图像。
再有，在现有技术中熟知的还有一种电子水印技术（例如，参考专利文献3、4），其利用人的知觉（视觉、听觉）特性，在动态图像中，以人不能感知的方式，对静态图像、动画、音声等数字内容嵌入与该内容不同的信息。
现有专利文献
专利文献
专利文献1：特开2002－32076号公报
专利文献2：特开2000－82107号公报
专利文献3：国际公开第2005／074248号小册子
专利文献4：国际公开第2007／015452号小册子
非专利文献1：http://www.hitl.washington.edu/artoolkit/、［ARToolKit］
发明内容
本发明想要解决的课题如下：
但是，在上述现有技术中，尽管通过使卡片等沿预定方向（平行或旋转）进行移动，可以使所合成的图像产生变化并进行显示，但是，在使卡片等保持不动的状态下，并不能使所合成的图像产生变化。
为此，例如，因为仅能与预先制作好的动画的合成等相对应，并仅能按卡片的种类执行某种特定的动作，所以，并不能提供具有高附加值和高精度的图像和映像。
另外，在非专利文献1所述的虚拟图形显示系统中，一旦显示了虚拟图形，则再难以使图形进行变化。换言之，并不能根据外部环境的变化使图形变化。再有，在现有技术中，显示图像时，是以包含识别信息的卡片等的位置为基准进行显示的，所以，在显示方法方面也存在着限制，例如，并不能对三维映像等进行显示。
另外，在使用电子水印技术将信息嵌入图像的情况下，如果信息仅被嵌入至画面的一部分，则难以对图像中的哪部分被嵌入了电子水印信息进行判别，所以，只得向整个图像嵌入数据。在这种情况下，例如，因为不能仅向显示在电视上的映像中所包含的一部分的物体（例如，花或人物等）进行信息的嵌入，所以，需要获取画面上所显示的所有物体的信息。这样，一些使用者并不需要的信息也必须要被获取。另外，在整个电视画面上都嵌入了电子水印的情况下，用手机等上所设置的相机进行拍摄并识别时，需要在离开相当远的位置上进行拍摄。
本发明是鉴于上述问题而提出的，其目的在于提供一种非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质，用于通过高效地获取信息，以提供具有高附加值和高精度的图像。
用于解决上述课题的手段如下：
为了解决上述课题，本发明的非可视化信息嵌入装置是一种在获取的图像的预定位置嵌入非可视化信息的非可视化信息嵌入装置，其特征在于，具有：图像解析单元，获取所述图像内所包含的物体信息和位置信息；嵌入对象图像判定单元，根据所述图像解析单元所获取的物体信息，判断所述图像是否为嵌入对象图像；以及图像合成单元，根据所述嵌入对象图像判定单元所获得的判定结果，将所述非可视化信息合成至所述图像。
另外，为了解决上述课题，本发明的非可视化信息识别装置是一种对获取的图像中所包含的非可视化信息进行识别的非可视化信息识别装置，其特征在于，具有：非可视化信息提取单元，从所述图像中提取出非可视化信息；非可视化信息解析单元，在所述非可视化信息提取单元提取出所述非可视化信息的情况下，根据所述非可视化信息，对获得的所述图像中所包含的物体的附加信息进行解析；以及显示信息生成单元，根据由所述非可视化信息解析单元所获得的附加信息，生成用于显示在画面上的显示信息。
本发明的效果如下：
根据本发明，通过高效地获取信息，可以提供具有高附加值和高精度的图像。
附图说明
图1是表示本实施形态的非可视化信息嵌入装置的功能构成的一个例子的图。
图2是表示本实施形态的非可视化信息识别装置的功能构成的一个例子的图。
图3是表示本实施形态的可实现非可视化信息嵌入处理以及非可视化信息识别处理的硬件结构的一个例子的图。
图4是表示本实施形态的非可视化信息嵌入处理步骤的一个例子的流程图。
图5是表示本实施形态的非可视化信息识别处理步骤的一个例子的流程图。
图6是表示图像的一个例子的图。
图7是表示非可视化信息的一个例子的图。
图8是用于对附加信息的具体嵌入例进行说明的图。
图9是用于对低频部或高频部的图案进行说明的图。
图10是表示码的嵌入实施例的图。
图11是表示针对栅格的码的嵌入例的图。
图12是表示低频部的码的嵌入的一个例子的图。
图13A是表示高频部的码的嵌入的一个例子的图。
图13B是表示高频部的码的嵌入的一个例子的图。
图14是表示用于提取非可视化信息的一个例子的图。
图15是表示提取实际的非可视化信息的例子的图。
图16是表示非可视化信息的识别结果的一个例子的图。
图17A是表示附加了非可视化信息的图像的例子的图。
图17B是表示附加了非可视化信息的图像的例子的图。
图17C是表示附加了非可视化信息的图像的例子的图。
图17D是表示附加了非可视化信息的图像的例子的图。
图17E是表示附加了非可视化信息的图像的例子的图。
图17F是表示附加了非可视化信息的图像的例子的图。
图17G是表示附加了非可视化信息的图像的例子的图。
图17H是表示附加了非可视化信息的图像的例子的图。
图18是表示非可视化信息的其他实施例的图。
图19是表示比较结果的一个例子的图。
图20A是表示应用于非可视化确认试验的图像的一个例子的图。
图20B是表示应用于非可视化确认试验的图像的一个例子的图。
具体实施方式
在本发明中，例如，针对画面所显示的图像或映像、或者纸张、明信片、海报、卡片等各种印刷介质等，以肉眼不能识别的加工方法将非可视化信息（marker）嵌入整个图像的一部分；然后，使用数码相机或便携式终端上所设置的相机等摄影单元，对该图像或映像、或者印刷介质等的一部分进行拍摄；接下来，在计算机或便携式终端等中，通过使用滤波器等进行图像处理，对所嵌入的非可视化信息进行识别。另外，在本发明中，例如，即使在便携式终端等那样的容量和性能都受到了限制的机型中，也可以实施能够对所嵌入的非可视化信息进行识别的非可视化信息嵌入方法、以及结合了图像处理的非可视化信息的识别。再有，在本发明中，根据所识别的非可视化信息，可以获取与所拍摄的图像或映像等相对应的附加值信息。
以下，参照附图对本发明的非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质的较佳实施形态进行说明。这里需要说明的是，在本实施形态中，“图像”是指照片等的一张图像，或者是指映像中以连续的帧为单位的图像。
下面，对本实施形态的非可视化信息嵌入装置的功能构成例进行说明。图1表示本实施形态的非可视化信息嵌入装置的功能构成的一个例子。
图1所示的非可视化信息嵌入装置10被构成为具有输入单元11、输出单元12、蓄积（保存）单元13、图像获取单元14、图像解析单元15、嵌入对象图像判定单元16、非可视化信息设定单元17、非可视化信息生成单元18、图像合成单元19、收发单元20、及控制单元21。
输入单元11用于接收来自使用者等的图像获取指示、图像解析指示、嵌入对象图像判定指示、嵌入信息设定指示、嵌入信息生成指示、图像合成指示、收发指示等各种指示的开始／结束等的输入。这里需要说明的是，就输入单元11而言，例如，如果是个人电脑等通用计算机，则其由键盘或鼠标等指示装置构成；如果是便携式终端等，则其由各操作按钮群等构成。另外，输入单元11例如也具有可将由数码相机等拍摄单元所拍摄的图像或映像等进行输入的功能。这里需要说明的是，上述拍摄单元可以被设置在非可视化信息识别装置30内，也可以是外部的具有同样功能的单元。
输出单元12对由输入单元11所输入的内容、或基于该输入的内容所执行后的内容等进行输出。具体而言，输出单元12实行对获取的图像、图像解析结果、嵌入对象图像判定结果、所设定的非可视化信息、所生成的非可视化信息、合成了非可视化信息的合成图像、各构成的处理结果等的画面显示及音声输出。这里需要说明的是，输出单元12可由显示器和扬声器等构成。
另外，输出单元12还可以具有打印机等的印刷功能，通过将上述各输出内容印刷在例如纸张、明信片、海报等各种印刷介质等上，以提供给使用者等。
蓄积单元13在本实施形态中对所需的各种信息、及嵌入处理实行时或执行后的各种数据进行保存。具体而言，蓄积单元13可获取已经输入或预先保存了的、由图像获取单元14所取得的、通过拍摄而获得的1个或多个图像或映像。另外，蓄积单元13还对由图像解析单元15所解析了的结果、嵌入图像判定单元16的判定结果、非可视化信息设定单元17的设定内容、非可视化信息生成单元18所生成的嵌入信息、及图像合成单元19所合成的图像等进行保存。再有，蓄积单元13根据需要还可以对已经保存了的各种数据进行读取。
图像获取单元14用于获取作为信息嵌入对象的图像或映像等。这里需要说明的是，图像或映像等例如可以是由相机等拍摄单元所获得的图像或映像等，也可以是适用于海报、照片、卡片、贴纸等的对象图像等。另外，图像获取单元14经由收发单元20可获取由连接至通信网络上的外部装置所拍摄的信息、及数据库中所保存的图像或映像等，再有，经由输入单元11还可获取由使用者使用相机等所实际拍摄的图像。
图像解析单元15通过对由图像获取单元14所获取的图像进行解析，对图像中所包含的内容进行解析。具体而言，可获取图像中的哪部分（位置、区域）展示出了什么样的物体、或映像中的物体怎样进行移动等的、由物体信息和坐标等构成的物体位置信息。例如，如果物体为人物，则图像解析单元15可以根据脸部的特征实施脸部检测，另外，还可以将脸部的特征量数值化，并根据该结果进行人物的特定。
嵌入对象图像判定单元16根据由图像解析单元15所解析的结果，对图像中所展示的物体是否为预先设定的非可视化信息的嵌入对象进行判定。这里需要说明的是，在嵌入对象图像判定单元16中，物体是否为非可视化信息的嵌入对象这样的判断，可以通过由使用者等预先设定嵌入信判定息并将其保存至蓄积单元13等，然后根据该嵌入判定信息来进行；或者，可以通过对该物体的附加信息是否被保存在蓄积单元13中进行检索（确认），如果该附加信息被保存在蓄积单元13中，则判定为是嵌入对象物体这样的方式来进行。
所以，例如，在由图像解析单元15对图像进行解析时发现图像的一部分包含了个人电脑图像的情况下，嵌入对象图像判定单元16对与个人电脑相关的附加信息是否已被保存在蓄积单元13中进行判断，如果其中存在与个人电脑相关的附加信息，则将该个人电脑判定为嵌入对象图像。这里需要说明的是，嵌入内容（附加信息）例如可在非可视化信息设定单元17等中进行设定。另外，所设定的内容被保存至蓄积单元13。
另外，嵌入对象图像判定单元16在图像中存在多个物体时，分别将该各物体作为嵌入对象进行输出。这里需要说明的是，在图像中存在多个物体的情况下，可以将所有物体设定为嵌入对象，另外，还可以将其中的至少一个物体设定为嵌入对象。此时，对物体可按照预先设定的优先度、该物体相对于整个画面的显示位置、如果是映像则该物体的显示时间等信息进行任意的设定，这些详细嵌入信息也被保存至蓄积单元13。
非可视化信息设定单元17根据物体信息对什么样的信息作为附加信息被嵌入、及该信息的具体内容进行设定。例如，在物体信息为钱包或西服等的情况下，对其品牌名、商品名、价格、网站地址等进行设定；在物体信息为人物的情况下，对该人物的姓名、年龄、性别、身高、爱好、履历等进行设定；在物体信息为书的情况下，对该书的书名、作者、发行日、价格、与作者相关的信息等进行设定。这里需要说明的是，作为由非可视化信息设定单元17所设定的附加信息，可包含映像或图像等。
再有，非可视化信息设定单元17对以什么样的形态进行信息的附加进行设定。例如，对附加信息是否为加密的文字、或图案、记号、码信息等、或者显示大小等进行设定。这里需要说明的是，在为码信息等的情况下，在非可视化识别装置侧，较好为设置一对应的数据库，以可从其中获取与该码相对应的信息。如上所述，因为可以通过多种形态来进行设定，所以，可以根据嵌入对象图像的内容对嵌入信息进行恰当的选择和设定。
非可视化信息生成单元18在嵌入对象图像中生成嵌入图像。非可视化信息生成单元18可以直接生成文字信息，也可以生成码信息。这里需要说明的是，作为码信息，例如可使用QR码等二维条码等。另外，在本实施形态中，码信息并不限定于QR码，例如，也可以使用JAN码、ITF码、NW-7、CODE 39、CODE 128、UPC、PDF 417、CODE 49、Data Matrix、Maxi Code等条码。
再有，非可视化信息生成单元18为了不让使用者在实际提供的图像中看出嵌入的信息，对作为嵌入对象的信息，以原图像的颜色信息为基准，生成一使用了高频部和低频部的图像、或仅使用了高频部或仅使用了低频部的图像。这里需要说明的是，低频部是指当以嵌入非可视化信息的部分的原图像明度为基准时将明度设定为低于该基准的部分或区域；高频部是指当以原图像明度为基准时将明度设定为高于该基准的部分或区域。关于非可视化信息生成单元18中的非可视化信息，将在后面详述。另外，非可视化信息生成单元18还可获得非可视化信息要被嵌入图像中的哪个位置的信息，并将其作为坐标信息。
这里需要说明的是，在本实施形态中，当嵌入信息时，例如，较好为在图像中所显示的物体位置上或其周边，嵌入与该物体相对应的嵌入信息；此时，以图像解析单元15所获得的物体位置信息为基准，在对象图像中进行嵌入图像的合成。也就是说，根据本实施形态，并不是对整个图像赋予一个嵌入信息，而是可以将多个非可视化信息嵌入至恰当的位置。
图像合成单元19根据由图像解析单元15所获得的图像、该图像的物体信息、及由坐标信息等构成的物体位置信息，将由非可视化信息生成单元18所生成的非可视化信息嵌入预定的位置，并进行图像的合成。
这里需要说明得是,图像合成单元19在合成对象图像是映像的情况下，对放映中的映像内的物体的移动进行追随并移动，以使非可视化信息可被嵌入至该物体。也就是说，图像合成单元19每次在合成对象图像被输入时都对拍摄图像进行合成处理，并可以将该合成图像按顺序进行显示。
收发单元20是用于从经由通信网络等连接的外部装置获取所需的外部图像（拍摄图像或合成图像等）、及实现本发明的非可视化信息嵌入处理所需的执行程序等的接口。另外，收发单元20还可以将非可视化信息嵌入装置10内所生成的各种信息发送至外部装置。
控制单元21用于对非可视化信息嵌入装置10的各构成部的全体进行控制。具体而言，控制单元21例如根据使用者等经由输入单元11所输入的指示等，进行图像的获取和图像的解析、是否为嵌入对象图像的判断、非可视化信息的设定、以及设定、图像合成等的各种处理的各种控制等。这里需要说明的是，非可视化信息设定单元17的非可视化信息、及非可视化信息生成单元18的非可视化信息可被预先设定和生成，并可被保存至蓄积单元13。
下面，对本实施形态的非可视化信息识别装置的功能构成例进行说明。图2是表示本实施形态的非可视化信息识别装置的功能构成的一个例子的图。
图2所示的非可视化信息识别装置30被构成为具有输入单元31、输出单元32、蓄积（保存）单元33、嵌入图像获取单元34、非可视化信息提取单元35、非可视化信息解析单元36、显示信息生成单元37、收发单元38、及控制单元39。
输入单元31用于接收来自使用者等的嵌入图像获取指示、非可视化信息提取指示、非可视化信息解析指示、显示信息生成指示、收发指示等各种指示的开始／结束等的输入。这里需要说明的是，就输入单元31而言，例如，如果是个人电脑等通用计算机，则其由键盘和鼠标等指示装置构成；如果是便携式终端等，则其由各操作按钮群构成。另外，输入单元31例如也具有可将由数码相机等拍摄单元所拍摄的图像或映像等进行输入的功能。这里需要说明的是，上述拍摄单元可以被设置在非可视化信息识别装置30内，也可以是外部的具有同样功能的单元。
另外，输入单元31还可以从纸张、明信片、海报、照片、卡片等印刷介质中获取嵌入图像。此时，其具有可利用相机等拍摄单元或扫描功能等对数据进行读取的功能。
另外，输出单元32对由输入单元31所输入的内容、及基于该输入的内容所执行后的内容等进行输出。具体而言，输出单元32对由显示信息生成单元37所得到的图像或映像内所显示的物体上的附加信息等进行输出。这里需要说明的是，输出单元32可由显示器和扬声器等构成。
再有，输出单元32还可以具有打印机等的印刷功能，通过将上述物体的附加信息等各输出内容印刷在例如纸张等的各种印刷介质上，以提供给使用者等。
蓄积单元33在本实施形态中对所需的各种信息、及非可视化信息识别处理实行时或执行后的各种数据进行保存。具体而言，蓄积单元33可对由嵌入图像获取单元34所获取的嵌入图像、由非可视化信息提取单元35所提取的非可视化信息（marker）、由非可视化信息解析单元36所解析的非可视化信息、及由显示信息生成单元37所生成的显示内容等进行保存。
另外，蓄积单元33还可以对由非可视化信息解析单元36所解析的数据的相关信息进行保存。例如，在非可视化信息为码信息（包含文字码、二维码等）等的情况下，可以事先将与该码信息相对应的各种数据（例如，与码信息相对应的物体的详细信息（文字、映像、图像、音声等）、及该数据显示于画面时的大小、颜色、时间、位置、动作内容等）保存至蓄积单元33。另外，蓄积单元33在获取码等时、或其他必要时，还可以对保存了的各种数据进行读取。
嵌入图像获取单元34从蓄积单元33或经由收发单元38从连接在通信网络上的外部装置获取嵌入图像。这里需要说明的是，嵌入图像也包含映像。
非可视化信息提出单元35用于提取包含在所提取的嵌入图像中的非可视化信息。具体而言，非可视化信息提取单元35对所输入的嵌入图像进行基于预定频率的滤波，以获取嵌入在图像中的非可视化信息。这里需要说明的是，如果图像中存在多个非可视化信息，则对所有非可视化信息进行提取。
另外，非可视化信息提取单元35也可获取例如是从哪个位置提取出了非可视化信息这样的非可视化信息位置信息。这里需要说明的是，非可视化信息提取单元35将所获取的各种信息保存至蓄积单元33。
非可视化信息解析单元36对由非可视化信息提取单元35所获得的非可视化信息中实际上包含了什么样的附加值数据进行解析。这里需要说明的是，本实施形态的非可视化信息解析单元36具有可读取条码的条码阅读器等的读取功能；例如，在非可视化信息为二维条码的情况下，可使用该读取功能从二维条码中获取信息，将获取的内容（例如，码ID等）作为key(关键字)，并对蓄积单元33或经由收发单元38对与通信网络相连的预先设定的服务器或数据库等外部装置进行检索，如果检索的结果为存在与Key相对应的附加信息，则获取该信息。
显示信息生成单元37用于生成将由非可视化信息单元36所获取的结果显示在画面上的显示信息。这里需要说明的是，作为显示方法，可以在画面上设置另一个框（另一个窗口）以进行说明，也可以在显示对应物体的位置上进行显示，还可以通过音声来进行输出。
另外，显示信息生成单元37可以原样地对所取得的非可视化信息进行可视化，也可以从蓄积单元33或外部装置等获取与非可视化信息相对应的附加信息，然后对所取得的附加信息进行显示。
再有，在显示由非可视化信息解析单元36所获得的结果的情况下，显示信息生成单元37生成用于根据在画面上显示时的大小、颜色、时间、位置、动作内容等进行显示的显示信息，该画面是按照基于上述码ID等从蓄积单元33等获取的每个附加信息所设定的。这里需要说明的是，在对象物体作为映像而移动的情况下，不仅可以追随该物体的位置进行显示，还可以在最初画面的显示位置上固定地进行显示。
收发单元38是用于利用通信网络等从可连接其上的外部装置获取所需的外部图像（拍摄图像等）、或可实现本发明的非可视化信息识别处理的执行程序等的接口。另外，收发单元38还可以将非可视化信息识别装置30内所生成的各种信息发送至外部装置。
控制单元39用于对非可视化信息识别装置30的各构成部的全体进行控制。具体而言，控制单元39例如根据使用者等经由输入单元31所输入的指示等，进行嵌入图像的取得和非可视化信息的提取、非可视化信息的解析、及显示信息的生成等各种处理的各种控制等。
根据上述的装置构成，通过高效地获取信息，可以提供具有高附加值和高精度的图像。
下面，对上述非可视化信息解析单元36的附加信息的获取例进行说明。如上所述，非可视化信息解析单元36在基于非可视化信息所得到的信息为码ID等的情况下，将该码ID等作为Key，对蓄积单元33、或经由收发单元38对连接至通信网络上的预先设定的服务器或数据库等外部装置进行检索，并获取相对应的附加信息。
具体而言，例如，在非可视化信息识别装置30为“单机（stand-alone）型”的情况下，将根据非可视化信息所取得的码ID作为Key，对蓄积单元33进行检索，并获取由检索而得到的结果。另外，在非可视化信息识别装置30为经由通信网络与外部装置相连的“网络型”的情况下，将基于非可视化信息所取得的码ID作为Key，对外部装置进行访问，并从外部装置内的数据群中检索出与码ID相对应的信息，进而从外部装置获得相对应的附加信息。
在非可视化信息嵌入装置10及非可视化信息识别装置30中，通过生成可使计算机执行各功能的执行程序（非可视化信息嵌入程序、非可视化信息识别程序），并将其保存至CD-ROM等存储介质，然后，将该执行程序安装至例如通用的个人计算机、服务器等，就可以实现本发明的非可视化信息嵌入处理及非可视化信息识别处理等。
下面，对本实施形态的可实现非可视化信息嵌入处理和非可视化信息识别处理的计算机硬件构成进行说明。图3是表示本实施形态的可实现非可视化信息嵌入处理及非可视化信息识别处理的硬件结构的一个例子的图。
图3所示的计算机主机被构成为具有输入装置41、输出装置42、驱动装置43、辅助存储装置44、存储（内存）装置45、执行各种控制的CPU 46、及网络接续装置47，这些装置通过系统总线B相互连接。
输入装置41包含使用者等可操作的键盘及鼠标等指示装置，用于接收来自使用者等的有关程序执行等各种操作信号的输入。另外，输入装置41还具有用于对相机等拍摄单元所拍摄的图像进行输入的图像输入单元。
输出装置42具有用于对执行本发明的处理的计算机主体进行操作时所需的各种窗口和数据等进行显示的显示器，通过CPU 46所具有的控制程序，可对执行程序的执行过程和结果等进行显示。
这里，本发明中被安装至计算机主机的执行程序例如可由USB存储器或CD-ROM等便携式存储介质48等提供。存储了程序的存储介质48可被置放至驱动装置43，存储介质48内所包含的执行程序可经由驱动装置43从存储介质48中被安装至辅助存储装置44。
辅助存储装置44为硬盘等存储单元，其可对本发明的执行程序及计算机内设置的控制程序等进行保存，根据需要，还可以进行输入和输出。
存储装置45用于保存由CPU 46从辅助存储装置44中所读出的执行程序等。这里需要说明的是，存储装置45由ROM或RAM等构成。
CPU 46根据OS（操作系统）等的控制程序、及存储装置45内所保存的执行程序，通过对各种演算、及与各硬件构成部的数据输入输出等计算机整体的处理进行控制，可实现合成图像显示等的各种处理。这里需要说明的是，程序执行中所需的各种信息可以从辅助存储装置44获取，另外，也可以对执行结果等进行保存。
网络接续装置47通过与通信网络等进行接续，可以从连接至通信网络的其他终端获取执行程序，也可以将执行该程序时所得到的执行结果或本发明的执行程序本身提供至其他终端等。
根据上述的硬件构成，可执行本发明的非可视化信息嵌入处理和非可视化信息识别处理。另外，通过安装执行程序，在通用个人计算机等上也可以容易地实现本发明的非可视化信息嵌入处理和非可视化信息识别处理。
下面，对非可视化信息嵌入处理和非可视化信息识别处理进行详细的说明。
首先，对本实施形态的非可视化信息嵌入处理步骤进行说明。图4是表示本实施形态的非可视化信息嵌入处理步骤的一个例子的流程图。
图4所示的非可视化信息嵌入处理首先获取由相机等拍摄单元所拍摄的图像（S01），并进行图像的解析（S02），以获取图像中所含有的物体信息、物体位置信息等。
然后，根据由S02的处理所得到的信息，进行是否为嵌入对象图像的判定（S03），并对该物体进行是否需要嵌入非可视化信息（marker）的判断（S04）。这里，在需要嵌入非可视化信息的情况下（S04中的“是”），对非可视化信息进行设定（S05），并根据S05的处理所设定的非可视化信息，生成用于合成至图像的非可视化信息（S06）。
另外，将由S06的处理所生成的非可视化信息合成至图像的预定位置（S07），并将合成图像通过显示器等输出单元进行显示、或作为数据进行输出（S08）。
S08的处理结束后或在S04的处理中，如果不需要嵌入非可视化信息（S04中的“否”），则对其他图像中是否需要嵌入非可视化信息进行判断（S09）。在其他图像中需要嵌入非可视化信息的情况下（S09中的“是”），返回S01并反复执行随后的处理。另外，在S09的处理中，如果其他图像不需要嵌入非可视化信息（S09中的“否”），则结束非可视化信息处理。
下面，对本实施形态的非可视化信息识别处理步骤进行说明。图5是表示本实施形态的非可视化信息识别处理步骤的一个例子的流程图。
图5所示的非可视化信息识别处理首先获取嵌入图像（S11），并从获取的图像中提取非可视化信息（S12）。
然后，在S12的处理中，对是否从图像中提取出了非可视化信息进行判断（S13）；如果提取出了非可视化信息（S13中的“是”），则进行非可视化信息的解析（S14）。接下来，根据由非可视化信息的解析而得到的信息，生成显示在画面等上的显示信息（S15），并对所生成的内容进行显示（S16）。
这里，对是否需要从其他图像识别非可视化信息进行判断（S17），在需要从其他图像识别非可视化信息的情况下（S17中的“是”），返回S11并反复执行随后的处理。另外，在S17的处理中，如果不需要从其他图像识别非可视化信息（S17中的“否”），则结束非可视化信息识别处理。
根据上述的处理，通过高效地获取信息，可以提供具有高附加值和高精度的图像。另外，通过安装执行程序，可以在通用的个人计算机等上容易地实现本发明的非可视化信息嵌入处理。
下面，对本实施方式的非可视化信息进行详细的说明。作为非可视化信息，可以使用文字、数字、记号、标记、图案、色彩、一维码、二维码等。这里，以使用二维码为例进行说明。
图6表示图像的一个例子。在图6所示的图像50中，桌子51上放置了书52、钱包53、笔记本电脑54、及手表55。在本实施形态中，由图像解析单元15获取图像中所包含的这些物体信息及其位置信息。这里，假定在嵌入对象图像判定单元16中具有与钱包53、笔记本电脑54、及手表55相关的关连信息，并生成了非可视化信息。这里需要说明的是，对是否生成了非可视化信息的判断、及生成了什么样的物体信息的确认等，可由使用者等任意执行。
所以，在图6的例子中，在分别显示了钱包53、笔记本电脑54、及手表55的位置上或其周边的预定区域内，由二维码构成的非可视化信息56-1～56-3通过重叠而被合成，生成合成图像。
图7表示非可视化信息的一个例子。这里需要说明的是，在图7中，示出了使用二维码的2个种类的非可视化信息60-1、60-2。图7所示的非可视化信息60-1的最外侧的框中具有低频层61-1，其内侧具有高频层62-1，另外，在其内侧，构成了码部63-1。
通常，如果图像的一部分嵌入了信息，则因为不能对图像中的哪部分嵌入了码部进行判别，所以只好对整个图像进行码的嵌入。但是，在本实施形态中，因为码部63-1被低频层61-1和高频层62-1所包围，所以，通过以预定频率(例如，HPF(high pass filter)、LPF(low pass filter)等)对频率进行滤波，以用黑色等单色、或与图像颜色不同的多个颜色来对其进行标记，这样，二维码就会浮现出来。所以，通过进行滤波，可以提取出码区域，这样，即使仅在图像的一部分内嵌入了码，也可以高效地读取出二维码。
另外，在本实施形态中，即使构成为如图7所示的非可视化信息60-2，即：最外侧的框中具有高频层60-2，其内侧具有低频层61-2，另外，在其内侧构成了码部63-2，也可以得到与上述非可视化信息60-1时的同样的效果。
这里需要说明的是，嵌入码的区域较好为正方形，但是，在本发明中并不限定于此，只要是长方形、菱形、圆形等预定的区域，都可适用。
另外，二维码需要方向信息；在本实施形态中，使码的方向与图像的上下左右方向对齐来进行合成。因此，例如，在使用便携式终端所具有的相机对电视上的映像进行拍摄的情况下，因为通常都是使便携式终端的方向正对着电视画面，所以方向信息被限定在特定的方向。为此，就没有必要向二维码附加表示方向的信息。这样，在识别二维码时，因为所输入的图像无方向信息并示出了固定的方向，所以，不需要向码本身加入方向信息。这样，就可以附加其他的更多的信息，另外，对码进行识别时，因为也不需要对方向信息进行解析，所以可以高效地对码进行识别。因此，根据本实施方式，可以高效地获取非可视化信息。
下面，对本实施方式的图像合成单元19的附加信息的具体嵌入例进行说明。图8是用于对附加信息的具体嵌入例进行说明的图。这里需要说明的是，在以下的说明中，作为附加信息，对二维码的嵌入例进行说明。图8所示原图像因为与上述图6所示图像50相同，所以这里省略对图像50的详细说明。在图8所示图像50中，将上述笔记本型电脑用的非可视化区域56-2扩大后，如右侧图所示，低频部64和高频部65在预定的区域(例如，正方形)内根据预定的条件来排列。这里，将低频部64设为“0”，高频部设为“1”，进行码的嵌入。另外，在高频部65中，以预定像素为单位对浓色和淡色进行交替排列，另外，还进行了调整，以使从更远处观察时平均来看可变为原图像本身的颜色。
下面，对本实施形态的低频和高频进行说明。通常，频率中包含有关时间的频率（时间频率）和有关空间位置的频率（空间频率）；但是，在本实施形态中，如果没有特别的指定，则表示空间频率。空间频率定义为“相对于单位长度的像素值的周期的倒数”。
对本实施形态的频率并无特别的限定，例如，高频部可设定在0.2～2[cycle／像素]的范围，低频部可设定在0～1[cycle／像素]的范围，具体而言，只要高频部的频率比低频部的频率高就可以。
另外，在由高频部所形成的预定的像素区域（例如，4×4px（像素）等）所构成的栅格(grid)中，亮部和暗部可以周期地进行重复，例如，可列举出纵条纹、横条纹、格子状等。
例如，有：
亮亮亮亮
暗暗暗暗
亮亮亮亮
暗暗暗暗
或者
亮暗亮暗
暗亮暗亮
亮暗亮暗
暗亮暗亮
等。
另外，此时亮部和暗部的明度差只要为10以上就可以，较好为50以上，更好为100以上。这里需要说明的是，关于本实施形态的明度差，如上所述，首先以通常显示的图像的明度为基准生成亮部和暗部，然后使用所生成的亮部和暗部的明度差；但是，本发明并不限定于此。例如，也可以使用通常的图像明度与相对与该明度的低频部或高频部的明度之间的明度差。
在这种情况下，例如，就被看作成高频部的明度差而言，以在灰阶上相邻的要素为基准，只要大约为15以上，即可被看作为高频部。具体而言，明度差大约为15～35左右的区域可被主要用于高频部。这里需要说明的是，要素是指由纵横1px以上的像素所构成的单元，在本实施方式中，例如，1个要素可设定为2×2px。
这里，例如，在相机等拍摄装置所能读取的明度差的最小值为15的情况下，如果明度差大于35，则人的眼睛就可容易地进行识别。另外，在嵌入图像的部分为极暗或极亮的情况下，为了提高相机等的读取精度，例如，需要赋予35以上的明度差。因此，在本实施形态中，根据嵌入位置的图像(背景)的明度、辉度等、以及进行拍摄的相机的性能等，可任意地使明度差进行变化，以生成非可视化信息。
另外，就上述附加信息的可使用的像素大小而言，例如，因为其可根据图像和观看图像的人之间距离进行变化，所以，对其并无特别的限定；例如，如果是大约1m的距离，则较好为0.05～2mm左右；如果是大约10m的距离，则较好为0.5～20mm左右。在更远的距离处使用时，最好也保持同样的、像素大小和距离的比率。
在本实施形态中，在将低频部或高频部的任一个赋予至图像的情况下，最好具有相对于预定图像的预定嵌入位置的特定的图案。图9是用于对低频部或高频部的图案进行说明的图。这里需要说明的是，图9(a)～(e)中的1格表示一个要素。
在本实施形态中，在由低频部或高频部生成嵌入信息的情况下，例如，如图9所示，可生成黑白相间的图案(图9(a))、横条纹图案(图9(b))、纵条纹图案(图9(c))、右斜线(图9(d))、左斜线(图9(e))等预定的图案。这里需要说明的是，在本实施形态中，并不限定于上述图案，例如，还可以对图9(a)～(e)中的多个图案进行部分组合。
另外，在图9(a)～(e)所示的图案中，例如，在向纸进行嵌入的情况下，如图9(a)所示的黑白相间的图案最不容易被看到，另外，就不显眼的程度而言，不论背景如何，黑白相间的图案也是最不显眼的。另外，相反地，图9(d)、图9(e)所示的斜线最显眼。
但是，在对显示器上所观看的图像或映像进行图案的嵌入的情况下，如果是如图9(a)所示的黑白相间的图案，则图案太细，相机不能识别为高频部。所以，需要以横线或斜线来构成高频部。另外，在显示器上也和纸一样，由斜线构成的高频部最显眼。
据此，在使用相机等对低频部或高频部进行拍摄以获取嵌入信息时，通过以图9(a)～(e)所示并被获取的信息为基准，将恰当的非可视化信息嵌入原图像（背景图像），可容易且确实地读取嵌入信息。这里需要说明的是，上述图案不仅适用于仅使用低频部或仅使用高频部的情形，还适用于同时使用低频部和高频部的情形。
下面，对本实施形态的图像合成单元19的码的嵌入实施例进行具体的说明。图10表示码的嵌入实施例。图10所示的图像50与图6和图8相同，所以这里对重复的说明进行省略。
图10所示的例子是对手表55嵌入非可视化信息56-3时的嵌入方法的说明。首先，从图像50中提取出需要嵌入码的部分。所提取的部分根据1个栅格的大小来进行设定，例如，其可被设定为一边为预定像素（图10中的例子为8px）的正方形。另外，图10中的一个要素为2×2px。
这里需要说明的是，上述范围仅是一个例子，栅格的大小也可以采用其他值；但是，过小或过大时，难以对“0”和“1”进行读取，所以，一边为3～9px的正方形为较好。另外，形状并不限定于正方形，也可为位于上述范围内的长方形。再有，对码部分63的栅格数并无特别的限定，但较好为正方形。在图10的例子中，栅格大小为10×10。
接下来，图11示出了针对栅格进行码嵌入的例子。如图11所示，非可视化信息生成单元18对作为非可视化信息56-3的码部分63内的栅格71所包含的像素以明度值进行数值化。这里，各像素由红绿蓝的各元件所构成，将对各颜色的辉度（0～255）进行平均后所得到的值作为像素的明度。
这里需要说明的是，明度的定义是指“明度＝（R+G+B）/3”的关系成立的状态，例如，如图11所示，R:200、G:100、B:0时，该像素的明度为“(200+100+0)/3＝100”。
下面，对上述低频部的码的嵌入例进行说明。图12表示低频部的码的嵌入的一个例子。在形成了如图12所示的栅格的情况下，例如，如图12所示，通过实施基于高斯滤波(Gaussian filter)的滤波处理，对整个栅格施加所谓的模糊滤波，以对栅格内的明度值进行平滑化。也就是说，在图12的例子中，栅格71的明度在130左右被进行了平滑化。
下面，对上述高频部的码的嵌入例进行说明。图13A和图13B表示高频部的码的嵌入的一个例子。在图13A所示的栅格71中，为了嵌入高频部，生成条纹图案。据此，进行对栅格71的偶数行的各要素使其明度增加、对奇数行的各要素使其明度降低的处理。如图13B的对应表所示，各要素的明度的增减值可根据背景的明度来进行设定。这样，通过与背景的明度值相对应地设定增减值，可以高效地生成嵌入信息，另外也可以使嵌入信息变得更加不显眼。这里需要说明的是，如图13B的对应表所示的值例如可被保存至蓄积单元13等。
例如，如果参照图13B的对应表，则就图13A的栅格71的左上角的要素而言，其为奇数行，所以对其实行明度减小的处理，根据图13B的对应表可知，增减值为“-35”，这样，该要素的明度值从“152”变为“117”。另外，就图13A的栅格71的左下角的要素而言，其为偶数行，所以对其实行明度增加的处理，根据图13B的对应表可知，增减值为“+30”，这样，该要素的明度值从“120”变为“150”。通过对非可视化区域实施如图12、图13A、图13B所示的低频部、高频部的码的嵌入处理，可以生成二维码。
下面，使用流程图对上述非可视化信息提取单元35的非可视化信息的提取例进行说明。图14表示用于提取非可视化信息的一个例子。这里需要说明的是，在以下的处理中，尽管对从拍摄图像中提取出仅使用高频部而生成的非可视化信息的例子进行了说明，但是，本发明的提取方法并不限定于此。
作为图14所示的非可视化信息的提取例，首先，获取对嵌入了非可视化信息的映像或图像进行拍摄而得到的拍摄图像(S21)。然后，对获取的图像进行Sobel拉普拉斯滤波，从图像中提取出缘部（明度激烈变化的部分），并将缘部变换为白色，其他部分变换为黑色(S22)。也就是说，通过对拍摄图像实施Sobel拉普拉斯滤波，可以提取出码部(如果是高频图像，则为缘部的集合)以及背景的缘部(Image edges)。
这里需要说明的是，上述的“如果是高频图像，则为缘部的集合”是指虽然基本上是将明暗变化剧烈的部分作为了缘部，但是，在高频图像的情况下，从横方向或纵方向来看明度时，每个要素的明暗是反转的。所以，在高频图像的情况下，要素边界都变为缘部。
接下来，对由S21的处理所获得的拍摄图像实行DCT(discrete cosine transform：离散余弦变换)（S23），将拍摄图像从空域变换至频域。之后，通过对由S23的处理所获得的频率图像进行将高频域内的值设为0的处理，实行用于从图像中除去高频成分的频率滤波(S24)。
然后，实行将由S24的处理施加了滤波的图像从频域变换至空域的IDCT（逆离散余弦变换）(S25)。这里需要说明的是，上述的S23～S25的处理指的是实行LPF(low passfilter)处理。
之后，对由S25的处理所获得的图像实施Sobel拉普拉斯滤波，从图像中提取出缘部（明度变化剧烈的部分），并将缘部变换为白色，将其他部分变换为黑色（S26）。
接下来，实行使由Sobel拉普拉斯滤波所得到的缘部膨胀一圈的膨胀处理(S27)。具体而言，例如，将所得到的缘部在上下左右方向上向外侧各扩张3个像素（px）。
然后，实行从由S22的处理所得到的图像(缘部+码图像)减去由S27的处理所得到的背景图像(背景图像的缘部)的差分处理(S28)。据此，可以仅提取出非可视化信息的图像。
接下来，实行从由S28的处理所得到的图像中除去图像中所包含的噪点成分的中值滤波处理(S29)。具体而言，例如，将注目像素周围的3×3＝9个像素中的中值与该注目像素的值进行置换。
之后，在S29的中值滤波处理结束的时点，从图像提取出非可视化信息(S30)。具体而言，在S29的中值滤波处理结束的时点，由于仅包含了非可视化信息，所以对该非可视化信息进行提取，并进行(1)形状(四边形)提取、(2)射影变换、以及(3)码的“1”、“0”判定这三个处理。
这里，在上述的(1)形状提取中，例如，实行从图像中算出四边形(码)的四个角的坐标的处理。这里需要说明的是，就算出的坐标位置而言，并不限定于四边形，可以根据预定的形状进行恰当的设定，例如，如果是三角形或星形等，则可算出其各顶点的坐标。
另外，在上述(2)射影变换中，实行通过使用所得到的四个点的坐标将歪扭了的码变回正方形的处理。再有，在上述(3)码的“1”、“0”判定中，实行码中所包含的数据位(bit)是“1”还是“0”的判定处理。具体而言，在构成1bit的块中所包含的像素中，如果黑色像素较多，则判定为“0”，如果白色像素较多，则判定为“1”。通过实行如上所述的处理，可以高精度地获取拍摄图像中所包含的1个或多个的非可视化信息。
接下来，图15示出了提取出实际的非可视化信息的例子。在图15所示的例子中，示出了从对“R”文字图像(image)嵌入了非可视化信息(code)的拍摄图像中提取出非可视化信息的例子。
对图15(a)所示的拍摄图像实行缘部检测，获取图15(b)所示的码(Code)+图像缘部(Image edges)的图像。另外，对图15(a)所示的拍摄图像实行码去除(Code removal)处理，如图15(c)所示，获得从图像中去除了码部分的图像(Image-Code)。
然后，对图15(c)所示的图像(Image-Code)实行缘部检测，如图15(d)所示，获得从图像缘部中去除了码的图像(Image edges-Code)。
之后，通过获取图15(b)所示的图像与图15(d)所示的图像的差分，可以获得如图15(e)所示的码(Code)。这里需要说明的是，由图14的S23～S25的处理所得到的结果与图15(c)相对应，由S27的处理所得到的结果与图15(d)相对应，由S29的处理所得到的结果与图15(e)相对应。
通过上述方法，在本实施形态中可以高精度地从拍摄图像中提取出非可视化信息。这里需要说明的是，可以针对所拍摄的整个图像实行上述非可视化信息提取处理，另外，如果能够对预先嵌入了非可视化信息的图像的位置进行特定，则也可以仅对该特定区域实行上述的提取处理。
接下来，图16示出了非可视化信息的识别结果的一个例子。如图16所示，在本实施形态中，例如，通过对合成有非可视化信息的合成图像81实行基于HPF的滤波处理，并通过使用非可视化信息识别装置30的显示信息生成单元，不仅可以如图16所示那样将二维码显示在原图像上，还可以通过读取该信息以对二维码的内容信息进行显示。
图17A～图17H分别表示附加了非可视化信息的图像的例子。在图17A～图17H所示的各区域91中，嵌入了非可视化信息。这样，通过实施本实施形态，将非可视化信息仅附加至恰当的位置，可以准确地提供与图像的一部分内所呈现的物体等相关的详细信息等。
这里需要说明的是，在图17A～图17C所示图像的附加区域91内所示的非可视化信息码中，例如可以保存与商品的名称、材料、味道的评价、价格、销售店有关的信息、或者用于访问保存了这些信息的服务器的地址信息(例如，URL等)等。另外，在图17D所示图像的附加区域91内所示的非可视化信息码中，例如可以保存花的名称、拍摄场所、开花时节等信息。再有，在图17E所示图像的附加区域91内所示的非可视化信息码中，例如可以保存雕塑的名称、拍摄场所、设置缘由等信息。另外，在图17F所示图像的附加区域91内所示的非可视化信息码中，例如可以保存飞机的名称、飞行速度、拍摄场所等信息。
另外，图17G和图17H尽管分别示出了相同的图像，但是，在各自的区域91中，嵌入了采用不同方法所生成的非可视化信息的码。具体而言，在图17G的区域91内，嵌入了使用上述高频部和低频部所生成的非可视化信息的码，而在图17H的区域91内，则嵌入了仅使用高频部所生成的非可视化信息的码。也就是说，在包含图17G所示的低频部和高频部的非可视化信息的码的情况下，根据原图像的不同，低频部可能会出现图像的散景(Bokeh)。所以，如图17H所示，通过采用仅使用高频部的非可视化信息的码，可以将更难被发现的可视化信息嵌入原图像中。
这里需要说明的是，在本实施形态中，可以在一个图像中局部地附加多个非可视化信息。另外，可附加本实施形态的非可视化信息的对象不仅为电视画面和计算机画面等中展现的图像，还可为例如画面中所显示的映像、以及纸张、卡片、明信片、海报等各种印刷介质等。
另外，码的面积较大时，嵌入数据量也变大，所以，在本实施形态中，可以根据嵌入数据量对要嵌入原图像的码的大小和数量进行适当的调整。
图18表示非可视化信息的其他实施例。在图18的例子中，对高频部或低频部的任意一个以黑色等预定颜色进行彩色显示。这样，通过事先嵌入其他文字信息直接作为非可视化信息，可以作为显示信息原样输出所嵌入的文字(图18的例子中为“RITS”)。另外，通过采用图18所示的方法，例如，可以不需要实行上述的将码ID作为key以检索和获取所对应的附加信息的处理，这样，就可以迅速地将附加信息显示在画面上。
下面，对本实施形态的频率法与作为现有技术的根据嵌入了嵌入信息的图像和原图像的差分信息获取信息的差分法的比较结果进行说明。图19表示比较结果的一个例子。这里需要说明的是，在图19的例子中，将通过使用本实施形态的低频部和高频部而进行了码(code)化的非可视化信息的生成方法作为图19所示的频率法。
另外，在图19中，读取时间是指从对码部进行识别开始到解码结束为止的时间。再有，执行命令数是指例如“Intel core 2 duo”的MIPS（million instructions per second）为22.058M时的值。
如图19所示，根据本实施形态，在读取时间、执行命令数、CPU使用率、内存使用量的各项目中，都可获得比差分法更好的结果。
另外，尽管图19中没有表示，但是，例如在仅使用高频部生成了非可视化信息的码的情况下，其读取时间仅为0.272秒（执行时间）。这里需要说明的是，此时的实行环境为：OS是MaxOSX10.6，CPU是2Ghz Core 2Duo，内存是2G字节。据此，即使在仅使用高频部或仅使用低频部的情况下，也可以高效且正确地从拍摄图像中读取码。
下面，对附加了适用于本实施形态的非可视化信息的图像进行非可视化确认试验时所得到的结果进行说明。图20A和图20B示出了应用于非可视化确认试验的图像。图20A表示还没有嵌入非可视化信息的图像，图20B表示嵌入了作为本实施形态的非可视化信息的二维码的图像。图20B的图像中所附加的二维码被附加至与图6所示图像50的非可视化信息56-1～56-3相同的位置。
在该确认试验中，让9名参验者分别在距离显示器1m的位置上对并排显示在该显示器上的无码图像（图20A）和有码(25mm×25mm)图像（两者的大小都是180mm×135mm）进行15秒钟的观看，并让他们说出两者之间的差别。
其结果为，9人中只有1人回答说“键盘上有横线”，而其他8人则回答说“看不出差别”。这里需要说明的是，通过使用本实施形态的可视化信息识别装置30来观察相同的图像，可确认出能够看到非可视化信息(marker)。
如上所述，根据本发明，通过高效地获取信息，可以提供具有高附加值和高精度的图像。
以上对本发明的具体实施例进行了说明，但是，本发明并不局限于上述具体实施例，只要不脱离权利要求书的范围，亦可采用其他变化形式代替，但那些变化形式仍属于本发明所涉及的技术范围。
本国际申请主张2009年12月8日申请的日本国专利申请第2009－278883号、以及2010年8月27日申请的日本国专利申请第2010－191267号的优先权，并在本文中引用了这两个专利申请的全部内容。

Claims (14)

1.一种非可视化信息嵌入装置，在获取的图像的预定位置嵌入非可视化信息，所述非可视化信息嵌入装置的特征在于，具有：
图像解析单元，获取所述图像内所包含的物体信息和位置信息；
嵌入对象图像判定单元，根据由所述图像解析单元所获得的物体信息，判断所述图像是否为嵌入对象图像；以及
图像合成单元，根据由所述嵌入对象图像判定单元所获得的判定结果，将所述非可视化信息合成至所述图像。
2.根据权利要求1所述的非可视化信息嵌入装置，其特征在于，具有：
非可视化信息设定单元，对由所述图像合成单元所合成的所述非可视化信息的形态进行设定；以及
非可视化信息生成单元，根据由所述非可视化信息设定单元所设定了的非可视化信息，生成合成用图像。
3.根据权利要求2所述的非可视化信息嵌入装置，其特征在于，
在所述非可视化信息设定单元中，
将所述非可视化信息的形态设定为二维码，所述二维码的码部由明度比原图像的明度低的低频部和明度比原图像的明度高的高频部的至少一个所构成。
4.根据权利要求1所述的非可视化信息嵌入装置，其特征在于，
在所述图像合成单元中，
根据由所述图像解析单元所获得的物体的位置信息，对与所述物体相对应的非可视化信息进行合成。
5.一种非可视化信息识别装置，对获取的图像中所包含的非可视化信息进行识别，所述非可视化信息识别装置的特征在于，具有：
非可视化信息提取单元，从所述图像中提取出非可视化信息；
非可视化信息解析单元，在由所述非可视化信息提取单元提取出了所述非可视化信息的情况下，根据所述非可视化信息，对获得的所述图像中所包含的物体的附加信息进行解析；以及
显示信息生成单元，根据由所述非可视化信息解析单元所获得的附加信息，生成用于显示在画面上的显示信息。
6.根据权利要求5所述的非可视化信息识别装置，其特征在于，
所述非可视化信息提取单元使用预定的频率对所述图像进行滤波处理，并从与所获得的频率相对应的区域中提取出非可视化信息。
7.一种非可视化信息嵌入方法，在获取的图像的预定位置嵌入非可视化信息，所述非可视化信息嵌入方法的特征在于，具有：
图像解析步骤，获取所述图像内所包含的物体信息和位置信息；
嵌入对象图像判定步骤，根据由所述图像解析步骤所获得的物体信息，判断所述图像是否为嵌入对象图像；以及
图像合成步骤，根据由所述嵌入对象图像判定步骤所获得的判定结果，将所述非可视化信息合成至所述图像。
8.根据权利要求7所述的非可视化信息嵌入方法，其特征在于，具有：
非可视化信息设定步骤，对由所述图像合成步骤所合成的所述非可视化信息的形态进行设定；以及
非可视化信息生成步骤，根据由所述非可视化信息设定步骤所设定了的非可视化信息，生成合成用图像。
9.根据权利要求8所述的非可视化信息嵌入方法，其特征在于，
在所述非可视化信息设定步骤中，
将所述非可视化信息的形态设定为二维码，所述二维码的码部由明度比原图像的明度低的低频部和明度比该原图像的明度高的高频部的至少一个所构成。
10.根据权利要求7所述的非可视化信息嵌入方法，其特征在于，
在所述图像合成步骤中，根据由所述图像解析步骤所获得的物体的位置信息，对与所述物体相对应的非可视化信息进行合成。
11.一种非可视化信息识别方法，对获取的图像中所包含的非可视化信息进行识别，所述非可视化信息识别方法的特征在于，具有：
非可视化信息提取步骤，从所述图像中提取出非可视化信息；
非可视化信息解析步骤，在由所述非可视化信息提取步骤提取出了所述非可视化信息的情况下，根据所述非可视化信息，对获得的所述图像中所包含的物体的附加信息进行解析；以及
显示信息生成步骤，根据由所述非可视化信息解析步骤所获得的附加信息，生成用于显示在画面上的显示信息。
12.根据权利要求11所述的非可视化信息识别方法，其特征在于，
在所述非可视化信息提取步骤中，使用预定的频率对所述图像进行滤波处理，并从与所获得的频率相对应的区域中提取出非可视化信息，所提取出的区域由预定的像素构成。
13.一种计算机可读取存储介质，存储用于使计算机执行权利要求7所述的非可视化信息嵌入方法的程序。
14.一种计算机可读取存储介质，存储用于使计算机执行权利要求11所述的非可视化信息识别方法的程序。
CN2010800555503A 2009-12-08 2010-12-08 非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质 Pending CN102648623A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009-278883 2009-12-08
JP2009278883 2009-12-08
JP2010191267A JP5021061B2 (ja) 2009-12-08 2010-08-27 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラム
JP2010-191267 2010-08-27
PCT/JP2010/072039 WO2011071081A1 (ja) 2009-12-08 2010-12-08 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体

Publications (1)

Publication Number Publication Date
CN102648623A true CN102648623A (zh) 2012-08-22

Family

ID=44145626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800555503A Pending CN102648623A (zh) 2009-12-08 2010-12-08 非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质

Country Status (6)

Country Link
US (1) US8891815B2 (zh)
EP (1) EP2512115B1 (zh)
JP (1) JP5021061B2 (zh)
KR (1) KR101285648B1 (zh)
CN (1) CN102648623A (zh)
WO (1) WO2011071081A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886548A (zh) * 2013-07-04 2014-06-25 百度在线网络技术（北京）有限公司 一种用于将二维码与图像融合的方法和装置
CN103886628A (zh) * 2014-03-10 2014-06-25 百度在线网络技术（北京）有限公司 二维码图像生成方法和装置
CN104751094A (zh) * 2013-12-26 2015-07-01 辻进 带有可视化代码的物品、可视化代码读取设备及信息传递方法
CN103886353B (zh) * 2014-03-10 2017-02-01 百度在线网络技术（北京）有限公司 二维码图像的生成方法和装置
CN109792472A (zh) * 2016-10-12 2019-05-21 富士通株式会社 信号调整程序、信号调整装置以及信号调整方法
CN111510579A (zh) * 2019-02-27 2020-08-07 京瓷办公信息系统株式会社 图像处理装置以及图像形成装置
CN112560530A (zh) * 2020-12-07 2021-03-26 北京三快在线科技有限公司 一种二维码处理方法、设备、介质及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5948842B2 (ja) * 2011-12-14 2016-07-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6001275B2 (ja) * 2012-02-15 2016-10-05 学校法人立命館 非可視化情報埋込装置、非可視化情報埋込方法、及び非可視化情報埋込プログラム
JP5986422B2 (ja) * 2012-05-15 2016-09-06 学校法人立命館 オブジェクト抽出方法、オブジェクト抽出装置、及びオブジェクト抽出プログラム
US20150026608A1 (en) * 2013-07-17 2015-01-22 Marvell World Trade Ltd. Systems and Methods for Application Management on Mobile Devices
JP6152787B2 (ja) 2013-11-29 2017-06-28 富士通株式会社 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
JP2017168925A (ja) * 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
JP6296319B1 (ja) * 2016-09-30 2018-03-20 国立大学法人 奈良先端科学技術大学院大学 情報処理装置、表示方法、読取方法、およびコンピュータ読み取り可能な非一時的記憶媒体
JP6934645B2 (ja) * 2017-01-25 2021-09-15 国立研究開発法人産業技術総合研究所 画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1618077A (zh) * 2001-11-30 2005-05-18 国际条形码公司 用于核实数字图像与其相应数据的系统与方法
CN1795454A (zh) * 2003-04-07 2006-06-28 沃达丰株式会社 信息处理方法
CN101072340A (zh) * 2007-06-25 2007-11-14 孟智平 流媒体中加入广告信息的方法与系统
CN101504760A (zh) * 2009-02-27 2009-08-12 上海师范大学 一种数字图像隐密信息检测与定位的方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379908B2 (en) * 1995-07-27 2013-02-19 Digimarc Corporation Embedding and reading codes on objects
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
JPH1141453A (ja) * 1997-07-24 1999-02-12 Nippon Telegr & Teleph Corp <Ntt> 電子透かし埋め込み読み出し処理方法，電子透かし埋め込み処理プログラム記憶媒体および電子透かし読み出し処理プログラム記憶媒体
JP3786166B2 (ja) 1998-06-30 2006-06-14 ソニー株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2001080169A1 (en) * 2000-04-17 2001-10-25 Digimarc Corporation Authentication of physical and electronic media objects using digital watermarks
JP2002032076A (ja) 2000-07-19 2002-01-31 Atr Media Integration & Communications Res Lab 楽器インタフェース
JP2002118736A (ja) * 2000-10-10 2002-04-19 Konica Corp 電子透かし挿入装置および電子透かし抽出装置ならびに電子透かしシステム
JP3431593B2 (ja) * 2000-10-31 2003-07-28 株式会社東芝 コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体
JP2004178446A (ja) * 2002-11-28 2004-06-24 Ntt Docomo Inc 特定領域抽出装置及び特定領域抽出方法
JP2005142836A (ja) * 2003-11-06 2005-06-02 Hitachi Ltd 電子透かし埋め込みプログラム及び情報処理装置
US7672474B2 (en) 2004-02-02 2010-03-02 Nippon Telegraph And Telephone Corporation Electronic watermark embedding device, electronic watermark detection device, method thereof, and program
US7796776B2 (en) * 2004-03-29 2010-09-14 Panasonic Corporation Digital image pickup device, display device, rights information server, digital image management system and method using the same
WO2006008787A1 (ja) * 2004-07-15 2006-01-26 Mitsubishi Denki Kabushiki Kaisha 情報処理装置及び情報処理方法
US8259342B2 (en) * 2005-07-04 2012-09-04 International Business Machines Corporation System, method and program for generating data for printing invisible information, and method of manufacturing physical medium whereupon invisible information is printed
US7970164B2 (en) 2005-08-04 2011-06-28 Nippon Telegraph And Telephone Corporation Digital watermark padding method, digital watermark padding device, digital watermark detecting method, digital watermark detecting device, and program
JP4676852B2 (ja) * 2005-09-22 2011-04-27 日本放送協会 コンテンツ送信装置
JP4645457B2 (ja) * 2006-01-24 2011-03-09 富士ゼロックス株式会社 透かし入り画像生成装置、透かし入り画像解析装置、透かし入り画像生成方法、媒体及びプログラム
US8090141B2 (en) * 2006-01-31 2012-01-03 Xerox Corporation System and method to automatically establish preferred area for image-wise watermark
US8369688B2 (en) * 2006-06-19 2013-02-05 Panasonic Corporation Information burying device and detecting device
JP2008172662A (ja) * 2007-01-15 2008-07-24 Seiko Epson Corp 画像データ変換装置および画像データ変換方法
JP4697189B2 (ja) * 2007-05-30 2011-06-08 村田機械株式会社 デジタル複合機
US20090050700A1 (en) * 2007-08-26 2009-02-26 Noboru Kamijoh Adding and detecting bar code printed with ink invisible to human eye onto printed medium
JP2009088614A (ja) 2007-09-27 2009-04-23 Toshiba Corp 画像処理方法および画像処理装置
JP4747305B2 (ja) 2008-05-20 2011-08-17 株式会社丸昌 ガゴメ昆布食品の製造方法およびガゴメ昆布食品
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
JP2010191267A (ja) 2009-02-19 2010-09-02 Fuji Xerox Co Ltd 画像表示媒体および画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1618077A (zh) * 2001-11-30 2005-05-18 国际条形码公司 用于核实数字图像与其相应数据的系统与方法
CN1795454A (zh) * 2003-04-07 2006-06-28 沃达丰株式会社 信息处理方法
CN101072340A (zh) * 2007-06-25 2007-11-14 孟智平 流媒体中加入广告信息的方法与系统
CN101504760A (zh) * 2009-02-27 2009-08-12 上海师范大学 一种数字图像隐密信息检测与定位的方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886548A (zh) * 2013-07-04 2014-06-25 百度在线网络技术（北京）有限公司 一种用于将二维码与图像融合的方法和装置
CN103886548B (zh) * 2013-07-04 2017-09-15 百度在线网络技术（北京）有限公司 一种用于将二维码与图像融合的方法和装置
CN104751094A (zh) * 2013-12-26 2015-07-01 辻进 带有可视化代码的物品、可视化代码读取设备及信息传递方法
CN104751094B (zh) * 2013-12-26 2018-11-09 辻进 带有可视化代码的物品、可视化代码读取设备及信息传递方法
CN103886628A (zh) * 2014-03-10 2014-06-25 百度在线网络技术（北京）有限公司 二维码图像生成方法和装置
CN103886353B (zh) * 2014-03-10 2017-02-01 百度在线网络技术（北京）有限公司 二维码图像的生成方法和装置
CN109792472A (zh) * 2016-10-12 2019-05-21 富士通株式会社 信号调整程序、信号调整装置以及信号调整方法
CN111510579A (zh) * 2019-02-27 2020-08-07 京瓷办公信息系统株式会社 图像处理装置以及图像形成装置
CN111510579B (zh) * 2019-02-27 2022-09-23 京瓷办公信息系统株式会社 图像处理装置以及图像形成装置
CN112560530A (zh) * 2020-12-07 2021-03-26 北京三快在线科技有限公司 一种二维码处理方法、设备、介质及电子设备
CN112560530B (zh) * 2020-12-07 2024-02-23 北京三快在线科技有限公司 一种二维码处理方法、设备、介质及电子设备

Also Published As

Publication number Publication date
EP2512115A4 (en) 2013-03-06
KR20120128600A (ko) 2012-11-27
KR101285648B1 (ko) 2013-07-12
WO2011071081A1 (ja) 2011-06-16
US20120237079A1 (en) 2012-09-20
EP2512115B1 (en) 2016-10-19
US8891815B2 (en) 2014-11-18
EP2512115A1 (en) 2012-10-17
JP5021061B2 (ja) 2012-09-05
JP2011142607A (ja) 2011-07-21

Similar Documents

Publication Publication Date Title
CN102648623A (zh) 非可视化信息嵌入装置、非可视化信息识别装置、非可视化信息嵌入方法、非可视化信息识别方法、及存储介质
US8565815B2 (en) Methods and systems responsive to features sensed from imagery or other data
US9208379B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium storing program
JP5983540B2 (ja) メディアもしくは機能識別方法及びプログラム、マーカを含む物品、及びマーカ配置方法
WO2016033495A2 (en) Methods and arrangements including data migration among computing platforms, e.g., through use of steganographic screen encoding
US20090094016A1 (en) Apparatus and method for translating words in images
AU2013273829A1 (en) Time constrained augmented reality
KR20160063294A (ko) 사차원 코드, 상기 사차원 코드에 의한 이미지 식별 시스템 및 방법과 검색 시스템 및 방법
CN101686301B (zh) 服务器、信息通信设备及其操作方法
EP3465570A1 (en) An authentication method for product packaging
CN111638792A (zh) Ar效果的呈现方法、装置、计算机设备及存储介质
EP1917653A1 (en) Method for encryption and decryption of data using pixel
KR101918513B1 (ko) 게임 카드의 증강현실 표시 방법
JP6001275B2 (ja) 非可視化情報埋込装置、非可視化情報埋込方法、及び非可視化情報埋込プログラム
CN107423611A (zh) 图形码识别方法及装置和电子设备
KR20120087232A (ko) 증강 현실 기반의 콘텐츠 표현 시스템 및 그 방법
KR101525409B1 (ko) 이미지 인식모듈을 이용한 컨텐츠 증강방법
JP6168872B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101754993B1 (ko) 증강 현실을 이용한 포토존 촬영 장치
KR102428862B1 (ko) 증강현실을 이용한 맞춤형 마케팅 콘텐츠 제공 플랫폼 시스템
Suzuki et al. Mobile interaction using steganographic image on mobile display
KR20160038193A (ko) 명함 또는 브로슈어를 통해 제공되는 증강 현실 컨텐츠를 이용한 기업 소개 방법 및 프로그램
JP4725473B2 (ja) 携帯端末装置、情報表示方法、及びプログラム
KR20150125417A (ko) 이미지 기반 오브젝트 정보 제공 방법
GB2535727A (en) Interactive information system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1175050

Country of ref document: HK

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120822