CN101032106B - 便携计算装置中的快速信号检测和分布式计算 - Google Patents

便携计算装置中的快速信号检测和分布式计算 Download PDF

Info

Publication number
CN101032106B
CN101032106B CN200580032902.2A CN200580032902A CN101032106B CN 101032106 B CN101032106 B CN 101032106B CN 200580032902 A CN200580032902 A CN 200580032902A CN 101032106 B CN101032106 B CN 101032106B
Authority
CN
China
Prior art keywords
content item
held set
hand
reading device
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200580032902.2A
Other languages
English (en)
Other versions
CN101032106A (zh
Inventor
R·K·夏尔马
T·F·罗德里格斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digimarc Corp
Original Assignee
Digimarc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digimarc Corp filed Critical Digimarc Corp
Publication of CN101032106A publication Critical patent/CN101032106A/zh
Application granted granted Critical
Publication of CN101032106B publication Critical patent/CN101032106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00355—Mark-sheet input
    • H04N1/00358—Type of the scanned marks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00355—Mark-sheet input
    • H04N1/00358—Type of the scanned marks
    • H04N1/00363—Bar codes or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H04N1/00973—Input arrangements for operating instructions or parameters, e.g. updating internal software from a remote device, e.g. receiving via the internet instructions input to a computer terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32117—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate transmission or protocol signal prior to or subsequent to the image data transmission, e.g. in digital identification signal [DIS], in non standard setup [NSS] or in non standard field [NSF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154—Transform domain methods
    • H04N1/3216—Transform domain methods using Fourier transforms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24162—Biometric sensor, fingerprint as user access password
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0052—Embedding of the watermark in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096—Portable devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3278—Transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Abstract

本公开对用于诸如蜂窝电话手持机的移动计算装置的分布式读取装置结构进行了说明。该结构包括读取库，其读取装置中的装置性能和商业模型参数，并相应地选择读取模块的适当结构以识别内容条目。读取模块分别执行用于识别内容条目的功能。根据装置和网络带宽上的可用计算资源选择模块，从而最佳地使用装置上和远程装置上可用的资源。读取模块的一个实例是快速水印检测模块，其快速地检测水印的存在情况，使得资源集中在最有可能导致成功的内容识别的部分内容上。用于快速水印检测的水印信号结构由傅立叶幅值域中圆形的脉冲函数的密度阵列构成，且该脉冲函数具有伪随机相位。其它可选结构也是可行的。

Description

便携计算装置中的快速信号检测和分布式计算
相关申请
本发明要求申请号为60/599,479的美国临时专利申请的优先权，因此将其结合在本文中作为参考。
技术领域
本发明涉及信号处理和分布式计算，特别地，涉及诸如移动电话等的便携计算装置中的信号处理和分布式计算。
背景技术
便携计算装置，如移动电话，正变得日益高效和实用。例如，这些装置包括摄像头、视频功能、电视调谐器、录音和播放功能等。此外，由于这些装置也是通信装置，它们也提供网络计算服务，如访问互联网，与其它装置数据同步等。
尽管操作性能和计算能力得到了提高，但是小的手持装置的计算能力仍有较大限制。因此，存在着在充分利用装置上的计算资源的同时，对支持多种可用功能的结构和计算方法进行改进的需要。
例如，移动电话的计算资源的主要消耗是多媒体信号处理。应用程序的实例包括获取和发送照片，播放音乐，播放视频等。一个具体的应用程序是将各种动作与多媒体内容关联，如将目录或杂志中的产品的照片与提供更多信息或购买机会的网络链接。另一个实例是将音乐或广告的图片与将相应铃声下载至电话或以流的方式或文件格式将相应的音乐下载至移动电话手持机。在WO00/70585和美国专利号6,505,160中对该应用程序的实现进行了说明，在此结合其内容作为参考。
这些应用程序类型向系统开发者提出了巨大的挑战：
1.怎样在运行于手持机上的软件中实现这些应用程序？
2.这些应用程序能够被实现为在手持机上有效地运行？
3.这些应用程序是否有特别的硬件或软件要求，而这些要求如今在单独的手持机上还达不到？
4.该应用程序能否广泛地应用于具有不同计算平台、操作系统和处理器的手持机中？(如，一些手持机仅执行用Java编写的程序，而该应用程序可能不能在Java中有效地运行)。
在网络计算领域中，已开发了分布式计算方案以执行复杂的软件任务，将其分为模块并在网络和/或并行处理器之中分布执行这些模块。由于移动电话手持机的独特结构，这些方案不能直接转变为现在可用的移动电话计算结构。因此，需要用于该情况的新的计算方案和新的分布式计算结构。
发明内容
本发明提供了用于内容识别的读取装置，以及相关的用于诸如蜂窝电话手持机的移动计算装置的内容识别方法。本发明的一个方面是读取装置，其包括读取库，其读取装置中的装置性能和商业模型参数，并相应地选择读取模块的适当设置，以识别内容条目。读取模块分别执行用于识别内容条目的功能。根据装置上的可用计算资源和网络带宽选择模块，从而最佳地使用装置和远程装置中的可用资源。
本发明的另一些方面是用于识别从移动电话手持机获取的内容条目的方法，以及用于通过手持机处理和服务器处理的组合而使用信号滤波、水印检测和指纹的组合来识别内容的方法。
读取模块的一个实例是快速水印检测模块，该模块快速地检测水印的存在情况，使得资源集中在最可能导致成功的内容识别的内容部分。用于快速水印检测的水印信号包括傅立叶幅值域中环形形状的脉冲函数的密度阵列，且该脉冲函数具有伪随机相位。也可使用其它可选择的结构。
参考下文中的详细说明和附图，将会更加清楚其它的特征。
附图说明
图1是示出了移动装置手持机及其与网络的通信的示图；
图2是示出了基于装置性能和商业模型参数而修改的扩展的读取装置结构的示图；
图3是示出了读取库和存储读取库用以调节其操作的参数的表格之间的相互作用的示图，其中读取库的操作是装置性能、时间、位置、商业模型等的函数；
图4是用于快速信号检测的傅立叶幅值域中的信号结构的一个实例；
图5在空间域中示出了图4所示的信号结构。
具体实施方式
图1是示出了移动装置手持机20及其与网络的通信的示图。该手持机包括计算平台，计算平台包括处理器、RAM和持久性存储器。在该平台上，手持机处理器执行装置上功能模块中的程序指令。该特定实例仅示出了用户界面22和读取装置24，而常规的手持机可具有很多模块。
用户界面控制基本的输入/输出功能，包括从手持机的控制键接收输入，和经由显示器和音频输出装置提供输出。读取装置24处理多媒体输入，如视频帧，还有图像和/或音频流。
为了示出移动计算装置结构的计算平台的工作，主要关注“连接的内容”的应用程序。连接内容是指，将动作与内容条目相关联。例如，读取装置接收内容条目，诸如，来自电子邮件、网络或从装置的摄像头获取的图像，并且读取装置执行一系列动作，以确定与该内容条目相关的动作。该动作可包括返回用于显示的网页、返回网络链接、播放音乐或视频、下载铃声等。
在连接的内容的应用程序中，图1所示的读取装置执行一系列操作，以计算内容条目的标识符(ID)。接着将该标识符映射至动作。在图1中具体示出了作为URL返回的动作，该URL可代表发送至手持机的网页或一些其它网络服务。
手持机通过其内置的移动网络连接系统与网络26(例如，因特网协议网络)通信，该网络连接系统可基于各种移动通信技术(例如，3G、GSM、CDMA、蓝牙，及其它们的组合体)中的任一种。在该网络中有用于为手持机用户提供各种服务的各种服务器。这些服务器可包括，由移动电话服务提供商、一个或多个因特网服务提供商所运作的服务器，因特网上的网络服务器，内容服务等。
这种类型的应用程序的难题是，开发用于在具有各种软件和硬件性能的不同类型装置以及具有各种商业模型的不同的移动电话服务提供商之中，将内容条目映射到其相应的动作的有效机制。
图2是示出了基于装置性能和商业模型参数而修改的扩展的读取装置结构的示图。装置性能可以是固定的参数，诸如，特定类型的处理器、存储器、信号处理模块(如，最优FFT模块)。装置性能也可以是变量，诸如，有效计算周期，其随着处理量以及将内容条目发送至其它处理器(如，经由蓝牙或其它连接机构而连接的网络服务器或相邻的装置)的可用带宽的波动而变化。商业模型参数还通过相对于其它类型的操作而优选某些类型的操作来控制计算，以将所需的商业模型提前。例如，有利的是，可以通过经由移动服务提供商向分布式计算资源发送内容，而不是试图仅使用手持机上的本地计算资源，从而使用更多的带宽。其它相关的参数包括基于位置的服务，其基于手持机的位置(例如，通过移动电话网络中的三角网或通过GPS硬件来确定)而改变。日时和其它连接装置上的处理资源的可用性也可控制读取装置操作。
为了适应性强，将读取装置细分为模块，这将读取装置应用程序分解为功能块，功能块可并行地分别执行，也可通过诸如对其它装置上执行的远程过程调用，利用分布式计算来分别执行。读取库40是基于装置和商业模型参数而控制操作的模块。
在该特定实例中，读取库选择适用于装置和商业模型的模块的组合。将读取装置应用程序处理分解为功能，诸如，滤波器40、快速检测42、指纹44和全检测(full detect)46。这些模块中的每个都可参与接收内容条目和将该内容条目转化为动作的读取装置应用程序处理。根据装置和商业模型参数，读取库选择手持机中将参与的模块。如果还有其它的功能，则这些功能在下文中所说明的一个或多个远程装置上执行。
根据读取库的选择，读取装置处理部分在手持机上执行，部分在远程装置上执行(或多个远程装置)。如方框50中所示，从读取装置发送至远程装置的数据的性质取决于在手持机上执行读取装置处理的哪种功能。在一种情况下，读取装置将内容条目(例如，图像或声音片断的帧或块)发送至远程装置以确定其ID。这使用手持机上最少的资源，但占用了较大的带宽。
在另一种情况下，滤波器42对内容条目进行滤波，仅留下完成剩余内容识别任务必须的内容组成部分。在美国专利号6,724,914和6,483,927中对该类型的滤波器的实例进行了说明，在此结合其内容作为参考。在下文中对用于数字水印检测的预滤波进行了更详细的说明。预滤波使用了手持机上较多的资源，并使用了较少的带宽。
在另一种情况下，手持机执行快速检测42，以快速识别内容条目是否包括数字水印信号，且提供注册信息(从而内容可用于与通过指纹分析或数字水印消息提取而进行的进一步ID提取)。还有几种实现快速检测的可行方法。在下文中对一些实例进行了说明。如果使用除了数字水印(例如，条形码或其它可视机器符号)以外的其它机器可读码执行内容识别，那么可使用快速检测以对机器可读符号的出现情况和位置进行快速识别。
在快速检测的情况下，手持机仅发送内容块(例如，滤波的和/或用几何学注册的，和/或具有注册参数)，从而快速检测对齐识别码信号的存在情况。这会消耗手持机上的更多的处理资源，但是比将所有或大部分内容发送至远程装置以进行识别使用的带宽要少。
快速检测还可与指纹识别方案结合使用，其中快速检测提供便于内容指纹的精确计算的注册参数。内容指纹是鲁棒的散列(hash)的形式，将其与指纹数据库匹配以识别内容条目。
在另一种情况下，手持机使用指纹模块计算内容条目的指纹。有多种可用于视频、音频和图像的内容指纹方案。一种指纹处理是将诸如频域特征的内容特征散列，以计算散列的向量，然后将其与指纹数据库中的相应的散列向量匹配。一旦发现匹配，那么数据库返回内容标识符。在这种情况下，手持机计算该指纹，并将其发送至用于内容识别的数据库。
最后，另一种情况是使用全检测模块46来执行全检测。该方法的前提是内容条目中的机器可读形式的标识符存在。这可构成数字水印、条形码或其它机器可读码。在这种情况下，由于手持机执行了识别内容条目所需的所有工作而仅向网络发送小的标识符，所以手持机使用了最多的处理资源和最少的带宽。
在URL代表将执行的动作的情况下，网络上的装置在数据库中查找标识符并将相应的URL返回至手持机。该动作不需要用URL来表示。其可以是用于返回程序或内容至手持机或其它与手持机所有者相关联的装置的一些其它处理。例如，数据库可返回动作的名称，这会依次启动网络中的服务器，以独立地或与其它服务器或装置结合而执行该动作。动作可包括发送视频、音乐或图像文件，执行电子购买交易，下载内容或程序至手持机等。
图3是示出了读取库和存储读取库用以调节其操作的参数的表格之间的相互作用的示图，数据库的操作是装置性能、时间、位置、商业模型等的函数。在说明图中，用于控制读取库的模块选择的参数存在于两个表格中：1.装置性能表，和2.商业模型表。装置表的第一栏列出了装置的性能，例如，处理器类型，操作系统，辅助信号处理的任何特殊的处理特征的存在情况，如FFT模块、存储器、存储器带宽、网络带宽、连接速度和位置服务可用性。该表格起到登记可用性能的作用。这些性能中的一些是固定的，诸如处理器；而其它的是根据外部条件而变化的，诸如，网络带宽和连接速度。如果存在一项性能，那么对与该项性能对应的行中的条目进行检验。列表示读取装置处理的不同的可能配置，如“提取手持机上的ID”，“提取服务器上的ID”和“根据带宽在手持机和服务器之间分配读取装置处理”。在后一个实例中，读取装置处理根据可用带宽而进行调节，使得当有更多带宽可用时向服务器分配更多的处理。
读取装置处理还可基于可用计算周期而进行调节，可用计算周期取决于在特定时间运行于手持机上的其它应用程序。如果其它的优先级较高的应用程序正在运行，那么将读取装置功能卸载至服务器。
商业模型以相同的方式与读取库模块相互作用。可基于如服务提供商，电话的通话计划，日时(当对于用户或提供商来说带宽比较昂贵时使用较少的带宽)，服务提供商在其服务器或其合作者的服务器上操作图像、视频或音频的能力等，而不同地配置读取装置处理。还可调节读取装置处理以用于不同的ISP和可用的网络服务。例如，一些网络服务可支持基于位置的服务，而可能不支持其它的。基于位置的服务使得响应内容识别所执行的动作可适合于手持机的位置。一些提供商可支持铃声下载，而其它的可能不支持。有很多可行的选择，而读取库可根据装置和商业模型表两者中的设置而进行调节。
读取装置处理的分布式计算不限于手持机-服务器。一些手持机支持蓝牙或与带有附加的处理能力的装置的其它无线连接。还可将读取装置处理的部分分配至具有蓝牙连接范围的装置，如用户家用PC或其它计算装置。
分布式处理可使用远程过程调用来实现。例如，手持机可调用服务器上的指纹模块，并向其传送内容块，相应地，指纹模块返回ID，接着将该ID映射至动作。
可并行地产生几个处理线程。例如，可将图像帧分解为块，每个块都具有其自身的读取装置处理，该读取装置处理分布在手持机和一个或多个与手持机联网的远程装置之间。一旦找到ID或将动作正确地映射至内容条目，那么所有并行读取装置处理都被取消。这在手持机的摄像头拍摄的视频帧的流被输入到读取库时非常有用，在这种情况下，读取库逐帧或逐块地分配该读取装置处理。在对内容块进行进一步处理以进行ID提取之前，可用滤波器和快速检测块对内容块进行预处理。如下文将会解释的那样，快速检测模块可用于清除不太可能导致成功的ID提取的内容。
上文中所述的计算结构可用于其它的资源集中处理，以增强移动电话手持机的性能。在下文中，继续对读取装置应用程序的实例进行说明，并提供更多信息和数字水印及指纹。
数字水印
数字水印是用于修改物理或电子介质以将隐藏的机器可读码嵌入该介质中的处理。可修改该介质，使得嵌入的码对用户来说是察觉不到的或几乎察觉不到的，然而可通过自动检测处理而检测出来。通常，将数字水印应用于介质信号，诸如，图像、音频信号和视频信号。然而，其还可应用于其它类型的介质对象，包括文档(例如，通过行、词或字符移位)、软件、多维图形模型和对象的表面纹理。
数字水印系统通常具有两个主要组成部分：将水印嵌入主机介质信号中的编码器，和从怀疑含有水印的信号(怀疑信号)检测并读取所嵌入的水印的解码器。编码器通过巧妙改变主机介质信号而嵌入水印。读取组件分析怀疑信号以检测是否存在水印。在水印对信息进行编码的应用程序中，读取装置从检测的水印中提取该信息。
已经开发了几种具体的水印技术。假设读取装置是本领域中技术人员所熟悉的。用于在介质信号中嵌入和检测察觉不到的水印的具体技术在本受让人的美国专利号6,122,403和6,614,914中进行了具体的说明，在此结合其内容作为参考。
信号检测的预滤波
在信号检测中，具体的是在数字水印检测中，可使用预滤波来去除从主体信号得到的信号的相关性。具体的是对于数字水印检测器，使用滤波器来从主体信号去除数字水印的相关性。
用于数字图像水印的这种类型的去除相关性滤波器的一个实例如下所示地工作。对于每个图像采样，滤波器将该采样与其相邻的八个图像采样进行比较。该滤波器将中央采样处的值替换为每当中央采样值大于相邻值时就增加而每当中央采样值小于相邻值时就减少的值。具体地，对于每次比较，如果中央采样大于其相邻采样，那么滤波器增加的值为1，如果中央采样小于其相邻采样，那么滤波器增加的值为-1，否则不再进行改变。当使用8邻域(3乘3采样区域)来实现滤波器时，滤波器的输出将在-8和+8之间。这种类型的滤波器在信号处理中具有多个应用程序，诸如，边缘检测、信号增强等，并在不同的介质类型(图像、视频和音频)上运行，且在不同的域中进行采样。对于数字水印应用程序，其可被用于估计初始主体信号和水印信号，其中水印信号采用加性的正反PN信号。
在上文中所讨论的滤波器可以用不同的方式来实现。一种具体的实现方式是在中央采样与每个相邻采样之间进行比较，将该比较的结果转化为递增或递减的值(如，+k或-k，其中k是常数，如1、2、3等)。滤波器将来自每个相邻采样的递增/递减值求和，然后将中央采样值替换为求和的结果。这种类型的滤波器可使用查询表来有效地实现。例如，通过从相邻采样值减去中央采样值以产生差值(对于8位采样为-255至+255)而执行比较操作。然后，将该结果提供给查询表，查询表将差值映射至递增/递减值并输出该值。滤波器将邻域中的每个相邻采样的查询表输出求和，并用该求和结果来替换中央采样。该邻域可以是采样的3乘3块中的八个相邻采样，一维信号中的邻近采样，二维或更多维信号中的水平和/或垂直邻近的相邻采样等。邻域的大小也可增加。查询表可被用于高效地实现各种非线性滤波器。
快速信号检测
极其需要的是非常快速(计算成本低)地检测数字水印信号的存在情况。一些现有的数字水印检测器采用2D FFT，对数-极坐标映射和对数-极坐标相关，以检测水印信号及其注册参数(例如，旋转、缩放、变换)。快速检测的重点在于可选的水印信号设计，和使用比当前确定嵌入水印信号的存在情况所必需的处理更少的技术。
数字水印可包括几个信号分量，包括用于快速检测和注册的分量，用于更加精确的注册的分量，以及用于传达可变消息的分量。这些分量可结合在一起或也可以完全分离。例如，用于检测的信号分量也可传达可变消息位。在本说明中，关注的是用于检测和注册的数字水印结构设计。这些水印结构还可传达可变数据，但是该可变数据承载功能并不是本部分的重点。上文中所结合的专利和水印文献说明了用于传达数字水印中的隐藏数据的各种方案。
图4示出了能够快速检测和注册信息的傅立叶幅值域中的水印信号结构。图4中的水印结构包括频域中的密度整圆(dense full circle)。该圆由独立的脉冲函数(例如，正弦波)构成，该脉冲函数关于彼此的伪随机相位。整圆是用于快速检测的优良候选。对该结构的检测利用了2D傅立叶域中的圆的情况，穿过DC的任何轴(与旋转或缩放无关)所通过的部分是一对对称的点。
将2D FFT向一维上的投影(或者X或者Y轴)提供了检测该信号的存在情况的快速机制。通过在沿着每行的ID FFT之前对图像块进行预滤波(如前面部分所解释的)并且将各行的FFT求和以获得投影，来检测信号的存在情况。检测到ID投影中的强峰值表示水印存在。应注意，检测包括滤波ID FFT，及ID FFT中的峰值查找，其可以比需要将2D FFT相乘的技术更高效的方式而计算。
图5示出了图4的密度圆的空间域表示。该相位是随机分布的，所以可以基本觉察不到的方式将信号嵌入图像中。用于将这种类型的信号隐藏在主图像中的技术在上文中所结合的美国专利第6,614,914中进行了说明。例如，可使用作为主图像的数据隐藏能力的函数的可感知的掩模来对水印信号进行调节。此外，信号可被嵌入到对于人类比较不容易感知的彩色通道，如黄色通道。
水印信号的存在检测
本部分描述多种用于快速检测图4-5所示的水印信号结构的存在情况的可选方法。方法1-4是通过2D变换逼近实际的ID投影或ID片断的不同近似，并因计算复杂度的差异而不同。方法1是代价最低的。
方法1
将ID预滤波应用于块中的每行(类似于上文中预滤波部分所说明的2D滤波，但仅对沿着一行的采样执行)
对块中的所有行求和
计算ID FFT幅度
检测峰值
方法2
将2D预滤波应用于块
对块中的所有行求和
计算ID FFT幅度
检测峰值
方法3
将ID预滤波应用于块中的每行
计算每行的ID FFT幅值
对行FFT幅值求和
检测峰值
方法4
将2D预滤波应用于块
计算每行的ID FFT幅值
对行FFT幅值求和
检测峰值
方法5
将2D预滤波应用于块
计算每行的ID FFT
对行FFT求和
计算总和的幅值
检测峰值
快速检测的优点
快速水印检测提供了在诸如蜂窝电话和低端装置的计算复杂的环境中快速确定水印的存在情况的能力。这可导致更快并且更可靠的全面检测。
在服务器侧的检测中，快速检测处理可在客户机上运行，以识别将被传送至服务器的信号承载图像帧。在客户机侧上使用快速检测，可降低不在服务器上进行检测的可能性。仅将其中快速检测成功的帧传送至服务器。
在客户机侧检测中，快速检测可用于迅速排除没有载有水印信号的帧，而不是进行完整的注册和解码处理。其中检测到网格的帧将经过后续的水印检测步骤。
快速检测在需要迅速识别水印检测的感兴趣区域的情况下也很有用。这样，另外的处理资源可集中在最有可能进行完全并且准确的水印读取的信号的特定区域。
获取注册参数
尽管整圆结构主要被设计用于快速水印检测，然而其具有令人感兴趣的性质，这种性质可被采用以提供注册参数(即，同步)。
1.峰值的位置相对于2D FFT的x和y轴提供了比例。即，峰值距x和y方向的DC点的距离提供了在这些方向的比例。
2.当计算1中的x和y轴二者的峰值的距离时，峰值的位置还提供了差异比例(differential scale)的指示符。
3.将椭圆拟合到频域中的圆(参考本文中结合的美国专利号6,483,927中的椭圆拟合技术)有助于恢复除了旋转之外的仿射变换.
4.可通过利用相位或者通过添加除密度圆之外的少许随机脉冲函数点来恢复旋转。
另一种获得注册参数的方法是，除了收集其它脉冲函数之外，使用傅立叶幅值域中的整圆信号。该整圆可提供快速检测和从大的差分比例恢复的能力，而收集其它脉冲函数有助于恢复任何剩余参数。参见美国专利第6,614,914号，使用对数极坐标变换来从傅立叶幅值域中的脉冲函数的集合计算注册参数。
可选水印信号设计选择
密度圆仅仅是可使用ID投影来检测的信号的一个实例。可选择其它的设计来减少空间域中信号的可见度，并使得更容易获取其它注册信息。例如，
1.同心弧
2.非对称弧
3.中心在DC的正方形
4.中心在DC的菱形(平行四边形)
5.被设计为在从0度到180度的可能的旋转角度上存在脉冲函数点的信号。在这种设计中，每个点可位于巨DC唯一的径向距离处。
6.在每个象限具有不同斜率的多条线(不穿过DC)。
其它类型的快速检测
水印信号(或其它ID承载信号)可被设计为具有便于快速检测的不同属性。这些属性包括独特的颜色、独特的线结构、印刷中使用的独特的半色调加网结构(如，独特的加网角度或频率)、独特的频率内容、信号直方图中的独特签名等。接着，将快速检测器调至测量这些属性的迹象，如果充分地存在，那么在发现这些属性的区域进行进一步的检测活动。
作为正反馈的快速检测器
快速检测器使手持机能够在被关闭以获取带有可读水印(或其它代码信号)的图像时显示或发出声音。对于很多用户，很难将手持机的摄像头设置在距离有水印的物体适当角度和距离的位置处，从而导致失败。然而，如果快速检测器在手持机移动时持续地运行在获取的图像帧上，那么来自水印信号的检测的正反馈有助于引导用户校正照相机的位置和角度，以保证准确的水印恢复。接着，用户可通过手持机发出的哔哔声或发光的指示而按下获取按钮，以保证获得的图像有可能含有可恢复的水印信号。
本发明的指纹配置
在下文中，列出了几种使用指纹的可选的发明方法，这些方法可与水印的快速检测结合，来执行移动计算装置或网络上的内容识别。
方法1
在使用蜂窝电话获取图像时，计算其指纹(即，一些形式的鲁棒的数字签名)。将指纹发送至服务器，在服务器，将该指纹与数据库中的指纹匹配，以识别所获取的材料。接着可基于数据库所返回的ID采取进一步的行动。
方法2
与方法1类似，除了将图像发送至服务器，而不计算指纹，在服务器，直接将图像与数据库的存储图像匹配(相关)。
方法3
与方法1类似，除了将水印模板嵌入在印刷材料中以提供同步。由于同步使得能够在使用来自同步处理的注册参数将内容排列之后再计算指纹，所以同步提高了指纹提取和匹配的鲁棒性。
方法4
与方法2类似，除了将模板嵌入以提供同步。同步简化/改进了与数据库的图像匹配的任务。
方法5
另外可在方法3和4中使用净荷消息信号，使得系统更加鲁棒。换言之，系统可依靠水印或指纹，或者两者。
这些情况是读取库可基于装置和商业模型参数来进行选择以调整手持机性能的可选配置的实例。
总结评论
已经参考具体实现对技术原理进行了描述和说明，应该明白，该技术可以以很多其它不同的形式来实现。为了提供易理解的公开而不使说明书过于冗长，申请人结合上文中所参考的专利和专利申请作为参考。
上文中所描述的方法、处理和系统可在硬件、软件或硬件与软件的组合体中实现。例如，辅助数据编码处理可实现于可编程计算机或者专用数字电路中。类似地，辅助数据解码可实现于软件、固件、硬件或软件、固件和硬件的组合体中。上文中所描述的方法和处理可实现于从系统的存储器(计算机可读介质，诸如，电子、光学或磁存储装置)执行的程序中。
上述具体实施例中的元件和特征的具体组合仅是示例性的；这些技术方案与本申请和在此结合作为参考的专利/申请的其它技术方案的互换和替代也是可预期的。

Claims (17)

1.一种用于移动电话手持机的读取装置，所述读取装置接收由所述移动电话手持机获取的内容条目并将所述内容条目转化为动作，所述读取装置包括：
读取模块，每个所述读取模块用于执行识别所述内容条目所使用的功能，使得每个读取模块都能够参与接收所述内容条目并将所述内容条目转化为动作的处理；和
读取库，其用于读取装置性能或商业模型参数，并相应地，基于所述装置性能或商业模型参数选择所述移动电话手持机中将参与接收所述内容条目并将所述内容条目转化为动作的处理的读取模块的组合。
2.如权利要求1所述的读取装置，其中，所述读取模块包括预滤波以提供滤波后的信号，所述滤波后的信号用于从所述手持机上获取的主体信号中识别所述内容条目。
3.如权利要求2所述的读取装置，其中，从所述滤波后的信号中取得内容指纹，并且所述指纹被用于识别所述内容条目。
4.如权利要求2所述的读取装置，其中，所述预滤波在所述移动电话手持机上执行，并且从所述滤波后的信号中识别所述内容条目是在远离所述手持机的装置上执行。
5.如权利要求2所述的读取装置，其中，所述读取模块包括用于基于从所述主体信号中提取的水印来识别所述内容条目的数字水印检测模块。
6.如权利要求1所述的读取装置，其中，所述读取模块包括快速检测模块和全检测模块，其用于从所述手持机上获取的主体信号中识别所述内容条目。
7.如权利要求6所述的读取装置，其中，所述快速检测模块在所述手持机上执行，并且所述全检测模块在远离所述手持机的装置上执行，以识别所述内容条目。
8.如权利要求1所述的读取装置，其中，所述读取模块包括指纹模块，所述指纹模块用于计算所述手持机上获取的主体信号的散列，以从所述主体信号中识别所述内容条目。
9.如权利要求8所述的读取装置，其中，所述读取模块包括数字水印检测器。
10.如权利要求9所述的读取装置，其中，所述数字水印检测器和指纹模块对所述主体信号进行操作，以从所述手持机上获取的主体信号中识别所述内容条目。
11.如权利要求1所述的读取装置，其中，所述装置性能或商业模型参数包括处理器性能。
12.如权利要求1所述的读取装置，其中，所述装置性能或商业模型参数包括与服务提供商或进行无线通信的通话计划相关联的参数。
13.如权利要求1所述的读取装置，其中，所述装置性能或商业模型参数包括所述手持机可用的网络带宽。
14.一种用于从移动电话手持机上获取的主体信号中识别内容条目的方法，所述方法包括：
基于所述手持机的装置性能或商业模型参数从多个可选识别方法中选择一识别方法；
基于所述装置性能或商业模型参数选择所述移动电话手持机中将参与接收所述内容条目并将所述内容条目转化为动作的处理的读取模块的组合，其中每个所述读取模块执行识别所述内容条目所使用的功能，使得每个读取模块都能够参与接收所述内容条目并将所述内容条目转化为动作的处理；
在服务器中，接收从所述主体信号中取得的数据，以用于识别所述内容条目；
响应于在所述服务器中接收到数据，根据所述选择的识别方法，从所述数据中识别所述内容条目；和
确定与所述内容条目相关联的动作。
15.如权利要求14所述的方法，其中，所述动作包括返回与所述内容条目相关联的数据，以在所述手持机上进行呈现。
16.如权利要求14所述的方法，其中，所述识别方法是基于所述手持机的处理器性能而选择的。
17.如权利要求14所述的方法，其中，所述识别方法是基于与无线服务提供商或计划相关的商业模型参数而选择的。
CN200580032902.2A 2004-08-06 2005-08-05 便携计算装置中的快速信号检测和分布式计算 Active CN101032106B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US59947904P 2004-08-06 2004-08-06
US60/599,479 2004-08-06
PCT/US2005/027735 WO2006017659A2 (en) 2004-08-06 2005-08-05 Fast signal detection and distributed computing in portable computing devices

Publications (2)

Publication Number Publication Date
CN101032106A CN101032106A (zh) 2007-09-05
CN101032106B true CN101032106B (zh) 2014-07-23

Family

ID=35839909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580032902.2A Active CN101032106B (zh) 2004-08-06 2005-08-05 便携计算装置中的快速信号检测和分布式计算

Country Status (5)

Country Link
US (4) US8694049B2 (zh)
EP (2) EP1774686A4 (zh)
JP (3) JP5279270B2 (zh)
CN (1) CN101032106B (zh)
WO (1) WO2006017659A2 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965682B1 (en) 1999-05-19 2005-11-15 Digimarc Corp Data transmission by watermark proxy
US8290202B2 (en) * 1998-11-03 2012-10-16 Digimarc Corporation Methods utilizing steganography
JP5279270B2 (ja) 2004-08-06 2013-09-04 ディジマーク コーポレイション 携帯コンピューティング装置における高速信号検出および分散コンピューティング
KR100663464B1 (ko) * 2005-11-03 2007-01-02 삼성전자주식회사 유무선 통신 시스템 및 유무선 통신 시스템에서 멀티미디어서비스 제공 방법
US8570586B2 (en) 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
KR20080054396A (ko) * 2005-10-13 2008-06-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 효율적인 워터 마크 검출
KR20080067659A (ko) * 2005-11-17 2008-07-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 안전한 워터마크 내장을 위한 지각 마스킹
US8224018B2 (en) * 2006-01-23 2012-07-17 Digimarc Corporation Sensing data from physical objects
US7945070B2 (en) * 2006-02-24 2011-05-17 Digimarc Corporation Geographic-based watermarking keys
US7991157B2 (en) * 2006-11-16 2011-08-02 Digimarc Corporation Methods and systems responsive to features sensed from imagery or other data
GB2457062A (en) * 2008-02-01 2009-08-05 Iti Scotland Ltd Tag reader / writer process partitioned for execution between secure and non-secure processing environments
US20090259623A1 (en) * 2008-04-11 2009-10-15 Adobe Systems Incorporated Systems and Methods for Associating Metadata with Media
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US8340344B2 (en) * 2008-10-01 2012-12-25 Broadcom Corporation Method and system for video transmission and processing with customized watermarking delivery
US9788043B2 (en) * 2008-11-07 2017-10-10 Digimarc Corporation Content interaction methods and systems employing portable devices
US9544516B2 (en) * 2008-12-26 2017-01-10 Digimarc Corporation Method and apparatus for sensor characterization
US8687839B2 (en) * 2009-05-21 2014-04-01 Digimarc Corporation Robust signatures derived from local nonlinear filters
JP5710604B2 (ja) 2009-05-21 2015-04-30 ディジマーク コーポレイション ウォーターマーキングとフィンガープリンティングとの組合せ
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US8819172B2 (en) 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US9183580B2 (en) 2010-11-04 2015-11-10 Digimarc Corporation Methods and systems for resource management on portable devices
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
EP2567346B1 (en) * 2010-05-05 2017-06-14 Digimarc Corporation Hidden image signaling
JP5693162B2 (ja) * 2010-11-09 2015-04-01 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム
CN103918247B (zh) 2011-09-23 2016-08-24 数字标记公司 基于背景环境的智能手机传感器逻辑
WO2013072076A1 (en) * 2011-11-18 2013-05-23 Nec Europe Ltd. Method and system for identifying content
US9210467B2 (en) 2012-02-07 2015-12-08 Turner Broadcasting System, Inc. Method and system for a universal remote control
US9292894B2 (en) 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US9477884B2 (en) 2012-06-14 2016-10-25 Digimarc Corporation Methods and systems for signal processing
WO2014028712A1 (en) * 2012-08-15 2014-02-20 Telecommunication Systems, Inc. Device independent caller data access for emergency calls
US9106964B2 (en) * 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9684941B2 (en) 2012-10-29 2017-06-20 Digimarc Corporation Determining pose for use with digital watermarking, fingerprinting and augmented reality
US9167278B2 (en) 2012-12-28 2015-10-20 Turner Broadcasting System, Inc. Method and system for automatic content recognition (ACR) based broadcast synchronization
KR102106539B1 (ko) * 2013-07-01 2020-05-28 삼성전자주식회사 화상 통화동안 비디오 컨텐츠를 인증하는 방법 및 디바이스
JP5822411B2 (ja) 2013-08-12 2015-11-24 株式会社アポロジャパン 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体
US9621963B2 (en) 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
US9832353B2 (en) 2014-01-31 2017-11-28 Digimarc Corporation Methods for encoding, decoding and interpreting auxiliary data in media signals
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US10298736B2 (en) * 2015-07-10 2019-05-21 Electronics And Telecommunications Research Institute Apparatus and method for processing voice signal and terminal
WO2017011801A1 (en) 2015-07-16 2017-01-19 Digimarc Corporation Signal processors and methods for estimating geometric transformations of images for digital data extraction
US9848235B1 (en) * 2016-02-22 2017-12-19 Sorenson Media, Inc Video fingerprinting based on fourier transform of histogram
JP2016220214A (ja) * 2016-06-17 2016-12-22 フェリカネットワークス株式会社 情報処理装置および方法、プログラム、並びに情報処理システム
US10701438B2 (en) 2016-12-31 2020-06-30 Turner Broadcasting System, Inc. Automatic content recognition and verification in a broadcast chain
US10958807B1 (en) 2018-02-08 2021-03-23 Digimarc Corporation Methods and arrangements for configuring retail scanning systems
US10880451B2 (en) 2018-06-08 2020-12-29 Digimarc Corporation Aggregating detectability metrics to determine signal robustness
US10789438B1 (en) 2019-02-08 2020-09-29 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery, using only a subset of available image data
US11250535B1 (en) 2019-02-08 2022-02-15 Digimarc Corporation Detecting conflicts between multiple different encoded signals within imagery, using only a subset of available image data, and robustness checks
CN111148030A (zh) * 2019-12-31 2020-05-12 泰斗微电子科技有限公司 指纹数据库的更新方法、装置、服务器及存储介质
CN111179913B (zh) * 2019-12-31 2022-10-21 深圳市瑞讯云技术有限公司 一种语音处理方法及装置
WO2023004159A1 (en) * 2021-07-22 2023-01-26 Jacobson John Elijah Systems and methods employing scene embedded markers for verifying media

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123659A1 (en) * 2001-12-28 2003-07-03 Forstrom Howard Scott Digital multimedia watermarking for source identification

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122403A (en) 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
US6614914B1 (en) 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US5822436A (en) 1996-04-25 1998-10-13 Digimarc Corporation Photographic products and methods employing embedded information
US6505160B1 (en) 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US7711564B2 (en) * 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
US7171018B2 (en) * 1995-07-27 2007-01-30 Digimarc Corporation Portable devices and methods employing digital watermarking
US5761606A (en) 1996-02-08 1998-06-02 Wolzien; Thomas R. Media online services access via address embedded in video or audio program
US6125172A (en) 1997-04-18 2000-09-26 Lucent Technologies, Inc. Apparatus and method for initiating a transaction having acoustic data receiver that filters human voice
JPH1132111A (ja) * 1997-07-09 1999-02-02 Sony Corp 電話装置
JPH1155201A (ja) 1997-07-29 1999-02-26 Sony Corp 情報処理装置および方法、情報処理システム、並びに伝送媒体
US6121530A (en) 1998-03-19 2000-09-19 Sonoda; Tomonari World Wide Web-based melody retrieval system with thresholds determined by using distribution of pitch and span of notes
US6389055B1 (en) 1998-03-30 2002-05-14 Lucent Technologies, Inc. Integrating digital data with perceptible signals
US6512919B2 (en) 1998-12-14 2003-01-28 Fujitsu Limited Electronic shopping system utilizing a program downloadable wireless videophone
JP3780811B2 (ja) 1999-03-30 2006-05-31 富士通株式会社 ワイヤレステレビ電話を用いた電子ショッピングシステム
CA2373511C (en) 1999-05-19 2014-07-08 Digimarc Corporation Methods and systems for controlling computers or linking to internet resources from physical and electronic objects
KR100960232B1 (ko) * 1999-05-19 2010-06-01 디지맥 코포레이션 컴퓨터들을 제어하거나 물리적 및 전자적 객체들로부터 인터넷 리소스들에 링크하기 위한 방법들 및 시스템들
US7302574B2 (en) 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US6941275B1 (en) 1999-10-07 2005-09-06 Remi Swierczek Music identification system
JP3743246B2 (ja) * 2000-02-03 2006-02-08 日本電気株式会社 バイオメトリクス入力装置及びバイオメトリクス照合装置
US6385329B1 (en) * 2000-02-14 2002-05-07 Digimarc Corporation Wavelet domain watermarks
JP2001344545A (ja) 2000-03-29 2001-12-14 Ibm Japan Ltd 処理システム、サーバ、処理端末、通信端末、処理方法、データ管理方法、処理実行方法、プログラム
JP2001297086A (ja) * 2000-04-13 2001-10-26 Sony Corp 検索システム、検索装置および検索方法、ならびに、入力装置および入力方法
JP2002044347A (ja) * 2000-07-28 2002-02-08 Murata Mach Ltd ネットワークシステム
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7853664B1 (en) 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
BR0107352A (pt) 2000-10-20 2002-09-17 Koninkl Philips Electronics Nv Método e arranjo para permitir não intermediação em um modelo de negócio, receptor para uso no arranjo, e, produto de programa de computador
US20020102966A1 (en) * 2000-11-06 2002-08-01 Lev Tsvi H. Object identification method for portable devices
DE10058811A1 (de) 2000-11-27 2002-06-13 Philips Corp Intellectual Pty Verfahren zur Identifizierung von Musikstücken
US20020072982A1 (en) 2000-12-12 2002-06-13 Shazam Entertainment Ltd. Method and system for interacting with a user in an experiential environment
US6483927B2 (en) * 2000-12-18 2002-11-19 Digimarc Corporation Synchronizing readers of hidden auxiliary data in quantization-based data hiding schemes
EP1362485B1 (en) 2001-02-12 2008-08-13 Gracenote, Inc. Generating and matching hashes of multimedia content
US7062442B2 (en) 2001-02-23 2006-06-13 Popcatcher Ab Method and arrangement for search and recording of media signals
JP2002335392A (ja) * 2001-05-10 2002-11-22 Sony Corp 電子透かし検出処理装置、電子透かし埋め込み処理装置、および電子透かし検出処理方法、電子透かし埋め込み処理方法、並びにプログラム
US20020174431A1 (en) 2001-05-15 2002-11-21 John Bowman Method and system for receiving music related information via an internet connection
US6968337B2 (en) 2001-07-10 2005-11-22 Audible Magic Corporation Method and apparatus for identifying an unknown work
US7877438B2 (en) 2001-07-20 2011-01-25 Audible Magic Corporation Method and apparatus for identifying new media content
JP2005500736A (ja) 2001-08-14 2005-01-06 セントラル リサーチ ラボラトリーズ リミティド 放送信号に関連する情報へのアクセスを提供するシステム
US6724914B2 (en) * 2001-10-16 2004-04-20 Digimarc Corporation Progressive watermark decoding on a distributed computing platform
US20030135623A1 (en) 2001-10-23 2003-07-17 Audible Magic, Inc. Method and apparatus for cache promotion
JP3907439B2 (ja) 2001-10-26 2007-04-18 キヤノン株式会社 携帯端末システム及び携帯端末及び画像処理装置及びその動作方法
JP2003143388A (ja) * 2001-10-31 2003-05-16 Toppan Printing Co Ltd 画像処理方法およびその装置ならびに印刷物
JP4298513B2 (ja) 2002-02-06 2009-07-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 高速ハッシュに基づくマルチメディアオブジェクトのメタデータ検索
JP2003242417A (ja) * 2002-02-18 2003-08-29 Nippon Telegr & Teleph Corp <Ntt> コンテンツ流通方法、コンテンツ流通システム、コンテンツ再生装置、コンテンツ再生プログラム及びその記録媒体
JP2003296341A (ja) * 2002-04-03 2003-10-17 Nissan Motor Co Ltd データベース生成方法、データベース生成プログラム、データ構造、データベース生成システム、検索システム、及び検索方法
WO2003091899A2 (en) * 2002-04-25 2003-11-06 Neuros Audio, Llc Apparatus and method for identifying audio
GB2390503A (en) * 2002-07-04 2004-01-07 Sony Uk Ltd Detecting data using a reduced-bandwidth version of suspect material
DE10232916B4 (de) 2002-07-19 2008-08-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Charakterisieren eines Informationssignals
JP2004086457A (ja) * 2002-08-26 2004-03-18 Kyodo Printing Co Ltd コンテンツのダウンロード方法及びその方式
CN1679051A (zh) * 2002-08-30 2005-10-05 皇家飞利浦电子股份有限公司 嵌入用于媒体内容识别的指纹数据
JP2004179783A (ja) * 2002-11-25 2004-06-24 Nippon Telegr & Teleph Corp <Ntt> 携帯用クライアント装置及び携帯用クライアント支援システム及びｉｄ解読方法及びｉｄ解読プログラム
JP2004179966A (ja) * 2002-11-27 2004-06-24 Kyocera Corp 携帯端末
US20040260682A1 (en) 2003-06-19 2004-12-23 Microsoft Corporation System and method for identifying content and managing information corresponding to objects in a signal
EP1496719B1 (en) * 2003-07-10 2011-01-26 Alcatel Lucent Bandwidth and power saving in a multimode mobile radio telecommunication terminal by selective monitoring of a plurality of radio interfaces
US20080148059A1 (en) * 2003-07-25 2008-06-19 Shapiro Michael F Universal, Biometric, Self-Authenticating Identity Computer Having Multiple Communication Ports
US20050136851A1 (en) * 2003-12-19 2005-06-23 Fujitsu Limited Information processing unit
US7751805B2 (en) 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US7221902B2 (en) 2004-04-07 2007-05-22 Nokia Corporation Mobile station and interface adapted for feature extraction from an input media sample
US20050226468A1 (en) * 2004-03-30 2005-10-13 Intel Corporation Method and apparatus for enabling context awareness in a wireless system
US7563971B2 (en) 2004-06-02 2009-07-21 Stmicroelectronics Asia Pacific Pte. Ltd. Energy-based audio pattern recognition with weighting of energy matches
US20060004630A1 (en) * 2004-07-02 2006-01-05 Microsoft Corporation Advertising through digital watermarks
JP5279270B2 (ja) 2004-08-06 2013-09-04 ディジマーク コーポレイション 携帯コンピューティング装置における高速信号検出および分散コンピューティング
WO2009102885A1 (en) * 2008-02-12 2009-08-20 Phone Through, Inc. Systems and methods for enabling interactivity among a plurality of devices
US9219790B1 (en) * 2012-06-29 2015-12-22 Google Inc. Determining user engagement with presented media content through mobile device usage
US20140032669A1 (en) * 2012-07-26 2014-01-30 Go Factory, LLC One-button formation of a proximity based instant temporary social network on mobile devices
WO2014176747A1 (en) * 2013-04-28 2014-11-06 Tencent Technology (Shenzhen) Company Limited Enabling an interactive program associated with a live broadcast on a mobile device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123659A1 (en) * 2001-12-28 2003-07-03 Forstrom Howard Scott Digital multimedia watermarking for source identification

Also Published As

Publication number Publication date
US20170024467A1 (en) 2017-01-26
EP1774686A2 (en) 2007-04-18
CN101032106A (zh) 2007-09-05
US10282470B2 (en) 2019-05-07
JP2013211038A (ja) 2013-10-10
EP2315423A1 (en) 2011-04-27
US8694049B2 (en) 2014-04-08
JP5279270B2 (ja) 2013-09-04
US20060031684A1 (en) 2006-02-09
JP5555203B2 (ja) 2014-07-23
WO2006017659A3 (en) 2006-11-30
EP1774686A4 (en) 2012-08-08
US20140342773A1 (en) 2014-11-20
US9842163B2 (en) 2017-12-12
JP2008509607A (ja) 2008-03-27
US20180349491A1 (en) 2018-12-06
US9325819B2 (en) 2016-04-26
EP2315423B1 (en) 2017-11-01
JP2011234376A (ja) 2011-11-17
WO2006017659A2 (en) 2006-02-16

Similar Documents

Publication Publication Date Title
CN101032106B (zh) 便携计算装置中的快速信号检测和分布式计算
JP2008509607A5 (zh)
US9552617B2 (en) Mobile media, devices, and signaling
CN102298533B (zh) 激活应用程序的方法及终端设备
EP2673766B1 (en) A system to augment a visual data stream based on geographical and visual information
CN103635953A (zh) 使用用户特定内容增强可视数据流的系统
CN103502999A (zh) 用于使用可视数据流标记和增强地理特定位置的系统
US9977710B2 (en) Self-stabilizing network nodes in mobile discovery system
CN103621131A (zh) 用于使用视听信息对设备进行空间准确定位的方法
CN105872717A (zh) 视频处理方法及系统、视频播放器与云服务器
JP2001331724A (ja) データ処理装置およびデータ処理方法、並びに記録媒体
EP3149652A1 (en) Fingerprinting and matching of content of a multi-media file
JP3856810B2 (ja) コンテンツのダウンロード方法および再生方法
CN106331743A (zh) 一种基于音频水印的视频交互的系统及方法
Agarwal et al. Object Detection using a Handheld Android Device for Processing Image Data in Real Time
Shi et al. A Real-Time Smart Display Detection System
JP2014123313A (ja) 関連サービス提供方法、端末装置、コンピュータプログラム
KR20150051112A (ko) 디지털 워터마크와 핑거프린트를 이용한 콘텐츠 관련 정보 제공 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NUMERICAL SYMBOL COMPANY

Free format text: FORMER OWNER: L-1 SECURITY TRUST CO., LTD.

Effective date: 20090612

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090612

Address after: oregon

Applicant after: Digimarc Corp.

Address before: oregon

Applicant before: L-1 Security Trust Co. Ltd.

C14 Grant of patent or utility model
GR01 Patent grant