JP2004140844A - Mobile terminal system, mobile terminal, image processing device, and their operation method - Google Patents
Mobile terminal system, mobile terminal, image processing device, and their operation method Download PDFInfo
- Publication number
- JP2004140844A JP2004140844A JP2003368871A JP2003368871A JP2004140844A JP 2004140844 A JP2004140844 A JP 2004140844A JP 2003368871 A JP2003368871 A JP 2003368871A JP 2003368871 A JP2003368871 A JP 2003368871A JP 2004140844 A JP2004140844 A JP 2004140844A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mobile terminal
- base station
- terminal
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、電子透かしが埋め込まれている画像を撮影し、該画像から電子透かしを抽出するための携帯端末システム及びその動作方法に関するものである。 The present invention relates to a portable terminal system for capturing an image in which a digital watermark is embedded and extracting the digital watermark from the image, and a method of operating the system.
従来、静止画像、動画像、音声等に人間の視覚や聴覚では認識出来ない様に著作者情報等の付加情報（電子透かし）を埋め込む電子透かし技術が知られている。 Conventionally, there has been known a digital watermarking technique for embedding additional information (digital watermark) such as creator information in a still image, a moving image, a sound, or the like so that the information cannot be recognized by human eyes or hearing.
埋め込む方法としては、例えば画像、音声を一旦周波数成分等に変換し、高周波成分等の特定の周波数成分に透かし情報を埋め込み、再度逆変換する方法や、画像や音声に直接一定の値をある一定の周期で加減算することにより透かし情報を埋め込む方法等が知られている。 Examples of the embedding method include a method of temporarily converting an image or a sound into a frequency component or the like, embedding watermark information in a specific frequency component such as a high frequency component, and then performing an inverse conversion again, or a method of directly applying a certain value to an image or a sound. A method of embedding watermark information by performing addition and subtraction at a period of is known.
近年知られている画像への電子透かしの埋め込み機能、或いは既に電子透かしが埋め込まれている画像からの電子透かしの抽出機能は、著作権保護、或いは偽造抑止等を目的として使用されることが多く、扱う画像は高解像度／多階調なものが対象となることが多い。従って、上記機能を備える装置も高機能な据え置き型の画像処理装置であることが普通である。
しかしながら、近年では、携帯電話等の携帯端末の機能も高性能になってきており、年々高画質な画像や高音質の音声を扱うことが可能になっている。 However, in recent years, the functions of mobile terminals such as mobile phones have also become more sophisticated, and it is possible to handle high-quality images and high-quality sounds year by year.
本発明は、上記状況に鑑みて成されたものであり、電子透かしを埋め込めるだけの高画質な画像を取り扱える携帯端末を利用して、電子透かし技術を利用した種々のサービスを提供できる様にすることを主な目的とする。具体的には、その場に電子透かしの抽出ができる装置が無くとも、パンフレットやポスターに埋め込まれている電子透かしが埋め込まれた画像を撮影できるカメラを備える無線携帯端末を用いることで、その電子透かしに関連する追加情報を取得できる様にすることを目的とする。 The present invention has been made in view of the above-described circumstances, and provides various services using digital watermark technology using a mobile terminal capable of handling a high-quality image enough to embed a digital watermark. The main purpose is to Specifically, even if there is no device capable of extracting a digital watermark on the spot, by using a wireless portable terminal equipped with a camera capable of capturing an image embedded with a digital watermark embedded in a pamphlet or a poster, It is an object of the present invention to obtain additional information related to a watermark.
上記目的を達成するための、本発明における１つの携帯端末システムによれば、内部または外部に静止画像を撮影可能なカメラを備える携帯端末、及びその携帯端末と基地局を介して無線通信を行う画像処理装置からなる携帯端末システムであって、前記携帯端末は、前記カメラで撮影された静止画像を保持する保持手段と、前記保持手段に保持された静止画像を、無線通信により基地局に送信する無線通信手段とを備え、前記画像処理装置は、前記静止画像を前記基地局を介して受信する受信手段と、前記受信手段が受信した静止画像に人間の目に識別しにくく埋め込まれている電子透かしの内容を検出する検出手段と、前記検出手段にて検出された電子透かしの内容とは異なり、かつ該内容に関連すると特定した追加情報を、前記基地局に返送する返送手段とを備え、前記携帯端末は、前記無線通信手段により、前記基地局を介して前記付加情報を受信し、前記保持手段に保持することを特徴とする。 According to one portable terminal system of the present invention to achieve the above object, a portable terminal including a camera capable of capturing a still image inside or outside, and wirelessly communicating with the portable terminal via a base station A mobile terminal system including an image processing apparatus, wherein the mobile terminal transmits a still image held by the camera to a base station by wireless communication, and a holding unit that holds a still image captured by the camera. Wireless communication means, wherein the image processing apparatus is embedded in the still image received by the receiving means, the receiving means receiving the still image via the base station, so that it is difficult for the human eye to recognize the still image. Detecting means for detecting the content of the digital watermark, and additional information different from the content of the digital watermark detected by the detecting means and identified as being related to the content; And a returning means for returning to said mobile terminal by said wireless communication means, via the base station receiving the additional information, characterized in that it held in the holding means.
本発明によれば、電子透かしを埋め込めるだけの高画質な画像を取り扱える携帯端末を利用して、電子透かし技術を利用した種々のサービスを提供できる。具体的には、その場に電子透かしの抽出ができる装置が無くとも、パンフレットやポスターに埋め込まれている電子透かしが埋め込まれた画像を撮影できるカメラを備える無線携帯端末を用いることで、その電子透かしに関連する追加情報を取得できる。 According to the present invention, various services using digital watermark technology can be provided by using a portable terminal capable of handling a high-quality image in which a digital watermark can be embedded. Specifically, even if there is no device capable of extracting a digital watermark on the spot, by using a wireless portable terminal equipped with a camera capable of capturing an image embedded with a digital watermark embedded in a pamphlet or a poster, Additional information related to the watermark can be obtained.
以下、本発明の一例となる実施形態を説明してゆく。 Hereinafter, an exemplary embodiment of the present invention will be described.
（第１の実施の形態）
図１は、本実施の形態に用いられる携帯端末システムの全体的な概略図を示したものである。
(First Embodiment)
FIG. 1 is an overall schematic diagram of a portable terminal system used in the present embodiment.
（１．システム概略）
図中、Ａ〜Ｅは、互いに異なる地点を意味する符号である。なお、地点Ａと地点Ｃ、地点Ｂと地点Ｄは、後述する理由から比較的近くの位置にあるものとする。
(1. System outline)
In the figure, A to E are symbols that indicate different points. In addition, it is assumed that the points A and C and the points B and D are relatively close to each other for the reason described later.
１００Ａ、及び１００Ｂは、無線通信を行うことが可能な携帯端末である。Ａ及びＢは、夫々、携帯端末１００Ａ、１００Ｂを使用する利用者が存在する地点から０〜５メートル程度を範囲とする地点を意味している。また、２００Ａは地点Ａに存在する広告看板等であり、その看板の一部には、後述する電子透かしが埋め込まれている画像２０１Ａが掲載されている。同じく、２００Ｂは地点Ｂに存在する雑誌等であり、その一部ページには、後述する電子透かしが埋め込まれている画像２０１Ｂが掲載されている。
# 100A and 100B are portable terminals capable of performing wireless communication. A and B mean points within a range of about 0 to 5 meters from the point where the user using the
３００Ｃは、携帯端末１００Ａとの無線通信に適している（主に携帯端末との距離が近いことを理由として最適化されている）基地局であり、地点Ａと近い地点Ｃに設置されている。同じく、３００Ｄは、携帯端末１００Ｂとの無線通信に適している基地局であり、地点Ｂと近い地点Ｄに設置されている。
300C is a base station suitable for wireless communication with the
ここで、基地局３００Ｃ、３００Ｄには、夫々無線通信を行う為のアンテナ３０１Ｃ、３０１Ｄを備える。また、上記地点から各端末の移動が無ければ、各携帯端末から種々の装置へデータ通信を行う際には、基地局３００Ｃは、端末１００Ａと無線通信を行い、基地局３００Ｄは、端末１００Ｂと無線通信を行うことになる。
Here, the base stations 300C and 300D are provided with
なお、端末を使用するユーザーがこの端末と共に移動すれば、当然、この端末と無線通信を行うべき担当基地局は、更にこの端末に近い基地局に変更になる。 If the user using the terminal moves with the terminal, the base station in charge of wireless communication with the terminal naturally changes to a base station closer to the terminal.
また、各基地局が担当する携帯端末は、上記最適化の方法からも、各基地局の中で最も近い基地局に存在することが普通である。従って、各基地局或いはそれらを管理する管理装置は、各基地局が担当する端末を知ることで、各端末のおよその位置も容易に判断できる。これらの機能は、いわゆるＰＨＳ等で知られているので、詳細な説明は省略する。 携 帯 In addition, the mobile terminal assigned to each base station is usually located at the closest base station among the base stations also from the above-described optimization method. Therefore, each base station or the management device that manages them can easily determine the approximate position of each terminal by knowing the terminal in charge of each base station. Since these functions are known in a so-called PHS or the like, detailed description will be omitted.
４００Ｅは、多数の画像を同時に処理できる画像処理装置であり、主に後述する電子透かしの抽出処理を行うために動作する。 # 400E is an image processing apparatus capable of simultaneously processing a large number of images, and operates mainly to perform a digital watermark extraction process described later.
（２．携帯端末の基本構成）
次に上記携帯端末１０１Ａ、或いは１０１Ｂが備える主要な構成を説明する。図２は、携帯端末１０１Ａ、或いは１０１Ｂの内部構成を簡略化して図示したものである。なお、２つの端末の構成は同一なので、同一図面で説明する。また、図１及び図２で共通するものには、同一の番号を付与し、説明の重複を避ける。
(2. Basic configuration of mobile terminal)
Next, a main configuration of the
まず最初に、図２における１０９Ａ、１０９ＢはＣＰＵ、１１０Ａ、１１０ＢはＲＡＭ、１１１Ａ、１１１ＢはＲＯＭであり、ＣＰＵはＲＯＭ又はＲＡＭに格納されている制御プログラムに基づいて、後述する各部の動作を制御する。ＲＡＭ１１０Ａ、１１０Ｂは、主に画像処理／通信を行う際の一時蓄積メモリとして利用されるが、後述する電子透かしの抽出の前処理を行うプログラムを格納する為等にも利用される。 First, in FIG. 2, 109A and 109B are CPUs, 110A and 110B are RAMs, 111A and 111B are ROMs, and the CPU controls the operation of each unit described later based on a control program stored in the ROM or the RAM. I do. The RAMs 110A and 110B are mainly used as a temporary storage memory when performing image processing / communication, but are also used to store a program for performing pre-processing for extracting an electronic watermark, which will be described later.
図１、図２における１０１Ａ、１０１Ｂは、夫々端末１００Ａ、１００Ｂに内臓／外付けされた小型カメラであり、端末の外部に存在する物体を撮影し、映像データを生成することができる。映像データは後段の画像処理／通信の為に、ＲＡＭ１１０Ａ、１１０Ｂに格納される。
{Circle around (1)} 101A and 101B in FIGS. 1 and 2 are small cameras built in / outside the
同じく、１０２Ａ、１０２Ｂは、ＲＡＭ１１０Ａ、１１０Ｂに格納されている音声又は、無線通信により受信した音声を出力することのできるスピーカである。 Similarly, 102A and 102B are speakers capable of outputting audio stored in the RAMs 110A and 110B or audio received by wireless communication.
１０３Ａ、１０３Ｂは、上記小型カメラ１０１Ａ、１０１Ｂで撮影中の画像、或いは上記ＲＡＭ１１０Ａ、１１０Ｂに格納されている画像、或いは無線通信により受信した画像を表示することのできるディスプレイであり、また、携帯端末の種々の操作ガイドとなる表示も行う。
103A and 103B are displays capable of displaying images being captured by the
１０４Ａ、１０４Ｂは、携帯端末の各種動作をマニュアル指示するための操作部であり、通信相手先の電話番号の入力や、送信対象となる文字データの入力等にも利用される。 # 104A and 104B are operation units for manually instructing various operations of the mobile terminal, and are also used for inputting a telephone number of a communication partner and inputting character data to be transmitted.
１０５Ａ、１０５Ｂは、マイクであり、ユーザーが発声した音声、或いはその周囲の音声を感知し、音声データに変換した後、ＲＡＭ１１０Ａ、１１０Ｂに格納、或いは、直接通信相手先に送信する。 # 105A and 105B are microphones which detect voices uttered by the user or voices around the microphones, convert the voices into voice data, and store them in the RAMs 110A and 110B, or directly transmit them to the communication partner.
１０６Ａ、１０６Ｂは、外部接続端子であり、外部機器と接続して情報を入力する場合、或いは、外部機器に自端末が保持する情報を出力する場合に、外部機器と接続する為のインターフェイスである。
１０７Ａ、１０７Ｂは、拡張スロットであり、例えばＲＯＭ、ＲＡＭ以外のプログラムを格納する記憶媒体を接続することで、機能を拡張することができ、また、単にＲＡＭ１１０Ａ、１１０Ｂの容量不足を解消するための拡張メモリとして記憶媒体を接続することができるインターフェイスである。 107A and 107B are expansion slots, for example, by connecting a storage medium for storing programs other than ROM and RAM, to expand functions, and for simply resolving insufficient capacity of the RAMs 110A and 110B. This is an interface to which a storage medium can be connected as an extended memory.
１０８Ａ、１０８Ｂは、無線通信部であり、対応する基地局３００Ｃ、３００Ｄと所定の手順に従って、音声、画像、その他のデータを無線通信する機能を備える。 # 108A and 108B are wireless communication units, and have a function of wirelessly communicating voice, image, and other data with the corresponding base stations 300C and 300D according to a predetermined procedure.
（３．画像処理装置の基本構成）
次に、上記画像処理装置４００Ｅが備える主要な構成、及びその周辺機器の構成について図３を用いて説明する。ここでも、図１及び図３で共通するものには、同一の番号を付与し、説明の重複を避ける。
(3. Basic configuration of image processing device)
Next, a main configuration of the
なお、本実施の形態では図示しないが、本発明では、これから説明する画像処理装置４００Ｅと同様の機能を備える画像処理装置を別に備え、別の装置として独立してサービスを行う場合も本発明の範疇に含まれる。
Although not illustrated in the present embodiment, the present invention also includes a case where an image processing apparatus having the same functions as the
画像処理装置４００Ｅは、主にその本体４００Ｅと、周辺機器となるディスプレイ４０１Ｅ、本体にマニュアル指示を与えるキーボード４０２Ｅ、或いはポインティングデバイス（マウス）４０３Ｅを備える。
The
本実施の形態では、本体のみを画像処理装置であるとして説明するが、本発明では、これら周辺機器を含めて画像処理装置４００Ｅであると考えても良い。即ち、周辺機器は別の形態で存在しても良く、例えばディスプレイ４０１Ｅは、本体４００Ｅの内部に付属する例えば液晶ディスプレイであっても良いし、キーボード４０２Ｅも本体内部に付属するものであっても良い。またポインティングデバイス４０３Ｅも種々のポインティングデバイスに代用して本体４００Ｅ内に付属させても良い。
で は In the present embodiment, only the main body is described as an image processing device. However, in the present invention, the
図３における４０６ＥはＣＰＵ、４０７ＥはＲＡＭ、４０８ＥはＲＯＭであり、ＣＰＵ４０６ＥはＲＡＭ４０７Ｅ又はＲＯＭ４０８に格納されている制御プログラムに基づいて、後述する各部の動作を制御する。
3. In FIG. 3, 406E is a CPU, 407E is a RAM, and 408E is a ROM. The
図１、図３における４０４Ｅは、各種記憶媒体を利用する為のインターフェースであり、例えばフロッピー（登録商標）ディスク、ＭＤ、ＤＶＤ、ＣＤ等から、本画像処理が追加で必要になるプログラム或いは種々の情報を読み込むことが可能であり、またＭＤ、ＤＶＤ、ＣＤ−Ｒ等に対して、本装置内に保持する情報を記憶／保存させることができる。
次に、図３における４０５Ｅは、通信部であり、図１に示される携帯端末１００Ａ、１００Ｂ等とデータ通信を行う為に、画像処理装置４００Ｅからの通信を中継する不図示の基地局を介して基地局３００Ｃ、或いは３００Ｄとの間で有線／無線通信する機能を備える。本発明では、画像処理装置４００Ｅからのデータ通信を中継する上記不図示の基地局との間で、無線通信を行うか有線通信を行うかは特に重要ではないので限定しない。
Next,
次に、４０９Ｅは、ディスプレイ４０１Ｅへ画像、音声を出力したり、キーボード４０２Ｅ、或いはポインティングデバイス（マウス）４０３Ｅからの指示信号を入力して装置４００Ｅ各部に伝えたり、その他種々の制御信号のやり取りを上記各機器とやり取りするためのインターフェイスである。
Next, the 409E outputs an image and a sound to the
また、４１０Ｅは大容量のハードディスクであり、後述する各種処理に必要となるあらゆるデータを記憶することができる。 {Circle around (4)} 410E is a large-capacity hard disk, which can store all data required for various processes described later.
（４．基本動作手順）
次に、上記携帯端末１００Ａ或いは１００Ｂと、画像処理装置４００Ｅとを用いて実行されるサービス形態の主要な手順について、図４、図５のフローチャートを用いて説明する。
(4. Basic operation procedure)
Next, a main procedure of a service mode executed using the
図４は、携帯端末１００Ａ、１００Ｂ側で実行される処理のフローチャートを示すものであり、図５は画像処理装置４００Ｅ側で実行される処理のフローチャートである。
FIG. 4 is a flowchart of a process executed on the
なお、上述したが、各端末／装置の動作制御は、内部のＣＰＵにより、これに付随するＲＯＭやＲＡＭに格納されているプログラムに従って行われる。 As described above, the operation control of each terminal / device is performed by an internal CPU according to a program stored in a ROM or a RAM attached thereto.
また、以下の説明では、携帯端末１００Ａと１００Ｂの処理は全く同一なので、端末１００Ａの動作についてのみ説明し、端末１００Ｂについての説明は省略する。
In the following description, since the processes of the
＜４−１．携帯端末１００Ａ、１００Ｂの動作手順＞
図４において、携帯端末１００Ａの操作部１０４Ａから、画像２０１Ａの電子透かしを抽出させる指示を入力すると（Ｓ５０１）、端末１００Ａのスピーカ１０２Ａ、或いはディスプレイ１０３Ａは「カメラで画像を撮影して下さい」との音声出力／表示を行い、ユーザーに撮影を促す。これに従って、ユーザーは電子透かしが埋め込まれていると予想される画像２０１Ａを撮影する（Ｓ５０２）。ここで撮影された画像は、端末１００Ａ内のＲＡＭ１１０Ａ、或いは拡張スロット１０７Ａ内の拡張メモリに一旦保持される（Ｓ５０３。）
次に、端末１００Ａは、予め無線通信部１０８Ａ、或いは外部接続端子１０６Ａからダウンロードしてある取得画像の解析プログラムを用いて、“取得画像に電子透かしが埋め込まれているか否か”についての解析を行う（Ｓ５０４）。上記解析方法については、公知の方法を適用すれば良いが詳細は後述する。
<4-1. Operation Procedure of
In FIG. 4, when an instruction to extract a digital watermark of the image 201A is input from the
Next, the
なお、上記Ｓ５０４の解析プログラムは、本解析が必要と予測された時点で、このＳ５０１の開始の更なる前工程として、画像処理装置４００Ｅから、通信部４０５Ｅ、基地局３００Ｃ、無線通信部１０８Ａ等を介してダウンロードすることが端末内のメモリ使用効率の点からも望ましい。
When the analysis program in S504 is predicted to require this analysis, the
上記Ｓ５０４での解析の結果が、“取得画像に電子透かしが埋め込まれていない”場合には、その旨をスピーカ１０２Ａ、或いはディスプレイ１０３Ａを介して報知する（Ｓ５０６）。そして、これ以上の電子透かし抽出処理は無駄なので、端末１００Ａは、以後の処理を終了し、通常の携帯端末の動作状態に戻る（Ｓ５１６）。
(4) If the result of the analysis in S504 is “the electronic watermark is not embedded in the acquired image”, the fact is notified through the
一方、上記Ｓ５０４での解析の結果が、“取得画像に電子透かしが埋め込まれている”場合には、その旨をスピーカ１０２Ａ、或いはディスプレイ１０３Ａを介して報知する（Ｓ５０５）。そして更に、“取得画像から電子透かしを抽出する前の補正が必要か否か”の解析を行う（Ｓ５０７）。上記解析方法についても後述する公知の方法を適用すれば良い。なお、ここでの画像補正は、画像の回転、拡大縮小の幾何学的な補正である。
On the other hand, if the result of the analysis in S504 is “the electronic watermark is embedded in the acquired image”, the fact is notified via the
なおＳ５０７の解析プログラムについても、本解析が必要と予測された時点で、Ｓ５０１の開始の更なる前工程として、画像処理装置４００Ｅから、通信部４０５Ｅ、基地局３００Ｃ、無線通信部１０８Ａ等を介してダウンロードすることがメモリ使用効率の点からも望ましい。
When the analysis program of S507 is predicted to require this analysis, the
上記Ｓ５０７での解析の結果が、“取得画像から電子透かしを抽出する前の補正が必要である”場合には、後述する画像補正を行った後（Ｓ５０８）、その画像補正の内容（どのような補正を行ったか）をスピーカ１０２Ａ、或いはディスプレイ１０３Ａを介して報知する（Ｓ５０９）。特にディスプレイ１０３Ａでは、補正された後の画像の状態も表示する。なお、上記Ｓ５０７〜Ｓ５０９はオプション的な機能であって、携帯端末側で行わない様にしても良い。その場合には、本機能は画像処理装置４００Ｅ側に備えさせ、必ず実行させる様にすれば良い。
If the result of the analysis in S507 indicates that “correction before extracting a digital watermark from an acquired image is necessary”, after performing image correction described later (S508), the content of the image correction (how (S509) is notified through the
一方、Ｓ５０７での解析の結果が、“取得画像から電子透かしを抽出する前の補正が不必要である”場合には、画像補正は行わずに、その旨をスピーカ１０２Ａ、或いはディスプレイ１０３Ａを介して報知する（Ｓ５０９）。
On the other hand, if the result of the analysis in S507 is that “correction before extracting a digital watermark from the acquired image is unnecessary”, the image correction is not performed and the fact is notified via the
続いて、上記Ｓ５０４、Ｓ５０７で解析後の画像２０１Ａ（Ｓ５０８で画像補正されている場合には２０１Ａ’とする）から、遠方の画像処理装置４００Ｅに電子透かしを抽出させる指示が操作部を介して入力されたかどうかを判断し、指示が一定期間無い場合、或いは電子透かしの抽出をキャンセルする指示が有った場合には、そのまま処理を終了する（Ｓ５１６）。
Subsequently, an instruction to extract a digital watermark to the distant
一方、操作部を介して電子透かしを抽出させる指示が有った時には、取得画像２０１Ａ或いは２０１Ａ’の送信を開始する。即ち、この取得画像は、無線通信部１０８Ａ、基地局３００Ｃ、通信部４０５Ｅ等を介して画像処理装置４００Ｅへ送信される。
On the other hand, when there is an instruction to extract a digital watermark via the operation unit, transmission of the acquired image 201A or 201A 'is started. That is, this acquired image is transmitted to the
また、端末１００Ａは、上記画像を送信して来た端末１００Ａに固有のＩＤ情報、電話番号、機体番号、機種情報、ユーザーの性別、趣味、身分等の特徴を表す属性情報、及びその端末が現存する位置情報等を予めＲＡＭ１１０Ａ保持しているものとし、上記画像の送信の際には、上記各情報も付加的な情報として送信する。
Further, the
なお、上記送信が終了した時点で、携帯端末１００Ａの動作は、一旦処理を画像処理装置４００Ｅに任せることになるので一時的な中断／待機が必要になる。従って、端末１００Ａでは、画像処理装置４００Ｅとの通信を維持して以降の動作の為に待機するか、一旦通信を中断して（状態Ａ）、数分後に以降の動作を開始する様に復帰させるかを操作部から指示できる。Ｓ５１２では、上記指示の何れが入力されたかを判断し、通信を維持するか否かを決定する。
At the time when the above transmission is completed, the operation of the
端末１００Ａは、Ｓ５１２の工程からそのまま通信を維持した状態、或いは状態Ａから復帰して画像処理装置４００Ａとの通信を再開した状態において、後述する電子透かしの抽出を行うことにより得られた結果を受信するまで待機する（Ｓ５１４）。
In a state where the communication is maintained as it is from the step of S512, or in a state where the terminal 100A returns from the state A and resumes the communication with the image processing apparatus 400A, the
端末１００Ａは、上記結果を受信すると、その結果をＲＡＭ１１０Ａ、或いは拡張スロット１０７Ａ内の拡張メモリに一旦保持する（Ｓ５１４）。
(4) Upon receiving the result, the
そして、端末１００Ａは、上記保持された情報をスピーカ１０２Ａ、或いはディスプレイ１０３Ａを介して出力／表示する（Ｓ５１５）。
Then, the
＜４−２．画像処理装置４００Ｅの動作手順＞
図５において、画像処理装置４００Ｅは、通常動作を開始すると（Ｓ６０１）、電子透かし抽出の為に携帯端末１００Ａ、１００Ｂ等からの受信を待つ待機モードに設定されているか否かを判断する（Ｓ６０２）。待機モードに設定されていなければ、電子透かしを抽出するための各種動作を終了する（Ｓ６１２）。待機モードに設定されている場合には、各携帯端末からの受信の有無を監視する状態に入る（Ｓ６０３）。
<4-2. Operation procedure of
In FIG. 5, when starting the normal operation (S601), the
例えば、端末１００Ａから受信が有った場合には、電子透かしが埋め込まれているはずの受信画像を一端ＲＡＭ４０７Ｅ、ＨＤ４１０Ｅ等に保持する（Ｓ６０４）。 For example, when a reception is received from the terminal 100A, the received image in which the digital watermark is to be embedded is temporarily stored in the RAM 407E, the HD 410E, or the like (S604).
なお、上記Ｓ６０４では、上記受信の際に、上記端末１００Ａから、或いは中継する基地局、或いはそれらを統合する制御装置からの代理で、上記画像を送信して来た端末１００Ａに固有のＩＤ情報、電話番号、機体番号、ユーザー、機種情報、ユーザーの性別、趣味、身分等の特徴を表す属性情報、及びその端末が現存する位置情報等を、上記画像の付加的な情報として受信し、保持する。なお、上記付加的な情報の全てを受信せずとも、ＩＤ情報や電話番号だけを受信すれば、その他の情報が同時に引き出せる様に、本システムでは、予めＨＤ４１０Ｅ等にテーブル化したデータベースを保持しておいても良い。 In the above S604, at the time of the reception, the ID information unique to the terminal 100A that transmitted the image from the terminal 100A or on behalf of the relay station or the control device that integrates them. , Telephone number, body number, user, model information, attribute information indicating characteristics such as user's gender, hobby, status, etc., and location information where the terminal exists, etc., are received and retained as additional information of the image. I do. In this system, a database previously stored in a table such as the HD410E is held so that other information can be extracted at the same time if only the ID information and the telephone number are received without receiving all of the additional information. You can keep it.
続いて、画像処理装置４００Ｅは、上述したＳ５０７〜５０９とは異なる種類の画像補正の処理工程Ｓ６０５〜６０７を備える。ここでの画像補正は、平行移動による位置ズレ補正（オフセット補正）である。なお、Ｓ６０７における補正結果の報知は、Ｓ５０７〜５０９での補正処理の際に使用するスピーカ１０２Ａ、ディスプレイ１０３Ａの代わりに、ディスプレイ４０１Ｅ（音声は不図示の内部スピーカ）で行われる。
Subsequently, the
次に、上記画像補正が行われた後の画像に対して、後述する方法で電子透かしの抽出を行う（Ｓ６０８）。 Next, a digital watermark is extracted from the image after the image correction by the method described later (S608).
抽出された電子透かしが示す情報は、ＲＡＭ４０７Ｅ、ＨＤ４１０Ｅ等に一旦保持する（Ｓ６０９）。 (4) The information indicated by the extracted digital watermark is temporarily stored in the RAM 407E, HD410E, or the like (S609).
次に、画像処理装置４００Ｅでは、画像を送信して来た端末１００Ａに対して、送信対象となる情報の選択／生成を行う（Ｓ６１０）。本発明では、端末１００Ａに送信する情報は、電子透かしが示す情報そのものであっても良い。ただし、送信先の端末のユーザーが欲している情報を効果的に送信することが出来ればなお良い。従って、本実施の形態では、画像処理装置４００Ｅは、画像を送信して来た端末１００Ａに対して、電子透かしが直接示す情報を送信すると共に、他にその端末を使用するユーザーに価値の有る情報を送信する為に、後述する方法により、送信対象となる各種情報を選択／生成する。
Next, the
送信対象となる情報が決定したら、端末１００Ａに対してこれらの情報を送信する（Ｓ６１１）。送信が完了したら、再度Ｓ６０２へ戻る。
(4) When the information to be transmitted is determined, the information is transmitted to the
以上で、本システムの基本的な動作の説明を終わる。次に、上述した各部の具体的な処理について説明する。 説明 This concludes the description of the basic operation of this system. Next, a specific process of each unit described above will be described.
（５．電子透かしの埋め込み前の処理）
ここでは、本実施の形態でカメラ撮影により取得される画像２０１Ａ、或いは画像２０１Ｂへ、予めどのような前処理と電子透かしの埋め込みが行われているかについて簡単に説明する。
(5. Processing before embedding digital watermark)
Here, the image 201A acquired by the camera photographing in the present embodiment, or the image 201B, will be described briefly or embedded in advance what pre-treatment and the electronic watermark is performed.
画像２０１Ａ、画像２０１Ｂには、画像処理装置４００Ｅと同等の機能を備える不図示の画像処理装置により、電子透かしの存在を示したり、電子透かしを確実に抽出できる様にする為の前処理と、その電子透かしの埋め込み処理が行われている。
The image 201A and the image 201B are pre-processed by an image processing device (not shown) having a function equivalent to that of the
＜５−１．電子透かしの存在を示す情報付加＞
ここでは、上述したＳ５０４における“画像に電子透かしが埋め込まれているか否か”の画像解析を行う際のよりどころとなる付加的な情報を、予め画像２０１Ａや２０１Ｂにどの様にして埋め込んでおくかについて一例を紹介する。
<5-1. Addition of information indicating presence of digital watermark>
Here, how to embed additional information serving as a basis for performing the image analysis of “whether or not a digital watermark is embedded in the image” in S504 described above in advance in the images 201A and 201B. Here is an example.
ただし、本実施の形態では、本段落で説明する付加的な情報と、更に後述する画像補正の基準となる付加的な情報とを共通化したものとして利用する。この方法により、付加的な情報の量／その付加処理の負荷を出来るだけ少なくできる。しかしながら、本発明はこれに限らず、後述する様に、この段落で説明する付加的な情報と、画像補正の基準となる付加的な情報とを、互いに独立して存在させる様にしても構わない。 However, in the present embodiment, the additional information described in this paragraph and the additional information serving as a reference for image correction, which will be described later, are shared and used. With this method, the amount of additional information / the load of the additional processing can be reduced as much as possible. However, the present invention is not limited to this, and as will be described later, the additional information described in this paragraph and the additional information serving as a reference for image correction may exist independently of each other. Absent.
また、本実施の形態にて共通化して利用する付加的な情報は、画像２０１Ａ、２０１Ｂが本来認識されるべき画像を基準として、そこからの傾き（回転角度）やサイズ（拡大縮小比）が分かる様な基準信号（レジストレーション信号とも呼ぶ）であり、この基準信号は、画像２０１Ａ、或いは２０１Ｂに対して人間の目に識別しにくく埋め込む。よって、この基準信号の埋めこみも一種の電子透かしであると考えることもできる。 Further, the additional information that is shared and used in the present embodiment has a tilt (rotation angle) and a size (enlargement / reduction ratio) from the image 201A and 201B based on the image that should be originally recognized. It is a reference signal (also referred to as a registration signal) that can be understood, and this reference signal is embedded in the image 201A or 201B so that it is difficult for the human eye to recognize it. Therefore, the embedding of the reference signal can also be considered as a kind of digital watermark.
本出願人により出願された特開２００１−１１９５６２には、上述した画像補正の基準となる付加的な情報（レジストレーション信号）の役割を主に有する上記付加的な情報の取扱いについて開示されている。本実施の形態ではここで開示されている技術を用いることとし、詳しい説明は省略する。 Japanese Patent Application Laid-Open No. 2001-119562 filed by the present applicant discloses handling of the additional information mainly having a role of additional information (registration signal) serving as a reference of the above-described image correction. . In the present embodiment, the technology disclosed here is used, and detailed description is omitted.
簡単に説明すると、まず、画像２０１Ａ、或いは２０１Ｂをブロックに分割し、各ブロックに対して一旦周波数変換を行う。そして、その周波数変換後の比較的高い周波数成分に対して、所定の閾値以上のピーク値を示すインパルス信号を図６の様に付加する。なお、図６は画像２０１Ａ、或いは２０１Ｂに周波数変換を施した後の周波数成分の状態であり、中心部が低周波成分を表し、外側へ行く程高周波成分を表している。画像２０１Ａ、２０１Ｂ等が写真等である場合には、単に周波数変換したのみでは、低周波成分（中心部）に成分が集中するので、中或いは高周波成分に人工的に付加したインパルス信号は比較的識別し易い。上記付加処理の後、逆周波数変換を行った後に元の画像２０１Ａ、２０１Ｂとほぼ同等の画像を復元する。（その後、更に、本来の電子透かしの埋めこみが成される。）。 Briefly, first, the image 201A or 201B is divided into blocks, and each block is subjected to frequency conversion once. Then, an impulse signal having a peak value equal to or higher than a predetermined threshold value is added to the relatively high frequency component after the frequency conversion as shown in FIG. FIG. 6 shows a state of the frequency components after the frequency conversion is performed on the image 201A or 201B. The center portion represents the low frequency components, and the outward portion represents the high frequency components. When the images 201A, 201B, etc. are photographs, etc., simply performing frequency conversion concentrates components on low-frequency components (central portions), so that impulse signals artificially added to middle or high-frequency components are relatively small. Easy to identify. After the above-described addition processing, an image substantially equivalent to the original images 201A and 201B is restored after performing inverse frequency conversion. (After that, the original digital watermark is further embedded.)
ここで説明したインパルス信号が、本段落で説明する“画像に電子透かしが埋め込まれているか否か”を判断する際のよりどころとなる付加的な情報（レジストレーション信号）に相当する。後述するが、電子透かしを抽出しようとした際に、画像２０１Ａ、画像２０１Ｂは、カメラ撮影された際に、本来の画像の傾きやサイズとは異なる画像として取り込まれる可能性が有るが、画像を上記インパルス信号を埋め込んでおくと、取り込まれた画像に上記周波数変換を施し、かつ所定の周波数以上の成分について閾値処理を施せば、埋め込み規則に基づいた規則的なピーク値が検出されるので、“画像に電子透かしが埋め込まれているか否か”が判断できる。また、そのピーク値の周波数成分上の位置関係から、本来認識されるべき画像２０１Ａ、２０１Ｂからの傾きやサイズの変化も判断できる。これらは公知であるので、詳細な説明は省略する。 イ ン The impulse signal described here corresponds to additional information (registration signal) serving as a source for determining “whether or not an electronic watermark is embedded in an image” described in this paragraph. As will be described later, when an attempt is made to extract a digital watermark, the images 201A and 201B may be captured as images different from the original image inclination and size when photographed by a camera. When the impulse signal is embedded, the frequency conversion is performed on the captured image, and a threshold value processing is performed on a component having a frequency equal to or higher than a predetermined frequency, so that a regular peak value based on the embedding rule is detected. “Whether or not a digital watermark is embedded in an image” can be determined. Also, from the positional relationship of the peak value on the frequency component, it is possible to determine a change in inclination or size from the images 201A and 201B which should be originally recognized. Since these are publicly known, detailed description is omitted.
＜５−２．画像補正の基準となる情報付加＞
４−１で述べたＳ５０７、Ｓ５０８での画像補正の為の解析を行う際のよりどころとなる付加的な情報が、予めどの様にして画像２０１Ａや２０１Ｂに埋め込まれているかを、以下に説明するが、本実施の形態では、画像補正の基準となる付加的な情報を上記５−１で説明した電子透かしの存在を示す付加的な情報と同一のものを共用するものとしているので、説明を省略する。
<5-2. Addition of information as reference for image correction>
Mentioned 4-1 S507, additional information to be relied upon for analyzing for image correction in S508 is explained how embedded in the advance what kind the image 201A and 201B, below However, in the present embodiment, the same additional information that indicates the presence of the digital watermark described in 5-1 above is shared with the additional information serving as the reference for image correction. Is omitted.
しかしながら、本発明はこれに限らず、図７に示す様に、異なる位置に夫々の解析の為の独立したインパルス信号を埋め込む方法を利用しても良い。その場合には、同様の操作を２回繰り返すことになる。図７は図６と同様に、画像２０１Ａ、２０１Ｂを一旦周波数成分に変換した後にインパルス信号８０２〜８０９を付加するものであるが、図７では、インパルス信号８０２〜８０５の４つを、画像補正の為に参照されるインパルス信号として付加し、インパルス信号８０６〜８０９の４つは、電子透かしを検出する為に参照されるインパルス信号として付加するものである。この場合には、夫々の目的に合わせた種々のインパルス信号の形状、位置関係、ピーク値を設定することができるという効果が有る。
However, the present invention is not limited to this, and a method of embedding independent impulse signals for different analysis at different positions as shown in FIG. 7 may be used. In that case, the same operation is repeated twice. 7 is similar to FIG. 6 except that the images 201A and 201B are temporarily converted into frequency components and then impulse signals 802 to 809 are added. In FIG. 7, four of the impulse signals 802 to 805 are subjected to image correction. The four
（６．電子透かしの埋め込み処理）
ここでは、画像２０１Ａ、或いは２０１Ｂに対して予めどの様にして電子透かしが埋め込まれるのかについて簡単に説明する。
(6. Digital watermark embedding process)
Here, the image 201A, or it will be briefly described how the digital watermark is embedded in the advance what kind respect 201B.
なお、ここで言う電子透かしの埋めこみ処理は、Ｓ６０８で抽出するべき電子透かし、即ち、画像２０１Ａ、２０１Ｂに、その画像の所有者や閲覧者が欲する情報の一部を埋め込む処理のことであり、上記５−１、５−２で説明した処理の後に別途行われるものである。 Note that the digital watermark embedding process referred to here is a process of embedding a part of information desired by the owner or viewer of the image in the images 201A and 201B, that is, the digital watermark to be extracted in S608. It is separately performed after the processing described in 5-1 and 5-2.
ここでの電子透かし埋めこみ方法については、例えば特開２００１−１１９５６２に記載されている電子透かしの埋めこみ方法、いわゆるパッチワーク法を利用した電子透かしの埋め込みを実行する。 In the digital watermark embedding method, for example, a digital watermark embedding method using a so-called patchwork method described in Japanese Patent Application Laid-Open No. 2001-119562 is executed.
本出願人による上記方法の適用を簡単に説明すると、画像２０１Ａ、或いは２０１Ｂに対して、例えば９０１の様なマスクを敷詰める様に割り当て、マスク９０１のＡｎ（ｎ＝１〜３２）に相当する画像の部分に対してのみ電子透かしを埋め込むための濃度変調を施す。更に具体的には、そのＡｎに対して９０２に示す様な８×８画素のパターンを割り当て、夫々の画素をパターン９０２を構成する各変調幅に応じた変調を行う。また、この場合、１つのマスクに対して、Ａｎの夫々に１ビットの情報を埋め込む様にすることで、３２ビットの情報を埋め込むことができ、マスクを繰り返し敷詰めることにより、同一の３２ビット情報を電子透かしとして繰り返し敷詰める様に埋め込むことになる。また、８画素のパターンを用いた変調は、対応するＡｎに対して埋め込む１ビットが１か０かに応じて、そのパターンを加算するのか減算するのかを切り替えることで１と０を表現する。
The application of the above method by the present applicant will be briefly described. For example, a mask such as 901 is allocated to the image 201A or 201B so as to cover the image 201A or 201B, and corresponds to An (n = 1 to 32) of the
以上の方法は公知であるので、更なる詳細については省略する。 Since the above method is publicly known, further details are omitted.
（７．電子透かしの抽出前の処理）
＜７−１．電子透かしの存在を示す情報検出＞
ここでは、Ｓ５０４における“画像に電子透かしが埋め込まれているか否か”の画像解析を行う方法について説明する。Ｓ５０４では、５−１で上述した様なアルゴリズムで図６のインパルス信号７０２〜７０４、或いは図７のインパルス信号８０６〜８０９が、画像２０１Ａ、２０１Ｂの周波数空間上で埋め込まれていることを前提に処理をするので、Ｓ５０３で保持された画像に対して、一旦周波数変換を行う。そして、ある程度の中・高周波成分のみを処理の対象として、それら周波数成分と閾値との比較処理を行う。その結果、図９の様に閾値より大きい値のピーク値部分７０２’〜７０５’が検出される。この検出の結果は、図６で示したインパルス信号７０２〜７０４を埋め込んでいることを前提とすると、同数の４点でありかつ、周波数成分上の位置関係も類似したものになっている。この様な場合には、“現在処理中の画像には電子透かしが埋め込まれている”という判断をする。また、ピーク値部分の数が合わない、或いはピーク値部分の位置関係が明らかに変化していると考える時には、“現在処理中の画像には電子透かしが埋め込まれていない”と判断することになる。
(7. Processing before digital watermark extraction)
<7-1. Information detection indicating presence of digital watermark>
Here, a method of performing image analysis of “whether or not a digital watermark is embedded in an image” in S504 will be described. In S504, it is assumed that the impulse signals 702 to 704 in FIG. 6 or the impulse signals 806 to 809 in FIG. 7 are embedded in the frequency space of the images 201A and 201B by the algorithm described above in 5-1. Since the processing is performed, frequency conversion is once performed on the image held in S503. Then, only some intermediate / high-frequency components are to be processed, and a comparison process is performed between these frequency components and a threshold. As a result, as shown in FIG. 9, peak value portions 702 'to 705' having a value larger than the threshold value are detected. As a result of this detection, assuming that the impulse signals 702 to 704 shown in FIG. 6 are embedded, the same number of four points and the positional relationship on the frequency components are similar. In such a case, it is determined that “an electronic watermark is embedded in the image currently being processed”. Further, when it is considered that the number of peak value portions does not match or the positional relationship of the peak value portions is clearly changed, it is determined that “the digital watermark is not embedded in the image currently being processed”. Become.
＜７−２．画像補正の基準となる情報検出＆画像補正＞
ここでは、上述したＳ５０７における“取得画像から電子透かしを抽出する前の補正が必要であるか否か”の判断と、Ｓ５０８での具体的な画像補正の方法について説明する。
<7-2. Information Detection & Image Correction as Image Correction Reference>
Here, the determination of “whether or not correction is necessary before extracting a digital watermark from an acquired image” in S507 described above and a specific image correction method in S508 will be described.
“取得画像２０１Ａや２０１Ｂから電子透かしを抽出する前に、これら画像に補正が必要であるか否か”と、“どの様な種類の補正が必要であるか”については、上記５−２で説明した付加的な情報（インパルス信号）を検出することにより判断が可能である。 Regarding “whether or not these images need to be corrected before extracting a digital watermark from the acquired images 201A and 201B” and “what kind of correction is necessary”, the above-mentioned 5-2 describes The determination can be made by detecting the additional information (impulse signal) described above.
本実施の形態では、画像２０１Ａ、或いは２０１Ｂには、上述した様な図６で示したインパルス信号７０２〜７０４、或いは、図７のインパルス信号８０２〜８０５が周波数成分に変換した状態で埋め込まれているはずである。 In this embodiment, the impulse signals 702 to 704 shown in FIG. 6 or the impulse signals 802 to 805 shown in FIG. 7 are embedded in the image 201A or 201B in a state converted into frequency components. There should be.
従って、画像２０１Ａ、或いは２０１Ｂに、図６で示したインパルス信号７０２〜７０４が埋め込まれていることを前提としたシステムにおいて説明すると、もし、画像２０１Ａ、或いは２０１Ｂを周波数変換した際の周波数成分から、図１０の様な４つのピーク値部分７０２’〜７０５’が検出された場合であれば、画像２０１Ａ、或いは２０１Ｂは、本来これらが認識されるべき画像を基準として、角度θだけ回転していると判断できる。従って、取得画像２０１Ａ、或いは２０１Ｂを角度−θだけ回転させることで画像の補正ができる。
Therefore, a description will be given of a system based on the assumption that the impulse signals 702 to 704 shown in FIG. 6 are embedded in the image 201A or 201B. If the image 201A or 201B is frequency-converted, If four
また、図１１の様な４つのピーク値部分７０２’〜７０５’が検出された場合であれば、画像２０１Ａ、或いは２０１Ｂは、本来これらが認識されるべき画像を基準として、ｍ／ｎ倍に変倍（図１１ではｎ＜ｍなので拡大）されていると判断できる。従って、取得画像２０１Ａ、或いは２０１Ｂをｎ／ｍ倍に変倍することで画像の補正ができる。
If four
また、上記回転と変倍の必要性が混合している場合にも、夫々の補正基準に基づいて同様に判断し、夫々の幾何学的な補正を独立して実行することになる。 {Circle around (1)} Even when the necessity of the rotation and the magnification change is mixed, the same judgment is made based on each correction criterion, and each geometric correction is executed independently.
なお、上記７−１で述べた“電子透かしの存在を示す付加的な情報”の識別と上記７−２で述べた“画像補正の基準となる付加的な情報”の識別は、正確さよりも速度を優先させる様にしても効果的である。 Note that the identification of “additional information indicating the presence of a digital watermark” described in 7-1 and the identification of “additional information serving as a reference for image correction” described in 7-2 are more accurate than accuracy. It is effective to give priority to speed.
例えば、上記７−１或いは７−２では“電子透かしが存在する可能性が高い”というおおよその解析にとどめておき、画像処理装置４００Ｅに画像２０１Ａ、或いは２０１Ｂを送ってから、画像処理装置４００Ｅで、上記７−１、７−２に述べる処理を忠実に行い、電子透かしの抽出を行えば、処理速度の面で効果が高い。
For example, in the above 7-1 or 7-2, only the rough analysis that “there is a high possibility that a digital watermark exists” is sent, the image 201A or 201B is sent to the
このとき、図５に示す、画像処理装置４００Ｅの動作手順中のＳ６０６の画像補正では、回転・変倍（更にはそれらを含む一次変換）の解析を行ってから、平行移動の解析を行う方法が考えられる。
At this time, in the image correction of S606 in the operation procedure of the
（８．電子透かしの抽出処理）
ここでは、上記７−１、７−２の補正が施された後の、本来認識されるべき“電子透かし入り”画像２０１Ａ、２０１Ｂから、電子透かしを抽出する方法について説明する。
(8. Digital watermark extraction processing)
Here, a method of extracting a digital watermark from the “digital watermarked” images 201A and 201B that should be originally recognized after the above-described corrections 7-1 and 7-2 have been performed will be described.
基本的には、電子透かしの抽出は、電子透かしの埋め込み時のアルゴリズムを全て知っているならば、その当事者は簡単に遂行できるはずであり、その方法は特に１に限定されることも無い。 Basically, the extraction of the digital watermark should be easily performed by the party concerned if all the algorithms at the time of embedding the digital watermark are known, and the method is not particularly limited to one.
ここでは、上述した公知の電子透かしの埋め込み方法に対して、それに対応する公知の抽出方法を適用するものとする。 Here, it is assumed that a known extraction method corresponding to the above-described known digital watermark embedding method is applied.
なお、本実施の形態では、上記特開２００１−１１９５６２で説明する様に、この電子透かしの抽出処理の最初に、抽出対象となる画像２０１Ａ、或いは２０１Ｂが本来認識される画像を基準とした場合の平行移動による位置ズレ（オフセット）の補正も行う。 In the present embodiment, as described in Japanese Patent Application Laid-Open No. 2001-119562, a case where the extraction target image 201A or 201B is based on an image that is originally recognized, The position shift (offset) due to the parallel movement is also corrected.
簡単に説明すると、電子透かしを抽出する装置（画像処理装置４００Ｅ）は、画像２０１Ａ、２０１Ｂが、図８のマスク９０１及びパターン９０２を用いて電子透かしを埋め込んでいるという前提で、これら画像２０１Ａ、２０１Ｂにパターン９０２に基づくパターンによる畳み込み演算を行うことで電子透かしの抽出を行う。
In brief, an apparatus for extracting a digital watermark (
そして、Ｓ６０５、Ｓ６０６で説明した様な上記位置ズレ（オフセット）を認識、補正する為には、画像２０１Ａ、或いは２０１Ｂにおいて、可能性が有る複数個の電子透かしの埋め込み開始位置（マスク９０１／パターン９０２の割り当て位置）について、夫々、パターン９０２に基づくパターンで畳み込み演算を行うことにより、電子透かしを構成する予め決められた固定の数ビットのみを抽出する。そして、夫々の位置について抽出された結果のうち、最も信頼性が高いと判断された位置を、本来の電子透かしの埋め込み開始位置（正しい抽出開始位置）であると判断する。この正しい抽出開始位置が、画像処理装置４００Ｅがデフォルト位置として定める抽出開始位置位置と異なっていた場合には、正しい抽出開始位置をデフォルト位置に補正する。
Then, in order to recognize and correct the above-mentioned positional deviation (offset) as described in S605 and S606, the embedding start position (mask 901 / pattern 901) of a plurality of possible digital watermarks in the image 201A or 201B is considered. By performing a convolution operation on each of the 902 allocation positions) using a pattern based on the
そして、上記位置ズレの補正が行われた後に、Ｓ６０８に相当する処理、即ち、その画像について上記畳み込み演算を用いて、電子透かしを構成する全てのビットの抽出を行う。この技術の詳細については、公知であるので、省略する。 {Circle over (4)} After the positional deviation is corrected, the process corresponding to S608, that is, all bits constituting the digital watermark are extracted from the image by using the convolution operation. The details of this technique are well known and will not be described.
（９．送信対象情報の選択／生成処理）
ここでは、Ｓ６１０における送信対象情報の選択／生成処理の一例について詳しく説明する。
(9. Selection / generation processing of transmission target information)
Here, an example of the selection / generation processing of the transmission target information in S610 will be described in detail.
本実施の形態におけるＳ６１０では、画像処理装置４００Ｅは、画像を送信して来た端末１００Ａ、１００Ｂ等に対して、その画像に埋め込まれている電子透かしが直接示す情報を送信すると共に、他にその端末を使用するユーザーに価値の有る情報を追加情報として送信する。
In S610 in the present embodiment,
図１２は、その追加情報についてテーブルとして定義した概念図であり、実際には、画像処理装置４００Ｅが、このテーブルに対応するデータベースをＲＡＭ４０７Ｅ等に保持している。
FIG. 12 is a conceptual diagram in which the additional information is defined as a table. Actually, the
そして、上述した様に、画像処理装置４００Ｅでは、画像を送信して来た端末が現存する位置情報を知ることができ、更に、その端末に固有のＩＤ情報（電話番号、機体番号、ユーザー、機種情報等）、及び／又は、ユーザーの性別、趣味、身分等の特徴を表す属性情報を知ることができるので、それらの情報に基づいて、図１２のテーブルに照らし合わせて、端末宛に返送するべき最適な追加情報Ｘを特定する。例えば、図１の地点Ａの端末から画像が送られてきて、その端末を特定するＩＤ情報がグループａに属すると判定された場合には、図のテーブルから追加情報はＸＡ，ａであると特定できる。
As described above, in the
具体例を挙げると、地点Ａから送られてきた画像は、地点Ａに支店を開業しているファーストフード店の全国共通のポスターを撮影した画像であり、電子透かしが直接示す情報は、その店の名称であり、追加情報ＸＡ，ａは、地点Ａを含む地区の上記店で行っているグループａを対象とするキャンペーンサービスの情報である。 To give a specific example, the image sent from point A is an image of a nationwide poster of a fast food restaurant opening a branch at point A, and the information directly indicated by the digital watermark is that shop. , And the additional information XA, a is information on a campaign service for the group a performed in the store in the district including the point A.
別の具体例を挙げると、地点Ｂから送られてきた画像は、雑誌に掲載されている映画のパンフレットを撮影した画像であり、電子透かしが直接示す情報は、その映画の名称であり、追加情報ＸＢ，ｂは、地点Ｂから最も近い上記映画を上映している映画館の情報、及び、グループｂの該当者は割引料金で鑑賞できる旨の情報である。 As another specific example, the image sent from the point B is an image of a pamphlet of a movie published in a magazine, and the information directly indicated by the electronic watermark is the name of the movie. The information XB, b is information on a movie theater where the above-mentioned movie closest to the point B is being shown, and information indicating that a person in the group b can view the movie at a discounted rate.
また、別の具体例を挙げると、地点Ｆはある駅の近くであり、地点Ｆから送られてきた画像は、あるバス会社のポスターを撮影した画像であり、電子透かしが直接示す情報は、そのバス会社の名称であり、追加情報ＸＦ，ｃは、上記駅から発着するバスの行き先、及び時刻表の情報、及びグループｃに適用される運賃を示す情報である。 As another specific example, point F is near a certain station, the image sent from point F is an image of a poster of a bus company, and the information directly indicated by the digital watermark is: This is the name of the bus company, and the additional information XF, c is information indicating the destination of the bus departing from and arriving at the station, the timetable information, and the fare applied to the group c.
また、別の具体例を挙げると、地点Ｇは移動する車の中であり、地点Ｇから送られてきた画像は、予め記録紙上の画像を撮影したものであり、電子透かしが直接示す情報は、その画像を所有する会社が提供するサービスの名称であり、追加情報ＸＧ，ｄは、車が走行中の地域を説明する、グループｄに該当する国籍に合わせた音声ガイダンス、及び地図である。 As another specific example, the point G is in a moving car, the image sent from the point G is a previously photographed image on a recording paper, and the information directly indicated by the digital watermark is , The name of the service provided by the company that owns the image, and the additional information XG, d is audio guidance and a map corresponding to the nationality corresponding to the group d, which describes the area where the car is traveling.
この様にして特定された追加情報Ｘは、Ｓ６１１において、電子透かしが直接示す情報と共に端末宛に送信される。 The additional information X specified in this way is transmitted to the terminal together with the information directly indicated by the digital watermark in S611.
そして、各携帯端末は、Ｓ５１５において上記種々の電子透かしと追加情報を、夫々に適した出力媒体（ディスプレイ、スピーカ）を介して出力することになる。 {Circle around (5)} Then, in step S515, each portable terminal outputs the various digital watermarks and the additional information via output media (displays and speakers) suitable for the respective digital watermarks.
以上の処理を携帯端末及び画像処理装置が互いに共同で行えるシステムを提供することにより、各ユーザーは、カメラ付きの携帯端末さえ所持していれば、必要な時に、その時の居所及びユーザーの属性に応じた種々の有意義な情報の取得することができる。 By providing a system in which the mobile terminal and the image processing apparatus can perform the above processing jointly with each other, each user can determine the whereabouts and the user's attributes when necessary, as long as they have a mobile terminal with a camera. Various meaningful information corresponding to the information can be obtained.
（変形例）
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムの１部として適用しても、１つの機器（たとえば複写機、ファクシミリ装置）からなる装置の１部に適用してもよい。
(Modification)
The present invention can be applied as a part of a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, and the like), and can be configured as a single device (for example, a copying machine or a facsimile machine). May be applied.
また、本発明は上記実施の形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施の形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。 In addition, the present invention is not limited to only the apparatus and method for realizing the above-described embodiment, and a computer (CPU or MPU) in the above-described system or apparatus is provided with software for realizing the above-described embodiment. The present invention also includes a case in which the above-described embodiment is implemented by supplying a program code of software and causing the computer of the system or apparatus to operate the various devices according to the program code.
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。 In this case, the program code of the software implements the functions of the above-described embodiment, and the program code itself and means for supplying the program code to a computer, specifically, the program code Is included in the scope of the present invention.
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。 As a storage medium for storing such a program code, for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, DVD, magnetic tape, nonvolatile memory card, ROM, or the like may be used. it can.
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。 In addition to the case where the computer controls various devices in accordance with only the supplied program code to realize the functions of the above-described embodiment, the computer may execute the OS (Operating System) operating on the computer. Such a program code is also included in the scope of the present invention when the above-described embodiment is realized in cooperation with a system) or other application software.
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。 Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the program code is stored in the function expansion board or the function storage unit based on the instruction of the program code. The present invention also includes a case where a provided CPU or the like performs a part or all of the actual processing, and the above-described embodiment is realized by the processing.
１００Ａ、１００Ｂ 携帯端末
２００Ａ、２００Ｂ 電子透かし入り画像
３００Ｃ、３００Ｄ 基地局
４００Ｅ 画像処理装置
100A,
Claims (34)
前記携帯端末は、
前記カメラで撮影された静止画像を保持する保持手段と、
前記保持手段に保持された静止画像を、無線通信により基地局に送信する無線通信手段とを備え、
前記画像処理装置は、
前記静止画像を前記基地局を介して受信する受信手段と、
前記受信手段が受信した静止画像に人間の目に識別しにくく埋め込まれている電子透かしの内容を検出する検出手段と、
前記検出手段にて検出された電子透かしの内容とは異なり、かつ該内容に関連すると特定した追加情報を、前記基地局に返送する返送手段とを備え、
前記携帯端末は、前記無線通信手段により、前記基地局を介して前記付加情報を受信し、前記保持手段に保持することを特徴とする携帯端末システム。 A portable terminal including a camera capable of capturing a still image inside or outside, and a portable terminal system including an image processing apparatus that wirelessly communicates with the portable terminal via a base station,
The mobile terminal,
Holding means for holding a still image taken by the camera,
Wireless communication means for transmitting the still image held by the holding means to the base station by wireless communication,
The image processing device includes:
Receiving means for receiving the still image via the base station,
Detecting means for detecting the content of a digital watermark embedded in the still image received by the receiving means, which is hardly identified by human eyes,
Returning means for returning, to the base station, additional information different from the content of the digital watermark detected by the detecting means and specified as being related to the content,
The portable terminal system, wherein the portable terminal receives the additional information via the base station by the wireless communication unit, and holds the additional information in the holding unit.
前記携帯端末において、前記カメラで撮影された静止画像を保持し、前記保持された静止画像を、無線通信により基地局に送信し、
前記画像処理装置において、前記静止画像を前記基地局を介して受信し、前記受信した静止画像に人間の目に識別しにくく埋め込まれている電子透かしの内容を検出し、
前記検出された電子透かしの内容とは異なり、かつ該内容に関連すると特定した追加情報を、前記基地局に返送し、
前記携帯端末において、前記基地局を介して前記付加情報を無線通信により受信し、保持することを特徴とする方法。 A mobile terminal including a camera capable of capturing an internal or external still image, and a method for operating a mobile terminal system including an image processing apparatus that performs wireless communication with the mobile terminal via a base station,
In the portable terminal, holding a still image captured by the camera, transmitting the held still image to a base station by wireless communication,
In the image processing device, the still image is received via the base station, and the content of the digital watermark embedded in the received still image that is hardly identified by human eyes is detected.
The additional information different from the content of the detected digital watermark and identified as being related to the content is returned to the base station,
A method, wherein the mobile terminal receives and holds the additional information by wireless communication via the base station.
静止画像を撮影可能なカメラと、
前記カメラで撮影された静止画像を保持する保持手段と、
前記保持手段に保持された静止画像を、無線通信により前記基地局に送信する無線通信手段と、
前記無線通信手段により、前記基地局を介して、前記電子透かしが示す情報を受信し、前記保持手段に保持することを特徴とする携帯端末。 Detecting the content of a digital watermark embedded in the still image received via the base station that is difficult to recognize by the human eye, and determining whether the content of the digital watermark is different from the content of the detected digital watermark and is related to the content. Information, between the image processing apparatus for returning to the base station, a mobile terminal that wirelessly communicates via the base station,
A camera that can capture still images,
Holding means for holding a still image taken by the camera,
Wireless communication means for transmitting the still image held by the holding means to the base station by wireless communication,
A portable terminal, wherein the wireless communication unit receives information indicated by the digital watermark via the base station and holds the information in the holding unit.
内蔵または外部接続のカメラにより撮影された静止画像を保持する保持工程と、
前記保持された静止画像を、無線通信により前記基地局に送信する無線通信工程と、
無線通信により、前記基地局を介して、前記電子透かしが示す情報を受信し、保持する保持工程とを備えることを特徴とする動作方法。 Detecting the content of a digital watermark embedded in the still image received via the base station that is difficult to recognize by the human eye, and determining whether the content of the digital watermark is different from the content of the detected digital watermark and is related to the content. Information, between the image processing apparatus for returning to the base station, a method of operating a mobile terminal wirelessly communicated via the base station,
A holding step of holding a still image taken by a built-in or externally connected camera,
A wireless communication step of transmitting the held still image to the base station by wireless communication,
And a holding step of receiving and holding the information indicated by the digital watermark via the base station by wireless communication.
前記携帯端末のカメラで撮影された静止画像を前記基地局を介して受信する受信手段と、
前記受信手段が受信した静止画像に人間の目に識別しにくく埋め込まれている電子透かしの内容を検出する検出手段と、
前記検出手段にて検出された電子透かしの内容とは異なり、かつ該内容に関連すると特定した追加情報を、前記基地局に返送する返送手段とを備えることを特徴とする画像処理装置。 An image processing apparatus that wirelessly communicates with a mobile terminal including a camera capable of capturing a still image inside or outside via a base station,
Receiving means for receiving a still image taken by the camera of the mobile terminal via the base station,
Detecting means for detecting the content of a digital watermark embedded in the still image received by the receiving means, which is hardly identified by human eyes,
An image processing apparatus comprising: a return unit that returns, to the base station, additional information that is different from the content of the digital watermark detected by the detection unit and that is specified to be related to the content.
前記携帯端末のカメラで撮影された静止画像を前記基地局を介して受信する受信工程と、
前記受信工程で受信した静止画像に人間の目に識別しにくく埋め込まれている電子透かしの内容を検出する検出工程と、
前記検出工程にて検出された電子透かしの内容とは異なり、かつ該内容に関連すると特定した追加情報を、前記基地局に返送する返送工程とを備えることを特徴とする動作方法。 An operation method of an image processing device that wirelessly communicates via a base station with a mobile terminal including a camera capable of capturing a still image inside or outside,
A receiving step of receiving a still image captured by the camera of the mobile terminal via the base station,
A detecting step of detecting the content of a digital watermark embedded in the still image received in the receiving step, which is hardly recognized by human eyes,
A returning step of returning, to the base station, additional information different from the content of the digital watermark detected in the detection step and identified as being related to the content.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003368871A JP2004140844A (en) | 2003-10-29 | 2003-10-29 | Mobile terminal system, mobile terminal, image processing device, and their operation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003368871A JP2004140844A (en) | 2003-10-29 | 2003-10-29 | Mobile terminal system, mobile terminal, image processing device, and their operation method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001329327A Division JP3907439B2 (en) | 2001-10-26 | 2001-10-26 | Portable terminal system, portable terminal, image processing apparatus, and operation method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004140844A true JP2004140844A (en) | 2004-05-13 |
Family
ID=32463826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003368871A Pending JP2004140844A (en) | 2003-10-29 | 2003-10-29 | Mobile terminal system, mobile terminal, image processing device, and their operation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004140844A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100401736C (en) * | 2004-06-05 | 2008-07-09 | 三星电子株式会社 | Apparatus for identifying a photographer of an image |
-
2003
- 2003-10-29 JP JP2003368871A patent/JP2004140844A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100401736C (en) * | 2004-06-05 | 2008-07-09 | 三星电子株式会社 | Apparatus for identifying a photographer of an image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3907439B2 (en) | Portable terminal system, portable terminal, image processing apparatus, and operation method thereof | |
| US9071724B2 (en) | Method and apparatus for providing a video call service | |
| CN105359560B (en) | Pass through the service provision of intelligent personal gateway | |
| JP2005250950A (en) | Marker presentation portable terminal, expanded sense of reality system, and its operation method | |
| JP2006505862A (en) | Method and system for performing image processing from mobile client device | |
| US20110102854A1 (en) | Image providing system and method | |
| JPWO2018037890A1 (en) | Image processing apparatus, image processing method and program | |
| JP2015049570A (en) | Image formation system and image formation device | |
| CN112040333B (en) | Video distribution method, device, terminal and storage medium | |
| JP2004282708A (en) | Print producing apparatus and method, and information detecting apparatus, method and program | |
| JP2006295304A (en) | Download method and reproducing method of content | |
| JP2006502462A (en) | Method and system for generating a permanent record of a service on a remote printer | |
| CN111034184B (en) | Video call method for improving video quality and computer-readable recording medium | |
| JP2004140844A (en) | Mobile terminal system, mobile terminal, image processing device, and their operation method | |
| JP5366130B2 (en) | POSITIONING DEVICE AND POSITIONING PROGRAM | |
| JP2016218766A (en) | Information processor and information processing program | |
| JP2005099945A (en) | Equipment authenticating device, image forming device, member information managing device, image formation service system, equipment authenticating method, image formation method and program therefor | |
| CN114332118A (en) | Image processing method, device, equipment and storage medium | |
| JP6442939B2 (en) | Wearable terminal, program, information processing system, control method for information processing system, and interconnection system | |
| JP6369457B2 (en) | Information processing apparatus, data processing method thereof, and program | |
| CN101742705A (en) | Communication method and system | |
| JP6844308B2 (en) | Service provision system, information terminal, information processing method, and program | |
| JP2006197089A (en) | Image processing system, and control method, control program and storage medium therefor | |
| JP7447339B2 (en) | Communication methods and systems in service management and orchestration | |
| JP6178578B2 (en) | Information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071211 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080408 |