JP2019009743A - 情報処理装置、その制御方法およびプログラム - Google Patents

情報処理装置、その制御方法およびプログラム Download PDF

Info

Publication number
JP2019009743A
JP2019009743A JP2017126735A JP2017126735A JP2019009743A JP 2019009743 A JP2019009743 A JP 2019009743A JP 2017126735 A JP2017126735 A JP 2017126735A JP 2017126735 A JP2017126735 A JP 2017126735A JP 2019009743 A JP2019009743 A JP 2019009743A
Authority
JP
Japan
Prior art keywords
additional information
image
photographing
printed matter
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017126735A
Other languages
English (en)
Other versions
JP6907047B2 (ja
Inventor
浦谷 充
Mitsuru Uratani
充 浦谷
洋行 酒井
Hiroyuki Sakai
洋行 酒井
祐樹 石田
Yuki Ishida
祐樹 石田
勇気 大曲
Yuki Omagari
勇気 大曲
鈴木 智博
Tomohiro Suzuki
智博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017126735A priority Critical patent/JP6907047B2/ja
Priority to EP18174571.2A priority patent/EP3422690B1/en
Priority to US16/010,683 priority patent/US10992837B2/en
Priority to CN201810683933.3A priority patent/CN109151244B/zh
Publication of JP2019009743A publication Critical patent/JP2019009743A/ja
Application granted granted Critical
Publication of JP6907047B2 publication Critical patent/JP6907047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32352Controlling detectability or arrangements to facilitate detection or retrieval of the embedded information, e.g. using markers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • H04N1/00114Systems or arrangements for the transmission of the picture signal with transmission of additional information signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00278Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a printing apparatus, e.g. a laser beam printer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】携帯端末の内蔵カメラを使って印刷物から容易に付加情報を抽出できるようにする。【解決手段】付加情報が埋め込まれた印刷物を、内蔵カメラを用いて撮影することで前記付加情報を読み取る情報処理装置であって、第1の条件で前記印刷物を撮影することで得られる第1撮影画像と、前記第1の条件とは異なる第2の条件で前記印刷物を撮影することで得られる第2撮影画像を取得する制御手段と、前記第1撮影画像と前記第2撮影画像を解析して前記付加情報を抽出する抽出手段と、を備えたことを特徴とする。【選択図】図15

Description

本発明は、印刷物に埋め込まれた情報の読み取り技術に関する。
写真や絵画等を印刷した印刷物に、その著作者名や使用許可の可否等を示すデジタル情報を視覚的に判別しづらい様に多重化して付加する情報ハイディング技術が知られている。印刷物に付加されたデジタル情報(以下、「付加情報」と呼ぶ。)は、スキャナや携帯端末の内蔵カメラ等の撮像デバイスで対象の印刷物の撮影を行い、その撮影画像を解析することで取り出すことができる。そして、付加情報を適切に取り出すための技術として、例えば特許文献1には、透かし入り画像を生成する際に画像の基準を表す印(補正マーカ)を付ける技術が開示されている。この手法の場合、付加情報を取り出す際に、補正マーカを用いて基準点あるいは基準線が所定の状態からどの程度歪んでいるかを推定して画像を補正することで、射影変換などの複雑な幾何変換に対する電子透かしの耐性を実現している。
特開2005−026797号公報
情報ハイディング技術によって埋め込まれた付加情報を印刷物から正しく取り出すためには、一般的に印刷物に対して正位置で撮影して、なるべくボケや歪みのない高画質の画像を得ることが重要になる。しかしながら、スマートフォン等の携帯端末の内蔵カメラで撮影する場合はそもそも安定した条件での撮影が困難である。例えば、印刷物との距離が遠すぎたり、回転や台形歪みが生じてしまったりする。この点、上述の補正マーカを用いる方法は、幾何学的な歪み以外は適切に撮影されていることが前提となっている。しかし、携帯端末の内蔵カメラを用いた手持ち撮影においては、手振れが生じたり、あるいは印刷物上に影や光の映り込みが生じやすい。また、歪み以外の問題がない状態で撮影されていても、印刷物に対する携帯端末(内蔵カメラ)の傾きが大きくなると、例えば付加情報が埋め込まれている領域の一部分にしか焦点が合っていないということが起こる。そのような場合は、幾何変換を行っても十分な画像は得られず、付加情報を正しく抽出することが出来ない。さらに、付加情報の情報量が増えると、付加情報が埋め込まれる領域の基本単位が大きくなって、付加情報の正確な抽出に堪え得る画像の撮影は益々困難になる。このように、携帯端末のカメラ機能を使って印刷物から付加情報を読み取る場合には、付加情報の抽出に適した撮影画像を得ることが煩雑化するおそれがあった。
そこで、本発明は、携帯端末の内蔵カメラを使って印刷物から容易に付加情報を抽出できるようにすることを目的とする。
本発明に係る情報処理装置は、付加情報が埋め込まれた印刷物を、内蔵カメラを用いて撮影することで前記付加情報を読み取る情報処理装置であって、第1の条件で前記印刷物を撮影することで得られる第1撮影画像と、前記第1の条件とは異なる第2の条件で前記印刷物を撮影することで得られる第2撮影画像を取得する制御手段と、前記第1撮影画像と前記第2撮影画像を解析して前記付加情報を抽出する抽出手段と、を備えたことを特徴とする。
本発明によれば、携帯端末の内蔵カメラを使って印刷物から容易に付加情報を抽出することができる。
画像処理システムを構成する画像形成装置と携帯端末における主要機能を示すブロック図 画像形成装置と携帯端末のハードウェア構成を示すブロック図 埋込処理部の内部構成を示す図 画像情報に付加情報を埋め込む処理の流れを示すフローチャート 埋込領域の説明図 量子化条件の説明図 抽出処理部の内部構成を示すブロック図 空間フィルタにおける係数を示す図 二次元の周波数領域を示す図 単位ブロックの一例を示す図 単位ブロックで表わされた付加情報が繰り返し埋め込まれている様子を表した図 複数の単位ブロックから1セット分の付加情報を読み取る様子を示す図 印刷物に対して携帯端末が傾いた状態で手持ち撮影する様子を示す図 手持ち撮影時における携帯端末のレンズを通した印刷物の見え方を示す図 印刷物から付加情報を抽出する際の撮影制御の流れを示すフローチャート 印刷物から付加情報を抽出する際の撮影制御の流れを示すフローチャート
以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
実施形態1
図1は、本実施形態に係る画像処理システムを構成する、画像形成装置100と携帯端末110における主要機能を示すブロック図である。図1(a)に示す画像形成装置100は、印刷機能を有する、例えばMFP(Multi Function Peripheral)などの印刷装置である。図1(b)に示す携帯端末110は、カメラ機能を有する、例えばスマートフォンやタブレットPCといった携帯型の情報処理装置である。本実施形態では、画像形成装置100は、多重化によって付加情報を埋め込んだ印刷物を出力する。付加情報は、印刷されている画像に関連する、例えば音声、動画、静止画、文字などの情報、あるいは当該画像に関する著作権、撮影日時、撮影場所、撮影者といった管理情報などである。付加情報は、画像ファイルとして構成された画像情報の一部として内包されていても良い。そして、携帯端末110の内蔵カメラ(撮像センサ111)により、印刷物を撮影し、得られた撮影画像を解析することで付加情報を取り出す。なお、付加情報のことを「多重化情報」や「埋め込み情報」と呼ぶ場合もある。
画像形成装置100は、付加情報を画像情報に多重化して埋め込む処理を行う埋込処理部101と、付加情報が埋め込まれた画像情報を用いて印刷処理を行うプリント部(プリンタエンジン)102とで構成される。プリント部102は、例えば、インクジェットプリンタ、レーザプリンタ等、疑似階調処理を用いることにより階調表現を紙等の記録媒体上に実現するプリンタである。埋込処理部101は、プリント部102へ渡す画像情報を生成するプリンタドライバ、もしくは、アプリケーションソフトウェアとして実現される。また、複写機、ファクシミリ、プリンタ本体等にハードウェアやソフトウェアとして内蔵される形態で実現されても良い。なお、付加情報を埋め込む処理のことを「多重化処理」と呼ぶ場合もある。
携帯端末110は、上述の撮像センサ111に加え、付加情報を印刷物から抽出する処理を行う抽出処理部112と、抽出した付加情報の誤り検出を行う付加情報チェック部113を有する。抽出処理部112及び付加情報チェック部113は、ソフトウェアとハードウェアのいずれで実現されても良い。なお、埋め込まれた付加情報を取り出す処理を、「読み出し処理」或いは「分離処理」と呼ぶ場合もある。
本実施形態では、埋込処理部101とプリント部102が画像形成装置100に含まれる構成を例に説明するが、これらが別々の装置で構成されていても良い。例えば、PC等の情報処理装置が埋込処理部101の機能を有し、当該情報処理装置とは独立した印刷装置がプリント部102の機能を有する構成でも良い。
[画像形成装置の基本構成]
埋込処理部101は、視覚的に判別しづらい状態で、画像情報中に付加情報を埋め込む(多重化する)。プリント部102は、埋込処理部101で作成された付加情報が埋め込まれた画像情報に基づいて印刷処理を実行する。
図2(a)は、画像形成装置100のハードウェア構成の一例を示す図である。CPU200は、画像形成装置100を統括的に制御するプロセッサである。ROM201やHDD203は、画像形成装置100の基本プログラムや制御プログラム、各種アプリケーションやデータ等を記憶する。CPU200は、ROM201に記憶されたプログラムをRAM202に読み出して実行することにより、前述の埋込処理部101等の様々な機能を実現する。RAM202は、CPU200のワークメモリとしても用いられる。
ネットワークインタフェース204は、例えば、有線や無線等、ネットワークの形態に応じた構成を有する。また、通信範囲が異なる複数種類の無線ネットワーク、例えば、通信距離が数cmといった近距離無線通信(NFC:Near Field Communication)により、携帯端末110と通信することも可能である。
ディスプレイ205は、ユーザに各設定画面やプレビュー画面等を表示する。操作部206は、例えば、キーボードやタッチパネル等を有し、ユーザからの操作指示を受付可能である。デバイスI/F207は、プリント部102(プリントエンジン)と、システムバス209とを接続する。図1では、プリント部102が示されているが、画像形成装置100が有する機能に応じて、スキャナやFAX等の処理部がデバイスI/F207に接続される。画像処理部208は、外部から取得した画像データに対して、用途に応じた画像処理を実行する。例えば、画像処理部208は、プリント部102の印刷方式に応じた色空間変換や二値化処理、画像の拡大/縮小/回転、といった処理を実行する。
[携帯端末の基本構成]
ユーザが携帯端末110にインストールされている画像読取アプリケーションを使用して印刷物の撮影を行うと、抽出処理部112において撮影画像から付加情報が抽出され、付加情報チェック部113において誤り検出がなされる。
図2(b)は、携帯端末110のハードウェア構成の一例を示す図である。携帯端末110は、汎用的な情報処理装置の構成を含む。CPU210は、携帯端末110を統括的に制御するプロセッサである。CPU210は、ROM211に記憶されたプログラムをRAM212に読み出して実行することにより、前述の抽出処理部112や付加情報チェック部113を含む様々な機能を実現する。ROM211は、携帯端末110の基本プログラムや制御プログラム、各種アプリケーションやデータ等を記憶する。RAM212は、CPU210のワークメモリとしても用いられる。なお、後述する図14および図15のフローチャートは、CPU210が、各ステップに対応するプログラムを読みだして実行することで実現される。付加情報チェック部113のチェックが済んだ付加情報が例えば画像情報や文字情報であれば、その内容がディスプレイ215へ出力され、URLなどのリンク情報であればブラウザを起動した上でリンク先がディスプレイ215上に表示される。付加情報チェック部113でエラーになる原因の代表的なものとしては、携帯端末による手持ち撮影であることに起因する、手振れやピンボケといった画質不良の問題が挙げられる。撮像センサ111は、AF(Auto Forcus)、AE(Auto Exposure)、AWB(Auto White Balance)を用いて静止画の撮影を行なう。もし撮影した静止画に問題があり、抽出した付加情報にエラーが見つかった場合は、条件を変えて再び撮影するという動作を、チェックに合格するまで繰り返す。こうすることで、撮影時の姿勢が不安定であっても付加情報の抽出が可能になる。なお、動画モードでの撮影を行なって、得られた動画から静止画を切り出しても良い。また、上述したAF、AE、AWBを利用することなく、フォーカス位置、露出、シャッタースピード、ホワイトバランスといった撮影条件の少なくとも1つをユーザが手動で変更しながら撮影しても良い。さらに、他の方法で撮影条件を変更しても良い。例えば、少なくとも1つの条件がユーザにより手動で変更され、少なくとも1つの条件が固定され、少なくとも1つの条件が画像読取アプリケーションにより自動的に決定されても良い。
ネットワークI/F213は、例えば、有線や無線等、ネットワークの形態に応じた構成を有する。また、通信範囲が異なる複数種類の無線ネットワーク、例えば、通信距離が数cmといった近距離無線通信(NFC:Near Field Communication)により、画像形成装置100と通信することも可能である。ディスプレイ215は、ユーザに各設定画面やプレビュー画面等を表示する。操作部214は、例えば、ハードキー等を有し、ユーザからの操作指示を受付可能である。また、操作部214とディスプレイ215とが一体化された、いわゆるタッチパネルであってもよい。距離センサ216は、印刷物等の被写体までの距離を測定するセンサである。図2(b)に示す各ブロックは、システムバス217を介して相互に通信可能に接続されている。
[付加情報の埋め込み処理]
まず、付加情報がどのようにして画像情報に埋め込まれるのかを説明する。図3は、埋込処理部101の内部構成を示す図である。埋込処理部101は、誤差拡散部301、ブロック化部302、量子化条件制御部303で構成される。
誤差拡散部301は、入力された画像情報に対し、誤差拡散法を用いた量子化処理を行なう。これにより、入力階調数よりも少ない階調数の画素値によって面積的に階調性を表現した画像情報を生成する。以下では、二値に量子化する場合を例に説明を行うものとする。ブロック化部302は、入力された画像情報を所定の単位領域に分割する処理(ブロック化)を行う。単位領域は、例えば96×96画素の矩形領域であり、以下「単位ブロック」と呼ぶこととする。なお、単位ブロックの形状は、矩形に限定されるものではなく、矩形以外の形状でも良い。量子化条件制御部303は、画像情報とは別に(或いは一緒に)入力された付加情報に基づいて、ブロック化部302にて得られた単位ブロック毎に、量子化条件を設定する。
次に、画像情報に付加情報を埋め込む処理の流れを、図4のフローチャートを参照しながら説明する。図4に示す一連の処理は、画像形成装置100のCPU200がROM201に記憶されているプログラムをRAM202に読み出して実行することにより実現される。
ステップ401では、RAM202に確保された変数iが初期化される。ここで、変数iは、垂直方向のアドレスをカウントする変数である。ステップ402では、RAM202に確保された変数jが初期化される。ここで、変数jは、水平方向のアドレスをカウントする変数である。続いて、ステップ403では、現在の処理アドレスである座標(i,j)に対応する画素(注目画素)が埋込処理の対象となる領域(埋込領域)に属しているか否かが判定される。
ここで、図5を参照しながら、埋込領域について説明する。図5は、水平画素数をWIDTH、垂直画素数をHEIGHTで表した一つの画像500を示している。画像500の左上を原点として、横画素数N、縦画素数Mでブロック化が行われる。ここでは、原点を基準点としてブロック化を行うものとするが、原点から離れた点を基準点としても良い。この画像500の中に情報を最大限埋め込むために、N×M画素の多重化ブロックを基準点から順に配置していく。即ち、水平方向に配置可能なブロック数をW、垂直方向に配置可能なブロック数をHとすると、WとHは、以下の式(1)及び式(2)で表される。
W = INT(WIDTH/N) ・・・式(1)
H = INT(HEIGHT/M) ・・・式(2)
但し、INT()は()内の整数部分を示す。
上記式(1)及び式(2)において割り切れない剰余画素数が、N×M画素の単位ブロックを複数配置した時の端部に相当し、その部分は埋込領域外となる。図4のフローの説明に戻る。
そして、注目画素が埋込領域の内側にない(埋込領域外にある)と判定された場合には、ステップ404に進み、量子化条件Cが設定される。一方、注目画素が埋込領域の内側にあると判定された場合には、ステップ405に進み、多重化すべき付加情報が読み込まれる。ここで、説明の便宜上、付加情報をcode[]という配列を用いて表現する。例えば、付加情報を48ビット分の情報と仮定すると、配列code[]には、code[0]からcode[47]まで、各1ビットずつが格納される。そして、RAM202に確保された変数bitに、以下の式(3)で表される、配列code[]内の情報を代入することで、付加情報が読み込まれる。
bit = code[INT(i/M)×W+INT(j/N)]・・・式(3)
続くステップ406では、代入された変数bitが“1”であるか否かが判定される。前述したように、配列code[]内の情報は各1ビットずつ格納されている為、変数bitの値も“0”か“1”かの何れかを示すことになる。ここで、“0”であると判定された場合には、ステップ407において、量子化条件Aが設定される。一方、“1”であると判定された場合には、ステップ408において、量子化条件Bが設定される。
ここで、量子化条件A、B、Cについて説明する。誤差拡散法における量子化条件には様々な因子があるが、ここでは量子化閾値である。ステップ404で設定される量子化条件Cは、注目画素が埋込領域外にあるとき用いられる為、量子化閾値はどのような条件でも良い。前述したように、1画素が8ビットによる階調表現で、量子化レベルが2値の場合には、最大値である“255”と最小値である“0”が量子化代表値となり、その中間値となる“128”が量子化閾値として設定されることが多い。本実施例における量子化条件Cも、量子化閾値を“128”の固定値とした条件とする。ステップ407で設定される量子化条件Aと、ステップ408で設定される量子化条件Bは、注目画素が埋込領域の内側にあって単位ブロックを構成するとき用いられる為、量子化条件の違いによる画質の違いを生じさせる必要がある。但し、画質の違いは視覚的には判別しにくいように表現し、かつ、紙上から容易に識別可能である必要がある。図6(a)及び(b)は、量子化条件A、Bの説明図である。図6(a)は、量子化条件Aにおける量子化閾値の変化の周期を示す図である。図6(a)において、一つのマスを1画素分と想定し、白いマスを固定閾値、黒いマスを変動閾値とする。即ち、図6(a)の例では、横8画素、縦4画素のマトリクスを組み、黒いマスについてのみ突出した値を閾値として設定する。図6(b)は、量子化条件Bにおける量子化閾値の変化の周期を示す図である。図6(b)の例では、図6(a)とは異なり、横4画素、縦8画素のマトリクスを組み、同様に黒いマスについてのみ突出した値を閾値として設定する。そして、1画素が8ビットの階調値の場合であれば、例えば固定閾値として“128”、突出した閾値を“10”とする。量子化閾値が低くなると、注目画素の量子化値が“1”になりやすくなる。即ち、図6(a)、(b)ともに、図中の黒いマスの並びで量子化値“1”が並びやすくなる。言い換えると、図6(a)に示す黒いマスの並びでドットが発生するN×M画素の単位ブロックと、図6(b)に示す黒いマスの並びでドットが発生するN×M画素の単位ブロックとが混在することになる。誤差拡散法における量子化閾値の多少の変更は、画質的には大きな影響を及ぼさない。組織的ディザ法においては、使用するディザパターンによって、階調表現の画質が大きく左右される。しかしながら、前述したような、規則的に量子化閾値の変化を与えた誤差拡散法では、あくまでも画質を決定する階調表現は誤差拡散法であるので、ドットの並びが多少変化したり、テクスチャの発生が変化したりしても、階調表現の画質には殆ど影響を与えない。量子化閾値が変化した場合でも、あくまでも信号値と量子化値との差分となる誤差は周囲画素に拡散されるので、入力された信号値は、マクロ的に保存される。即ち、誤差拡散法におけるドットの並び、テクスチャの発生に関しては、冗長性が極めて大きいといえる。なお、図6(a)のパターンを合わせた8×8画素のパターンを最小単位とする図6(c)、及び、図6(b)のパターンを合わせた8×8画素のパターンを最小単位とする図6(d)をそれぞれ量子化条件A及びBとして付加情報の埋め込みを行ってもよい。図4のフローの説明に戻る。
ステップ409では、上述のようにして設定された量子化条件に基づいて、誤差拡散法による量子化処理が実行される。そして、ステップ410で、変数jが更新(インクリメント)され、ステップ411において、更新後の変数jが水平画素数WIDTH未満か否かが判定される。変数jがWIDTH未満であると判定された場合は、ステップ403に戻って右隣にある画素を注目画素に決定して処理を繰り返す。一方、変数jがWIDTH未満でないと判定された場合(水平方向の処理がWIDTH画素数分終了した場合)は、ステップ412に進み、変数iが更新(インクリメント)される。そして、ステップ413において、更新後の変数iが垂直画素数HEIGHT未満か否かが判定される。変数iがHEIGHT未満であると判定された場合は、ステップ402に戻って下隣りにある画素を注目画素に決定して処理を繰り返す。一方、変数iがHEIGHT未満でないと判定された場合(垂直方向の処理がHEIGHT画素数分終了した場合)は、本処理を終了する。
以上が、付加情報の埋め込み処理の内容である。こうして、単位ブロック毎に設定された量子化条件に従って付加情報の埋め込み処理がなされる。なお、上述のとおり本実施例では、誤差拡散法の量子化閾値に、符号を表す所定の周期性を重畳することにより、多重化を実現している。しかしながら、他の重畳方式により多重化を実現しても良い。例えば、直接RGBの値(輝度情報)に、周期性を重畳する方式により多重化を実現しても良い。または、RGBの値を、輝度−色差情報など、他の色空間情報(例えばCIE L*a*b*、YCrCb信号)に分離して周期性を重畳する方式により多重化を実現しても良い。または、RGBの値をインク色(例えばCMYK信号)に分離して周期性を重畳する方式により多重化を実現しても良い。
[付加情報の抽出処理]
次に、付加情報の抽出について説明する。本実施例では、携帯端末110で撮影した複数の画像を利用して付加情報を抽出する。図7は、抽出処理部112の内部構成を示すブロック図である。前述の埋込処理部101によって付加情報が埋め込まれた印刷物から、当該付加情報を抽出するとの前提で説明を行うものとする。当然のことながら、埋込処理部101における埋め込み時の単位ブロック1個あたりの付加情報量と、抽出処理部112における抽出時の単位ブロック1個あたりの抽出情報量とは等しくなる。
携帯端末110によって印刷物を撮影して得た画像情報は、まずブロック化部701に入力される。ここで、携帯端末110の撮像センサ111の解像度(撮像解像度)は、印刷物を作成する際の印刷解像度以上が好ましい。正確に印刷物のドットの点在情報を読み取る為には、サンプリング定理により、撮像センサ111側は、印刷装置側よりも2倍以上の解像度が必要になる。しかしながら、同等以上の解像度であれば、点在するドットを判別することが可能である。
ブロック化部701は、横画素数P、縦画素数Qからなる単位ブロックに画像を分割する。この単位ブロックのサイズは、埋込時の単位ブロックと同じか或いは小さい。即ち、埋め込み時の単位ブロックと抽出時の単位ブロックとの間には、P≦NかつQ≦Mの関係が成り立つ。以下では、埋め込み時と抽出時とで単位ブロックは同じサイズ(P=NかつQ=M)であるものとして説明を行う。
空間フィルタは、それぞれ特性の異なる第1空間フィルタ702と第2空間フィルタ703が存在する。フィルタリング部704は、周辺画素との積和を演算するディジタルフィルタリングを行う。第1空間フィルタ702と第2空間フィルタ703における係数は、量子化条件の変動閾値の周期に対応して設定される。ここで、量子化条件が図6(a)及び(b)に示した2種類の周期性を用いて設定され、付加情報が埋め込まれていたとする。この場合の抽出処理部112で用いる第1空間フィルタ702と第2空間フィルタ703における係数は、例えばそれぞれ図8(a)及び(b)のようになる。図8(a)及び(b)に示す5×5画素の空間フィルタにおいて、その中央にある画素が注目画素、それ以外の24個の画素が周辺画素になる。図8(a)及び(b)において、値の入っていない空白部分は、フィルタ係数が“0”の画素を示す。図8(a)及び(b)に示された各フィルタ係数から明らかなように、いずれの空間フィルタも、エッジ強調フィルタになっている。そして、その強調するエッジの方向性と多重化した時の変動閾値の方向性とが、図8(a)と図6(a)の組合せ、図8(b)と図6(b)の組合せとでそれぞれ一致している。つまり、図8(a)は図6(a)と一致するように、また、図8(b)は図6(b)と一致するように、空間フィルタが作成される。
間引き部は、第1空間フィルタに対応する第1間引き部705と第2空間フィルタ703に対応する第2間引き部706が存在する。そして、それぞれの間引き部において、単位ブロック内のフィルタリング後の信号(以下、「変換値」)を、周期性と位相のそれぞれの規則性に分離して間引き処理を行う。即ち、第1間引き部705と第2間引き部706とでは、間引きの周期性が互いに異なっていて、それぞれにおいて、位相を変化させた複数の間引き処理を実行する。
変換値加算部707は、第1及び第2の間引き部705及び706により間引きされた画素の変換値を、位相毎にそれぞれ加算する。この間引き処理及び変換値の加算処理は、空間フィルタで強調した所定周波数ベクトルの電力(パワー)を抽出することに相当する。
分散値算出部708は、それぞれの周期性において、位相毎に加算した複数の加算値の分散値を算出する。判定部709は、それぞれの周期性において算出された分散値に基づいて、埋め込まれている符号を判定する。図9は、二次元の周波数領域を示す図である。横軸は水平方向の周波数、縦軸は垂直方向の周波数を示している。中心となる原点は直流成分を示し、原点から遠ざかるにつれて、高周波域となる。図9において横軸と縦軸の交点を中心とする円900は、誤差拡散によるカットオフ周波数を示している。誤差拡散法におけるフィルタ特性は、低周波域がカットオフされたハイパスフィルタの特性を示し、そのカットオフされる周波数は、対象画像の濃度に応じて変化する。本実施例では、設定された量子化閾値に応じて量子化後に発生する周波数特性が変化するが、図6(a)の量子化閾値の例では、図9において直線901で示す周波数ベクトル上に大きなパワースペクトルが生じる。また、図6(b)の量子化閾値の例では、図9において直線902で示す周波数ベクトル上に大きなパワースペクトルが生じる。付加情報の抽出時には、この大きなパワースペクトルが発生する周波数ベクトルを検出することで、埋め込まれた符号の判定が行われる。本実施例では、各々の周波数ベクトルを個別に強調、抽出するものとする。以上のことから、前述の図8(a)及び(b)に示す空間フィルタは、特定の周波数ベクトルの方向性を有するハイパスフィルタであるとも言える。即ち、図8(a)の空間フィルタでは、図9の直線901上の周波数ベクトルを強調することが可能になり、また、図8(b)の空間フィルタでは、図9の直線902上の周波数ベクトルを強調することが可能になる。例えば、図6(a)に示す量子化閾値の設定により、図9の直線901の周波数ベクトル上に大きなパワースペクトルが発生したとする。その時に、図8(a)の空間フィルタではパワースペクトルの変化量が増幅するが、図8(b)の空間フィルタではほとんど増幅されない。つまり、複数の空間フィルタを並列にフィルタリングした場合に、周波数ベクトルが一致した空間フィルタでのみ増幅し、それ以外の空間フィルタでは増幅がほとんどない。従って、どの周波数ベクトル上に大きなパワースペクトルが発生しているかを容易に判定することができる。
抽出処理部112で抽出された付加情報は、付加情報チェック部113でその正確性がチェックされ、誤りがある場合はエラーとなる。チェック方法は、CRC(Cyclic Redundancy Check)のような公知の技術を用いればよく、本発明の特徴とするところではないため、ここではその詳細な説明を省略する。
[本発明の課題の確認]
ここで、本発明の課題を確認しておく。図10の(a)は、前述の図6の(c)と(d)で示す量子化条件の下で付加情報を埋め込んだ場合の単位ブロックを表した図である。太線の矩形1000が1つの単位ブロックを表しており、この単位ブロック1000内の全情報を読み取ることで埋め込まれた付加情報を取り出すことができる。単位ブロック1000は、白領域1001で示すアンカー部とドット領域1002で示すデータ部で構成される。アンカー部1001は、付加情報の読み取りの際に単位ブロック1000の原点を特定するために利用される所定サイズ(例えば32×32画素)の領域である。そして、アンカー部1001には、情報が付加されない(空白)、もしくはアンカーであることを表す任意の情報が埋め込まれている。データ部1002は、図6(c)又は(d)で示す8×8画素のパターン1003が敷き詰められている。ここでは、単位ブロック1000のサイズは96×96画素であるものとし、データ部1002には128個のパターン1003が敷き詰められているものとする。この場合において、1個のパターン1003で1ビットの情報を表すことができるため、単位ブロック1000全体では128ビットの情報量があることになる。本実施例では、この128ビットを、さらに図10(b)に示すように、“DATA12bit”と“CRC4bit”の計16ビットずつ、8つのグループに分けている。この場合、実データの容量は12ビット×8グループ=96ビットとなる。
図11(a)は、印刷物内に、図10(a)に示す単位ブロック1000で表わされた付加情報が繰り返し埋め込まれている様子を表した図である。つまり、付加情報は、印刷物の画像情報に多重化されてブロック単位で繰り返し埋め込まれる。印刷物に埋め込まれたこの付加情報を読み出すには、繰り返し埋め込まれた複数の単位ブロックの中から、1つ分の単位ブロックの読み出しが出来れば良く、全ての単位ブロックの読み出しが必要なわけではない。例えば図12(a)に示すように、携帯端末110で撮影する際に影がかかってしまうことがある。この場合、1つの単位ブロックだけでは上述の8グループの全てを網羅することができず、その幾つかしか読み取りが出来ないことがある。そのような場合でも、影がかかって読めなかった部分の情報を別の単位ブロックのグループで補うことで、単位ブロック1つ分の付加情報の読み取りが可能となる。つまり、図12(b)に示すように、それぞれ異なる単位ブロックから読み取った、右斜め斜線の領域1201、左斜め斜線の領域1202、斜め格子の領域1203に対応する3つのデータ部をまとめることで、1つの単位ブロック分の全てのデータ部が揃う。これにより、単位ブロックの全体が鮮明に撮影されていない場合でも、単位ブロックに対応する付加情報を読み取ることが出来る。しかしながら、1回の撮影で得られた撮影画像の中に、相互補完できるだけの単位ブロックが揃わないこともあり得る。例えば図11(b)で示すような、隣り合う2つの単位ブロックがセットになって1つの付加情報に対応するようなケースでは、1回の撮影で得られた撮影画像中に相互補完できるだけの単位ブロックがすべて揃わない可能性が高くなる。そして、1つのセットを構成する単位ブロックの数が3つ以上になれば、その数が増えるのに応じて、付加情報を完全に抽出することがより困難となる。
このように、携帯端末110を使った手持ち撮影で得られた画像の場合、複数の単位ブロックから部分的に読み取ったデータ部を繋ぎ合わせても、付加情報を正確に取り出せないということが起こる。このような状況を踏まえ、本発明は、撮影条件の異なる複数の撮影画像を付加情報の抽出に用いるようにする。以下、詳しく説明する。
[付加情報の抽出に適した撮影画像の取得]
図13は、図11に示した印刷物に対して携帯端末110が傾いた状態で手持ち撮影する様子を示している。また、図14は、その撮影時における携帯端末110のレンズ1300を通した印刷物の見え方を示している。図14から明らかなように、印刷物の形状が、手前側が長辺とした台形に変形しており、歪みが生じているのが分かる。そして、印刷物上のα、β、γの各位置(図13を参照)と携帯端末110のレンズ部1300との距離は大きく違っている。ここで、αの位置にフォーカスを合わせて撮影を行った場合に、図14における二点鎖線1402で示す範囲でボケのない画像が得られるものとする。こうして得られた撮影画像に例えば陰が大きく映り込んだりしていると、付加情報の抽出に失敗してしまう。そこで、付加情報の抽出に失敗した場合には、撮影条件を変えて撮影を行なうようにする。例えば、印刷物上のβの位置にフォーカスを合わせて一点鎖線1401で示す範囲でボケのない画像を、或いはγの位置にフォーカスを合わせて破線1403で示す範囲でボケのない画像を撮影するといった具合である。
図15は、付加情報の抽出に適した撮影画像を取得するための撮影制御の流れを示すフローチャートである。本実施例においては、携帯端末110にインストールされた画像読取アプリケーション(プログラム)によって一連の処理を自動で実行することを想定しているが、撮影条件の変更など一部の処理を手動で行っても構わない。以下、図15のフローに沿って詳しく説明する。
ステップ1501では、携帯端末110の操作部214を介したユーザの撮影指示に応答して、印刷物の撮影画像が取得される。このときの撮影条件は任意であり、前述したAF、AE、AWBなどを用いて撮影すればよい。取得された撮影画像のデータは、必要に応じてアフィン変換などの幾何変換を行った上で、RAM212内に確保された領域に格納される。
続くステップ1502では、取得された撮影画像を対象に前述のアンカーの探索が実行される。本実施例では、アンカーの部分はその読み取り値が“0”になるパターンが敷き詰められており、横方向に32画素分“0”が続く場合に、その行を「アンカー行」と判断する。そして、縦方向に「アンカー行」が32画素分続くと、そのエリアをアンカーと判断する。この処理を撮影画像全体に対して行って、撮影画像中にアンカーがいくつ存在し、各アンカーが撮影画像内のどこに存在するのかを示す情報(アンカー情報)を得る。得られたアンカー情報は、RAM212に格納される。
ステップ1503では、ステップ1502で見つかったアンカーに基づいて、撮影画像内に存在する単位ブロックの数と位置が特定される。具体的には、上述のアンカー情報を参照して単位ブロックの座標を算出し、撮影画像内にある単位ブロックの総数と各単位ブロックが撮影画像内のどこに存在するのかを示す情報(単位ブロック情報)を得る。得られた単位ブロック情報は、RAM212に格納される。
ステップ1504では、撮影画像に存在する単位ブロックの中から注目する単位ブロックが決定される。続くステップ1505では、注目単位ブロックを対象に、前述の付加情報の抽出がなされる。そして、ステップ1506では、埋め込まれた付加情報の抽出に成功したか否かが判定される。例えば、前述の図11(a)のケースであれば、一個の単位ブロック分の付加情報がすべて抽出できれば、抽出成功となる。また、図11(b)のケースであれば、2つの隣り合う単位ブロック1セット分の付加情報がすべて抽出できれば、抽出成功となる。複数の単位ブロックを1セットとして扱うケースとして、例えば、1つ目のブロックが1枚目の印刷物に配置されており、2つ目のブロックが2枚目の印刷物に配置されていても良い。その場合、ユーザは、1枚目の印刷物を撮影した後、2枚目の印刷物を撮影することになる。なお、ここでは説明のためにブロック数として2つ、印刷物として2枚を例に挙げて説明したが、これに限る必要はない。付加情報の抽出に成功していた場合は本処理を終える。一方、付加情報の抽出に失敗していた場合は、ステップ1507に進む。
ステップ1507では、撮影画像内に存在するすべての単位ブロックについて付加情報の抽出処理がなされたかどうかが判定される。未処理の単位ブロックがあれば、ステップ1504に戻って次の注目単位ブロックを決定して処理を続行する。一方、すべての単位ブロックについて付加情報の抽出処理が完了していた場合は、ステップ1508に進む。
ステップ1508では、次の撮影に向けて撮影条件が変更される。例えば、前述したように、フォーカス位置が自動で変更される。変更の対象とする撮影条件は、フォーカス位置に限定されるものではなく、例えば同時にズーム倍率を変更して撮影対象がより大きく写るようにしてもよい。その他、露出、ホワイトバランス、内臓カメラの画質モード(例えば高精細モードや低精細モード)、シャッタースピードなどを変更するようにしてもよい。この際、どの項目を対象にどのように変更するのか(変化量等)を、例えば撮影対象の印刷物のフォーマットや撮影環境などと対応付けて予め決めておけばよい。さらには、項目に優先順位をつけ、優先度の高い項目から順に変更するようにしてもよい。撮影条件の変更が済むと、ステップ1501に戻って新たに設定された撮影条件に従った撮影がなされ、再取得された撮影画像を対象として処理が続行される。なお、撮影条件の変更として、画像読取アプリケーションが、ステップ1507においてNoと判定された場合に撮影条件を変えても良いし、他の方法でも構わない。例えば、携帯端末110をユーザが手で持ち、αの位置にフォーカスを合わせて撮影を行う。ここでαの位置にフォーカスを合わせた撮影により得られた画像からは図12(b)の領域1202のデータ部が取得できなかったとする。その結果、画像読取アプリケーションが表示する付加情報の抽出処理の進捗を示すプログレスバーが途中で止まることになる。そしてユーザが、プログレスバーが途中で止まったことを認識することで携帯端末110と印刷物の距離を変化させることがある。そして携帯端末110と印刷物の距離の変化に応じて撮影条件が変更されるため、この撮影条件の変更をステップ1508の処理として利用しても構わない。つまり、画像読取アプリケーションが撮影条件の変更を内蔵のカメラに通知することなく、撮影条件が変更されても構わない。
以上が、付加情報の抽出に適した撮影画像を取得する撮影制御の内容である。これにより、例えば、前述の図13及び図14の例では、最初の撮影ではαの位置にフォーカスを合わせて撮影を行い、付加情報の抽出に失敗した場合に、自動でβ或いはγの位置にフォーカスを合わせた再撮影が行なわれることになる。これによって、付加情報の抽出に適した撮影画像を効率よく得ることができる。なお、付加情報の抽出処理として、再撮影で取得された画像のみから付加情報が抽出されても良いし、複数回の撮影で得られた複数の画像のそれぞれから抽出された付加情報を合成しても良い。ここで両者の抽出処理について一例をあげて説明する。例えば、αの位置にフォーカスを合わせて撮影を行った結果、図12の領域1201および1203のデータ部が抽出されたが、領域1202のデータ部の抽出に失敗したとする。その場合、ステップ1506において付加情報の抽出に失敗と判定される。そして、βの位置にフォーカスを合わせて再撮影を行うことでβの位置のブロックを取得できる。ここで再撮影された画像のみから付加情報が抽出されても良い。また、上記と同様に、例えば、αの位置にフォーカスを合わせて撮影を行った結果、図12の領域1201および1203のデータ部が抽出されたが、領域1202のデータ部の抽出に失敗したとする。その場合、ステップ1506において付加情報の抽出に失敗と判定される。そして、βの位置にフォーカスを合わせて再撮影を行うことでβの位置のブロックを取得できる。この際、ブロック内の領域1201および1203のデータ部は既に取得されているので、CPU210は、再撮影により得られたブロックの領域1202のデータ部の取得を試みる。ここで、再撮影により得られたブロックの領域1202のデータ部が取得された場合、1回目の撮影で取得した領域1201および1203のデータ部と、再撮影により得られた領域1202のデータ部を合成することで付加情報が取得されても良い。このケースでは、再撮影時に不足部分の領域のみからデータ部の取得を試みるので、処理の効率化を図ることができる。
さらに、フォーカス位置以外の他の撮影条件、例えばズーム倍率を同時に変更してもよい。なお、本実施例では、付加情報の抽出に失敗する毎に撮影条件を変更して再度撮影を行うようにしているが、これに限定されない。例えば、撮影条件を変更しながら連写あるいは動画による撮影を行って、連写による複数のスチール画像又は動画像を構成する複数のフレーム画像を対象に、上述の図15のフローを順次実行するようにしてもよい。
以上の処理により得られた付加情報が、撮影中の印刷物と共に並行して表示される。例えば、撮影中の印刷物に重ねて付加情報に対応するメッセージが表示される。また、得られた付加情報がURLである場合、そのURLに対応するWebページや動画が表示される。このケースでは、URLに対応するアプリケーションが新たに起動され、URLに対応するページのみが表示されることもある。
<変形例>
付加情報が上手く抽出できない場合に、フォーカス位置等を変えて撮影を行って得た別の撮影画像を使って付加画像の抽出を行なう例を上では説明した。次に、変形例として、フォーカス位置等の異なる複数の撮影画像から合成画像を生成して、当該合成画像から付加情報の抽出を行う態様について説明する。
図16は、本変形例に係る、付加情報の抽出に適した撮影画像を取得するための撮影制御の流れを示すフローチャートである。以下、図16のフローに沿って説明するが、前述の図15のフローと共通する内容については省略ないしは簡略化し、以下では差異点を中心に説明を行うものとする。
ステップ1601では、携帯端末110のUIを介したユーザの撮影指示に応答した撮影によって印刷物の全体を網羅するような複数の撮影画像が取得される。このとき、先に述べたように、例えばフォーカス位置等の撮影条件が適宜変更されて撮影が行われる。取得された複数の撮影画像のデータはRAM212内に確保された領域に格納される。
ステップ1602では、取得された複数の撮影画像を用いて印刷物の全体に対応する合成画像が生成される。具体的には、印刷物を網羅するように撮影された複数の撮影画像それぞれに対して例えばアフィン変換などの幾何学変換を施して歪みのない撮影画像に修正し、当該変換後の画像を繋ぎ合わせることで、印刷物全体に対応する合成画像を生成する。
以降のステップ1603〜ステップ1609は、図15のフローのステップ1502〜ステップ1508にそれぞれ対応する。すなわち、まず、生成された合成画像を対象に前述のアンカー探索を実行し(ステップ1603)、見つかったアンカーを基づき合成画像内の単位ブロックの数と位置を特定する(ステップ1604)。そして、各単位ブロックに対して付加情報の抽出処理を行ない(ステップ1605、1606)、合成画像から付加情報を抽出できなければ改たな撮影条件の下で再度撮影を行う(ステップ1607〜1609、ステップ1601)。そして、再取得された撮影画像を基に生成された新たな合成画像(ステップ1602)を対象に処理が続行される。
以上が、本変形例に係る、付加情報の抽出に適した撮影画像を取得する撮影制御の内容である。この変形例は、付加情報の情報量が多いケース、例えば1つの付加情報に対応する1セット分の単位ブロックの数が多かったり、基本となる単位ブロック自体が大きいサイズであったりする場合に有効である。さらには、複数の印刷物に埋め込まれた各付加情報をすべて読み取ることで意味のある付加情報となるようなケースでは、当該複数の印刷物それぞれに対応する撮影画像(あるいは合成画像)を取得してそれらを合成した画像を生成するようにしてもよい。
以上のように、本発明によれば、印刷物に埋め込まれた付加情報を抽出するための撮影を携帯端末の内蔵カメラを使って行う場面において、撮影条件を変更した複数の撮影画像を用いるようにする。これにより不安定な手持ち撮影であっても付加情報の読み取りに堪え得る撮影画像を得ることができ、容易に付加情報を抽出することができる。
(その他の実施例)
上述した画像読取アプリケーションは、印刷物に埋め込まれた付加情報の抽出に関わる機能の他に、付加情報を生成する機能、付加情報が埋め込まれた印刷データを生成する機能などを備えていてもよい。つまり、画像読取アプリケーションが、上述した埋込処理部101の機能を備えていても良い。このような画像読取アプリケーションを携帯端末にインストールすることで、ユーザは、付加情報が埋め込まれた印刷物を画像形成装置に印刷させることもでき、かつ、印刷物の撮影結果から付加情報を抽出することもできる。また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
110 携帯端末
111 撮像センサ
112 抽出処理部
210 CPU
211 ROM
212 RAM

Claims (11)

  1. 付加情報が埋め込まれた印刷物を、内蔵カメラを用いて撮影することで前記付加情報を読み取る情報処理装置であって、
    第1の条件で前記印刷物を撮影することで得られる第1撮影画像と、前記第1の条件とは異なる第2の条件で前記印刷物を撮影することで得られる第2撮影画像を取得する制御手段と、
    前記第1撮影画像と前記第2撮影画像を解析して前記付加情報を抽出する抽出手段と、
    を備えたことを特徴とする情報処理装置。
  2. 前記制御手段は、前記抽出手段において前記第1撮影画像から前記付加情報の抽出に成功した場合に前記第2撮影画像を取得せず、
    前記制御手段は、前記抽出手段において前記第1撮影画像から前記付加情報の抽出に成功しなかった場合に前記第1撮影条件を前記第2撮影条件に変更して前記第2撮影画像を再取得し、前記抽出手段は、前記第1撮影画像と前記第2撮影画像を解析して前記付加情報を抽出することを特徴とする請求項1に記載の情報処理装置。
  3. 前記付加情報は複数のデータ部で構成されており、
    前記第1撮影画像のブロック内の第1の位置に配置された第1データ部が取得され、かつ、前記所定のブロック内の第2の位置に配置された第2データ部が取得されない場合、前記抽出手段は、前記第2撮影画像のブロック内の前記第2の位置に配置された前記第2データを抽出し、前記第1撮影画像から取得された前記第1データ部と、前記第2撮影画像から取得された前記第2データ部を合成することで、前記付加情報を抽出することを特徴とする請求項1に記載の情報処理装置。
  4. 前記制御手段は、前記撮影条件を変更しながら連写あるいは動画による撮影を行なって前記印刷物の撮影画像を取得し、
    前記抽出手段は、連写によって得られた複数のスチール画像又は動画像を構成する複数のフレーム画像を対象として前記抽出を行う、
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 前記制御手段は、前記抽出手段において前記付加情報の抽出に成功しなかった場合に前記連写あるいは動画による撮影を再び行って前記印刷物の撮影画像を再取得し、
    前記抽出手段は、前記再取得に係る、連写によって得られた複数のスチール画像又は動画像を構成する複数のフレーム画像を対象として前記抽出を再び行う
    ことを特徴とする請求項4に記載の情報処理装置。
  6. 前記制御手段は、少なくとも2種類の撮影条件に従った撮影画像から合成画像を生成し、
    前記抽出手段は、前記合成画像を前記撮影画像として前記抽出を行う
    ことを特徴とする請求項1に記載する情報処理装置。
  7. 前記制御手段は、前記抽出手段において前記付加情報の抽出に成功しなかった場合に、撮影条件を変更して前記少なくとも2種類の撮影条件に従った撮影画像を再取得して前記合成画像を生成し、
    前記抽出手段は、前記再取得に係る撮影画像を基に生成された合成画像を対象に前記抽出を行う
    ことを特徴とする請求項6に記載の情報処理装置。
  8. 前記付加情報は、前記印刷物の画像情報に多重化されてブロック単位で繰り返し埋め込まれており、
    前記抽出手段は、前記ブロック単位で解析を行って前記撮影画像から前記付加情報を抽出する
    ことを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記撮影条件はフォーカス位置、ズーム倍率、露出、ホワイトバランス、前記内蔵カメラの画質モード、シャッタースピードの少なくとも1つであることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 付加情報が埋め込まれた印刷物を、内蔵カメラを用いて撮影することで前記付加情報を読み取る携帯型の情報処理装置の制御方法であって、
    前記撮影を行う際の撮影条件を変更して、前記印刷物の撮影画像を取得するステップと、
    前記撮影画像を解析して前記付加情報を抽出するステップと、
    を含むことを特徴とする制御方法。
    付加情報が埋め込まれた印刷物を、内蔵カメラを用いて撮影することで前記付加情報を読み取る情報処理装置の制御方法であって、
    第1の条件で前記印刷物を撮影することで得られる第1撮影画像と、前記第1の条件とは異なる第2の条件で前記印刷物を撮影することで得られる第2撮影画像を取得するステップと、
    前記第1撮影画像と前記第2撮影画像を解析して前記付加情報を抽出するステップと、
    を含むことを特徴とする制御方法。
  11. コンピュータを、請求項1乃至9のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
JP2017126735A 2017-06-28 2017-06-28 情報処理装置、その制御方法およびプログラム Active JP6907047B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017126735A JP6907047B2 (ja) 2017-06-28 2017-06-28 情報処理装置、その制御方法およびプログラム
EP18174571.2A EP3422690B1 (en) 2017-06-28 2018-05-28 Information processing apparatus, control method thereof, and program
US16/010,683 US10992837B2 (en) 2017-06-28 2018-06-18 Information processing apparatus, control method thereof, and storage medium
CN201810683933.3A CN109151244B (zh) 2017-06-28 2018-06-28 移动信息处理装置、其控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017126735A JP6907047B2 (ja) 2017-06-28 2017-06-28 情報処理装置、その制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019009743A true JP2019009743A (ja) 2019-01-17
JP6907047B2 JP6907047B2 (ja) 2021-07-21

Family

ID=62620628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017126735A Active JP6907047B2 (ja) 2017-06-28 2017-06-28 情報処理装置、その制御方法およびプログラム

Country Status (4)

Country Link
US (1) US10992837B2 (ja)
EP (1) EP3422690B1 (ja)
JP (1) JP6907047B2 (ja)
CN (1) CN109151244B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021054422A (ja) * 2019-09-27 2021-04-08 トキコシステムソリューションズ株式会社 燃料荷卸しシステムおよび燃料荷卸し方法
JP2021097270A (ja) * 2019-12-13 2021-06-24 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6679540B2 (ja) * 2017-06-28 2020-04-15 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法、プログラム、および記憶媒体
CN111212196B (zh) * 2020-01-13 2022-04-05 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007015452A1 (ja) * 2005-08-04 2007-02-08 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム
JP2007068098A (ja) * 2005-09-02 2007-03-15 Fuji Xerox Co Ltd 画像処理方法および画像処理装置
JP2016063262A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 画像処理装置、及び、画像処理方法
JP2017073653A (ja) * 2015-10-06 2017-04-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP2017073652A (ja) * 2015-10-06 2017-04-13 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801636B2 (en) 2000-01-31 2004-10-05 Canon Kabushiki Kaisha Image processing apparatus and method, and storage medium
EP1122939A3 (en) * 2000-01-31 2003-08-27 Canon Kabushiki Kaisha Image processing system
JP4218920B2 (ja) 2000-04-07 2009-02-04 キヤノン株式会社 画像処理装置及び画像処理方法並びに記憶媒体
JP2002190945A (ja) * 2000-10-12 2002-07-05 Canon Inc 情報処理装置及びその制御方法及び記憶媒体
JP4395689B2 (ja) * 2001-02-09 2010-01-13 コニカミノルタホールディングス株式会社 画像データ処理方法およびモデリング装置
US20030210803A1 (en) 2002-03-29 2003-11-13 Canon Kabushiki Kaisha Image processing apparatus and method
US7090132B2 (en) * 2002-06-11 2006-08-15 Hand Held Products, Inc. Long range optical reader
JP3888549B2 (ja) 2003-06-30 2007-03-07 日本電信電話株式会社 電子透かし検出システム
US20050248681A1 (en) * 2004-05-07 2005-11-10 Nikon Corporation Digital camera
JP5046542B2 (ja) * 2006-03-31 2012-10-10 キヤノン株式会社 データ処理装置及びその方法、並びに、情報処理装置及びその方法
BRPI0812782B1 (pt) 2007-05-31 2019-01-22 Panasonic Corp aparelho de captura de imagem, aparelho de provisão de informação adicional e método para uso em um aparelho de provisão de informação adicional
US10102583B2 (en) * 2008-01-18 2018-10-16 Mitek Systems, Inc. System and methods for obtaining insurance offers using mobile image capture
US8855819B2 (en) * 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
US8857719B2 (en) * 2012-01-15 2014-10-14 Symbol Technologies, Inc. Decoding barcodes displayed on cell phone
US9313360B2 (en) * 2014-07-30 2016-04-12 Hewlett-Packard Development Company, L.P. Encoding data in an image
US9961231B2 (en) * 2015-10-06 2018-05-01 Canon Kabushiki Kaisha Image processing method that attempts decoding of additional information using a plurality of decoding methods, and apparatus therefor
US10412265B2 (en) * 2015-10-06 2019-09-10 Canon Kabushiki Kaisha Information processing apparatus that displays a prompt to move the apparatus and information processing method
JP6919982B2 (ja) * 2017-05-09 2021-08-18 株式会社キーエンス 画像検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007015452A1 (ja) * 2005-08-04 2007-02-08 Nippon Telegraph And Telephone Corporation 電子透かし埋め込み方法、電子透かし埋め込み装置、電子透かし検出方法、電子透かし検出装置、及びプログラム
JP2007068098A (ja) * 2005-09-02 2007-03-15 Fuji Xerox Co Ltd 画像処理方法および画像処理装置
JP2016063262A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 画像処理装置、及び、画像処理方法
JP2017073653A (ja) * 2015-10-06 2017-04-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP2017073652A (ja) * 2015-10-06 2017-04-13 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021054422A (ja) * 2019-09-27 2021-04-08 トキコシステムソリューションズ株式会社 燃料荷卸しシステムおよび燃料荷卸し方法
JP2021097270A (ja) * 2019-12-13 2021-06-24 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7458766B2 (ja) 2019-12-13 2024-04-01 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、プログラムおよび記憶媒体

Also Published As

Publication number Publication date
EP3422690B1 (en) 2022-05-18
CN109151244B (zh) 2021-04-13
JP6907047B2 (ja) 2021-07-21
US10992837B2 (en) 2021-04-27
EP3422690A1 (en) 2019-01-02
US20190007579A1 (en) 2019-01-03
CN109151244A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
JP6322099B2 (ja) 画像処理装置、及び、画像処理方法
JP5423893B2 (ja) 撮像装置、画像処理装置、画像処理プログラム記録媒体
JP6386841B2 (ja) 画像処理装置、プログラム、画像処理システム、及び、画像処理方法
EP1432232B1 (en) Image metadata processing system and method
JP6397284B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6907047B2 (ja) 情報処理装置、その制御方法およびプログラム
JP2008022240A (ja) 撮影装置,画像処理装置、及び画像ファイル生成方法,画像処理方法、並びに画像処理プログラム
JP2007074579A (ja) 画像処理装置、及びプログラム
JP2007074578A (ja) 画像処理装置、撮影装置、及びプログラム
JP2016063324A (ja) 画像処理装置、画像処理方法及びプログラム
JP6643854B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2014123881A (ja) 情報処理装置、情報処理方法、コンピュータプログラム
US10033904B2 (en) Information processing apparatus for multiplexing information in an image, information processing method, and storage medium storing program
JP2010026734A (ja) 画像処理装置およびその方法
JP6909055B2 (ja) 情報処理装置、制御方法及びプログラム
JP6952499B2 (ja) 情報処理装置及びプログラム
JP6976734B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2006115128A1 (ja) 電子透かし埋め込み装置及び検出装置、同方法、同プログラム及び同集積回路装置
JP2017073649A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP7463087B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2007174107A (ja) 電子透かし埋め込み方法及び装置及びプログラム及び電子透かし検出方法及び装置及びプログラム
JP7458766B2 (ja) 情報処理装置、情報処理装置の制御方法、プログラムおよび記憶媒体
JP6664179B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7182858B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2007129442A (ja) 画像処理装置及び画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210630

R151 Written notification of patent or utility model registration

Ref document number: 6907047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151