JP2022097928A - 撮像装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】第一の画像と合成して合成画像を生成するための画像の撮像操作を、第一の画像と撮像された画像とを合成した合成画像が表示された状態で受ける。【解決手段】画像を撮像する撮像部と、第一の画像と、前記撮像部によって撮像された第二の画像と、を合成した第一の合成画像を表示する合成画像表示部と、前記第一の画像と合成して第二の合成画像を生成するための第三の画像の撮像操作を、前記第一の合成画像が表示された状態で受ける撮像操作受付部と、を備える撮像装置である。【選択図】図４

Description

本発明は、撮像装置、撮像方法およびプログラムに関する。

二次元コードの画像と他の画像とを合成する技術が知られている。例えば、特許文献１には、ユーザが任意の画像に二次元コードを画像として合成する際に、二次元コードの画像と他の画像とを重ねて表示し、合成する位置を指定する操作を受けて、指定された位置で画像を合成する画像生成装置が開示されている。

しかしながら、従来の技術では、第一の画像と合成して合成画像を生成するための画像の撮像操作を受ける際には、第一の画像と撮像された画像とを合成した合成画像を表示していないという問題がある。ユーザが、合成画像が表示されていない状態で、合成画像を生成するための画像の撮像操作を行うと、生成された合成画像に満足するまで撮像と合成画像の生成とを繰り返す必要が生じるなど、ユーザの作業の負担が大きくなるおそれがある。

開示の技術は、第一の画像と合成して合成画像を生成するための画像の撮像操作を、第一の画像と撮像された画像とを合成した合成画像が表示された状態で受けることを目的とする。

開示の技術は、画像を撮像する撮像部と、第一の画像と、前記撮像部によって撮像された第二の画像と、を合成した第一の合成画像を表示する合成画像表示部と、前記第一の画像と合成して第二の合成画像を生成するための第三の画像の撮像操作を、前記第一の合成画像が表示された状態で受ける撮像操作受付部と、を備える撮像装置である。

第一の画像と合成して合成画像を生成するための画像の撮像操作を、第一の画像と撮像された画像とを合成した合成画像が表示された状態で受けることができる。

画像形成システムのシステム構成の一例を示す図である。 撮像装置のハードウェア構成の一例を示す図である。 画像形成装置のハードウェア構成の一例を示す図である。 第一の実施形態に係る撮像装置の機能の一例を示す図である。 第一の実施形態に係る撮像処理のフローの一例を示す図である。 第一の実施形態に係る第一の画像の撮像について説明するための図である。 第一の実施形態に係る第二の画像および第三の画像の撮像について説明するための図である。 第二の実施形態に係る撮像処理のフローの一例を示す図である。 第二の実施形態に係る第一の画像の撮像について説明するための図である。 第二の実施形態に係る第二の画像および第三の画像の撮像について説明するための図である。 第三の実施形態に係る撮像装置の機能の一例を示す図である。 第三の実施形態に係る第二の画像および第三の画像の撮像について説明するための図である。

（第一の実施形態）
以下に、図面を参照して、本発明に係る撮像装置を含む画像形成システムの実施の形態について説明する。

図１は、画像形成システムのシステム構成の一例を示す図である。

画像形成システム１は、撮像装置１０と、画像形成装置２０と、を備える。撮像装置１０および画像形成装置２０は、通信ネットワーク３０を介して通信可能に接続されている。

撮像装置１０は、撮像機能を有する装置であって、例えば、デジタルカメラまたはスマートフォン等である。撮像装置１０は、撮像した複数の画像を合成した合成画像を生成し、生成された合成画像を示すデータを画像形成装置２０に送信する。例えば、撮像装置１０は、電車の切符として使用するための風景の画像およびＱＲコード（登録商標）の画像を撮像して合成し、生成された合成画像を示すデータを画像形成装置２０に送信する。

画像形成装置２０は、撮像装置１０から受信したデータに基づいて、画像を形成する。例えば、画像形成装置２０は、電車の切符を印刷するために、撮像装置１０によって撮像され、合成された風景の画像およびＱＲコード（登録商標）の画像を、印刷用紙に印刷する。

図２は、撮像装置のハードウェア構成の一例を示す図である。

撮像装置１０は、コンピュータによって構築されており、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ１０４、ＣＭＯＳセンサ１０５、撮像素子Ｉ／Ｆ１０６、加速度・方位センサ１０７、メディアＩ／Ｆ１０９およびＧＰＳ受信部１１１を備えている。

これらのうち、ＣＰＵ１０１は、撮像装置１０全体の動作を制御する。ＲＯＭ１０２は、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラム等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＥＥＰＲＯＭ１０４は、ＣＰＵ１０１の制御にしたがって、撮像装置用プログラム等の各種データの読み出し又は書き込みを行う。

ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ１０５は、ＣＰＵ１０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。

撮像素子Ｉ／Ｆ１０６は、ＣＭＯＳセンサ１０５の駆動を制御する回路である。加速度・方位センサ１０７は、地磁気を検知する電子磁気コンパス、ジャイロコンパスまたは加速度センサ等の各種センサである。メディアＩ／Ｆ１０９は、フラッシュメモリ等の記録メディア１０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部１１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、撮像装置１０は、遠距離通信回路１１２、ＣＭＯＳセンサ１１３、撮像素子Ｉ／Ｆ１１４、マイク１１５、スピーカ１１６、音入出力Ｉ／Ｆ１１７、ディスプレイ１１８、外部機器接続Ｉ／Ｆ(Interface)１１９、近距離通信回路１２０、近距離通信回路１２０のアンテナ１２０ａ、及びタッチパネル１２１を備えている。

これらのうち、遠距離通信回路１１２は、無線通信によって、通信ネットワーク３０を介して画像形成装置２０と通信する回路である。ＣＭＯＳセンサ１１３は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ１１４は、ＣＭＯＳセンサ１１３の駆動を制御する回路である。

マイク１１５は、音を電気信号に変える内蔵型の回路である。スピーカ１１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ１１７は、ＣＰＵ１０１の制御に従ってマイク１１５及びスピーカ１１６との間での音信号の入出力を処理する回路である。

ディスプレイ１１８は、被写体の画像や各種アイコン等を表示する液晶または有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ１１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路１２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル１２１は、利用者がディスプレイ１１８を押下することで、撮像装置１０を操作する入力手段の一種である。

また、撮像装置１０は、バスライン１１０を備えている。バスライン１１０は、図２に示されているＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。

図３は、画像形成装置のハードウェア構成の一例を示す図である。

画像形成装置２０は、コントローラ２１０、近距離通信回路２２０、エンジン制御部２３０、操作パネル２４０およびネットワークＩ／Ｆ２５０を備えている。

これらのうち、コントローラ２１０は、コンピュータの主要部であるＣＰＵ（Central Processing Unit）２０１、システムメモリ（ＭＥＭ－Ｐ）２０２、ノースブリッジ（ＮＢ）２０３、サウスブリッジ（ＳＢ）２０４、ＡＳＩＣ(Application Specific Integrated Circuit)２０６、記憶部であるローカルメモリ（ＭＥＭ－Ｃ）２０７、ＨＤＤ(Hard Disk Drive)コントローラ２０８、及び、記憶部であるＨＤ２０９を有する。

また、ＮＢ２０３とＡＳＩＣ２０６との間は、ＡＧＰ(Accelerated Graphics Port)バス２２１で接続されている。

これらのうち、ＣＰＵ２０１は、画像形成装置２０の全体制御を行う制御部である。ＮＢ２０３は、ＣＰＵ２０１と、ＭＥＭ－Ｐ２０２、ＳＢ２０４、及びＡＧＰバス２２１とを接続するためのブリッジである。ＮＢ２０３は、ＭＥＭ－Ｐ２０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ(Peripheral Component Interconnect)マスタ及びＡＧＰターゲットとを有する。

ＭＥＭ－Ｐ２０２は、コントローラ２１０の各機能を実現させるプログラムやデータの格納用メモリであるＲＯＭ２０２ａと、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ２０２ｂと、を含む。なお、ＲＡＭ２０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

ＳＢ２０４は、ＮＢ２０３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。ＡＳＩＣ２０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ(Integrated Circuit)であり、ＡＧＰバス２２１、ＰＣＩバス２２２、ＨＤＤコントローラ２０８およびＭＥＭ－Ｃ２０７をそれぞれ接続するブリッジの役割を有する。

ＡＳＩＣ２０６は、ＰＣＩターゲットおよびＡＧＰマスタ、ＡＳＩＣ２０６の中核をなすアービタ（ＡＲＢ）、ＭＥＭ－Ｃ２０７を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ(Direct Memory Access Controller)、並びに、スキャナ部２３１及びプリンタ部２３２との間でＰＣＩバス２２２を介したデータ転送を行うＰＣＩユニットを含む。なお、ＡＳＩＣ２０６には、ＵＳＢ(Universal Serial Bus)のインターフェース、ＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394）等のインターフェースによって接続するようにしてもよい。

ＭＥＭ－Ｃ２０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。ＨＤ２０９は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積等を行うためのストレージである。ＨＤ２０９は、ＣＰＵ２０１の制御にしたがってＨＤ２０９に対するデータの読み出し又は書き込みを制御する。

ＡＧＰバス２２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースである。ＡＧＰバス２２１は、ＭＥＭ－Ｐ２０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。

また、近距離通信回路２２０は、近距離通信アンテナ２２０ａを備える。近距離通信回路２２０は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

更に、エンジン制御部２３０は、スキャナ部２３１及びプリンタ部２３２によって構成されている。また、操作パネル２４０は、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等のパネル表示部２４０ａと、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなる操作キー２４０ｂと、を備える。

コントローラ２１０は、画像形成装置２０の全体の制御を行い、例えば、描画、通信、操作パネル２４０からの入力等を制御する。スキャナ部２３１又はプリンタ部２３２は、誤差拡散、ガンマ変換などの画像処理を実行する。

また、ネットワークＩ／Ｆ２５０は、通信ネットワーク３０を利用してデータ通信をするためのインターフェースである。近距離通信回路２２０及びネットワークＩ／Ｆ２５０は、ＰＣＩバス２２２を介して、ＡＳＩＣ２０６に電気的に接続されている。

次に、各装置の機能について、図面を参照して説明する。

図４は、第一の実施形態に係る撮像装置の機能の一例を示す図である。

撮像装置１０は、撮像部１１と、画像二値化部１２と、合成画像表示部１３と、撮像操作受付部１４と、合成画像生成部１５と、合成画像出力部１６と、記憶部１７と、を備える。

撮像部１１は、画像を撮像する。具体的には、撮像部１１は、第一の画像、第二の画像および第三の画像を撮像する。これらのうち、第一の画像は、風景等の画像である。撮像部１１は、第一の画像を撮像し、第一の画像を示すデータを記憶部１７に記憶させる。また、第二の画像および第三の画像は、二次元コード等の画像である。第二の画像は、第三の画像を撮像するために使用される。第三の画像は、画像形成装置２０によって形成される画像の素材となる画像である。

撮像部１１は、続く第三の画像の撮像操作を受けるまで、第二の画像を繰り返し撮像する。また、撮像部１１は、撮像操作受付部１４が撮像操作を受けると、第三の画像を撮像する。

撮像部１１は、ＣＰＵ１０１がＲＯＭ１０２又はＥＥＰＲＯＭ１０４等に格納されたプログラムに規定された処理を実行し、撮像素子Ｉ／Ｆ１０６または撮像素子Ｉ／Ｆ１１４等を制御することによって実現される。

画像二値化部１２は、撮像部１１によって撮像された画像を二値化する。具体的には、画像二値化部１２は、撮像部１１によって撮像された第二の画像および第三の画像を二値化する。二値化された画像は、例えば、値が０の画素と、値が１の画素とによって構成される。

画像二値化部１２は、ＣＰＵ１０１がＲＯＭ１０２又はＥＥＰＲＯＭ１０４等に格納されたプログラムに規定された処理を実行することによって実現される。

合成画像表示部１３は、第一の画像と、撮像部１１によって撮像された第二の画像と、を合成した合成画像（第一の合成画像）を表示する。具体的には、合成画像表示部１３は、記憶部１７が記憶する第一の画像と、撮像部１１によって繰り返し撮像される第二の画像と、を合成して表示する。合成画像表示部１３は、続く第三の画像の撮像操作を受けるまで、この処理を繰り返し実行する。

合成画像表示部１３は、ＣＰＵ１０１がＲＯＭ１０２又はＥＥＰＲＯＭ１０４等に格納されたプログラムに規定された処理を実行し、ディスプレイ１１８等を制御することによって実現される。

撮像操作受付部１４は、第一の画像と合成して第二の合成画像を生成するための第三の画像の撮像操作を、第一の合成画像が表示された状態で受ける。これによって、ユーザは、第一の合成画像を見ながら、第三の画像を撮像するための撮像位置、画角等を調整して撮像操作を行うことができる。

撮像操作受付部１４は、ＣＰＵ１０１がＲＯＭ１０２又はＥＥＰＲＯＭ１０４等に格納されたプログラムに規定された処理を実行し、タッチパネル１２１等を制御することによって実現される。

合成画像生成部１５は、撮像操作を受けた際に撮像部１１によって撮像された第三の画像と、第一の画像と、を合成した合成画像（第二の合成画像）を生成する。記憶部１７は、生成された第二の合成画像を示すデータを記憶しても良い。

合成画像生成部１５は、ＣＰＵ１０１がＲＯＭ１０２又はＥＥＰＲＯＭ１０４等に格納されたプログラムに規定された処理を実行することによって実現される。

合成画像出力部１６は、第二の合成画像を示すデータを画像形成装置２０に送信する。

合成画像出力部１６は、ＣＰＵ１０１がＲＯＭ１０２又はＥＥＰＲＯＭ１０４等に格納されたプログラムに規定された処理を実行し、遠距離通信回路１１２等を制御することによって実現される。

記憶部１７は、後述する各種の処理に使用される各種のデータを記憶する。例えば、記憶部１７は、撮像部１１によって撮像された第一の画像を示すデータを記憶する。また、記憶部１７は、合成画像生成部１５によって生成された第二の合成画像を示すデータを記憶しても良い。

記憶部１７は、ＣＰＵ１０１がＲＯＭ１０２又はＥＥＰＲＯＭ１０４等に格納されたプログラムに規定された処理を実行し、ＲＯＭ１０２又はＥＥＰＲＯＭ１０４等を制御することによって実現される。

次に、画像形成システム１の動作について、図面を参照して説明する。

図５は、第一の実施形態に係る撮像処理のフローの一例を示す図である。

本実施形態に係る撮像装置１０が起動するか、または専用のアプリケーションプログラム等を呼び出すと、撮像処理を開始する。撮像部１１は、ユーザの操作を受けて、風景等の第一の画像（静止画）を撮像する（ステップＳ１０１）。そして、記憶部１７は、第一の画像を記憶する（ステップＳ１０２）。

図６は、第一の実施形態に係る第一の画像の撮像について説明するための図である。

第一の画像９０１は、風景等の被写体８０１を撮像した画像である。ユーザの撮像操作を受けて、撮像部１１は、撮像処理のステップＳ１０１において、風景等の被写体８０１を撮像する。記憶部１７は、撮像処理のステップＳ１０２において、第一の画像９０１を示すデータを記憶する。第一の画像９０１は、例えば、ＲＧＢまたはＣＭＹＫ等のカラー形式の画像である。撮像装置１０は、図６に示すように、第一の画像９０１を表示しても良い。

図５に戻り、第一の画像（静止画）を撮像すると、撮像部１１は、二次元コード等の第二の画像を撮像する（ステップＳ１０３）。画像二値化部１２は、第二の画像を二値化する（ステップＳ１０４）。合成画像表示部１３は、第一の画像と第二の画像とを合成した第一の合成画像を表示する（ステップＳ１０５）。

次に、撮像操作受付部１４は、第三の画像の撮像操作を受けたか否かを判定する（ステップＳ１０６）。撮像操作受付部１４が、第三の画像の撮像操作を受けていないと判定すると（ステップＳ１０６：Ｎｏ）、ステップＳ１０３の処理に戻り、撮像部１１は、二次元コード等の第二の画像を撮像する。

なお、撮像装置１０は、ステップＳ１０３の処理にすぐに戻って実行しても良いし、ステップＳ１０３の処理を、あらかじめ規定された間隔、例えば１秒ごと、に実行しても良い。

例えば、撮像部１１は、いわゆるライブビューモードとして、繰り返し第二の画像を撮像する。その場合、画像二値化部１２および合成画像表示部１３は、リアルタイムに二値化処理および表示処理を実行する。これによって、撮像装置１０は、ユーザの操作を受けることなく、第二の画像の撮像と、第一の合成画像の表示と、を繰り返し、リアルタイムに実行する。

撮像操作受付部１４が、第三の画像の撮像操作を受けたと判定すると（ステップＳ１０６：Ｙｅｓ）、撮像部１１は、第三の画像を撮像する（ステップＳ１０７）。

図７は、第一の実施形態に係る第二の画像および第三の画像の撮像について説明するための図である。

第二の画像９０２は、二次元コード等の被写体８０２を撮像した画像である。ユーザの撮像操作を受けて、撮像部１１は、撮像処理のステップＳ１０３において、二次元コード等の被写体８０２を撮像する。画像二値化部１２は、撮像処理のステップＳ１０４において、第二の画像９０２を二値化する。合成画像表示部１３は、撮像処理のステップＳ１０５において、第一の画像９０１と第二の画像９０２とを合成した第一の合成画像を表示する。

具体的には、例えば、画像二値化部１２は、第二の画像９０２を示すデータとして、画素毎に０（第一の値の一例）と１（第二の値の一例）のいずれかの値を割り当てる。そして、合成画像表示部１３は、二値化された第二の画像９０２のうち、値が０（第一の値）の画素との合成後の画素を第一の画像９０１の画素値として表示し、値が１（第二の値）の画素との合成後の画素を黒色として表示する。

なお、黒色とは、例えばＲＧＢ形式の赤（Ｒ）、緑（Ｇ）および青（Ｂ）の輝度を０から２５５の数値で表された画像データの場合、（Ｒ，Ｇ，Ｂ）＝（０，０，０）によって表される色である。これによって、合成画像表示部１３は、第一の画像９０１に重なるように、バーコードまたはＱＲコード（登録商標）等の二次元コードを黒色で表示する。

上述のように、撮像操作受付部１４が撮像操作を受けるまで、撮像部１１、画像二値化部１２および合成画像表示部１３は、撮像処理のステップＳ１０３からステップＳ１０５の処理を繰り返し実行する。これによって、ユーザは、表示された第一の合成画像を確認しながら、被写体８０２を撮像した画像が適切な位置、大きさで合成されるように、撮像装置１０自体を動かすか、またはズーム機能等によって拡大率を調節して、撮像操作を行うことができる。

図５に戻り、画像二値化部１２は、第三の画像を二値化する（ステップＳ１０８）。合成画像生成部１５は、第一の画像と第三の画像とを合成した第二の合成画像を生成する（ステップＳ１０９）。ここで、第三の画像は、第二の画像とほとんど同じものであるが、第二の画像に基づいて第一の合成画像が表示された状態で、ユーザが撮影操作を行ったことによって撮影された画像である点が、第二の画像と異なる。すなわち、第二の画像は、第一の合成画像として表示するために使用される画像である。それに対して、第三の画像は、後述する処理において画像形成装置２０に送信する第二の合成画像の生成に使用される画像である。

また、合成画像生成部１５は、二値化された第三の画像を特色として合成する。特色とは、透明色、金属色、蛍光色等の特色インクまたは特色トナー等を使用して印刷される色である。特色によって、ＲＧＢまたはＣＭＹＫ等の一般的なプロセスカラーのみでは不可能な特殊な表現が可能となる。

合成画像生成部１５は、第三の画像のうち、値が０（第一の値）の画素との合成後の画素を第一の画像９０１の画素値となるように合成し、値が１（第二の値）の画素との合成後の画素を黒色の特色指定の画素となるように合成した第二の合成画像を生成する。ここで、黒色の特色指定の画素は、画像形成装置２０によって、ＩＲインクまたはＩＲトナー等を使用して印刷される。ＩＲインクまたはＩＲトナーは、赤外線を透過する性質を有し、赤外線センサ等によって読み取ることができる。

次に、合成画像出力部１６は、第二の合成画像を示すデータを画像形成装置２０に送信する（ステップＳ１１０）。これによって、画像形成装置２０は、受信したデータに基づいて、第二の合成画像を所定の印刷用紙等に印刷する。ここで、画像形成装置２０は、黒色の特色として指定された画素をＩＲインクまたはＩＲトナー等を使用して印刷する。

本実施形態に係る撮像装置１０によれば、第一の画像と合成して第二の合成画像を生成するための第三の画像の撮像操作を、第一の合成画像が表示された状態で受けることができる。第二の画像を撮像した状態のまま、撮像装置１０および被写体８０２が保たれていれば、第二の画像と第三の画像とはほぼ同じ画像となる。すなわち、表示された第一の合成画像は、撮像する画像（第三の画像）と第一の画像とが合成される位置、大きさ等の参考となる。

これによって、ユーザは、合成の対象となる第三の画像の撮像の際に、撮像する画像と他の画像（第一の画像）とが合成される位置、大きさ等を想像でき、合成された画像に満足できるまで撮像と合成を繰り返す必要が無く、作業の負担が軽減される。

また、本実施形態に係る撮像装置１０によれば、第二の画像を二値化して表示し、第三の画像を特色として合成する。したがって、ユーザは、使用方法等の制約により、画像における二次元コード等の位置が決まっていない場合には、先に風景等を撮像し、後から二次元コード等の撮像をすることによって、風景等の画像における二次元コード等の位置を後から決めることができる。

（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態は、二値化の対象および特色として合成する対象が第一の画像である点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点を中心に説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図８は、第二の実施形態に係る撮像処理のフローの一例を示す図である。

本実施形態に係る撮像装置１０が撮像処理を開始すると、撮像部１１は、ユーザの操作を受けて、二次元コード等の第一の画像を撮像する（ステップＳ２０１）。そして、画像二値化部１２は、第一の画像を二値化する（ステップＳ２０２）。記憶部１７は、第一の画像を記憶する（ステップＳ２０３）。

図９は、第二の実施形態に係る第一の画像の撮像について説明するための図である。

第一の画像９０３は、二次元コード等の被写体８０３を撮像した画像である。ユーザの撮像操作を受けて、撮像部１１は、撮像処理のステップＳ２０１において、風景等の被写体８０３を撮像する。画像二値化部１２は、撮像処理のステップＳ２０３において、第一の画像９０３を二値化する。例えば、画像二値化部１２は、第一の画像９０３を示すデータとして、画素毎に０（第一の値）と１（第二の値）のいずれかの値を割り当てる。

記憶部１７は、撮像処理のステップＳ２０３において、第一の画像９０３を示すデータを記憶する。撮像装置１０は、図９に示すように、第一の画像９０３を表示しても良い。

図８に戻り、撮像部１１は、風景等の第二の画像を撮像する（ステップＳ２０４）。合成画像表示部１３は、第一の画像と第二の画像とを合成した第一の合成画像を表示する（ステップＳ２０５）。

次に、撮像操作受付部１４は、第三の画像の撮像操作を受けたか否かを判定する（ステップＳ２０６）。撮像操作受付部１４が、第三の画像の撮像操作を受けていないと判定すると（ステップＳ２０６：Ｎｏ）、ステップＳ２０４の処理に戻り、撮像部１１は、風景等の第二の画像を撮像する。

なお、撮像装置１０は、第一の実施形態と同様に、ステップＳ２０４の処理にすぐに戻って実行しても良いし、ステップＳ２０４の処理を、あらかじめ規定された間隔、例えば１秒ごと、に実行しても良い。

例えば、撮像部１１は、第一の実施形態と同様に、いわゆるライブビューモードとして、繰り返し第二の画像を撮像する。その場合、合成画像表示部１３は、リアルタイムに表示処理を実行する。これによって、撮像装置１０は、ユーザの操作を受けることなく、第二の画像の撮像と、第一の合成画像の表示と、を繰り返し、リアルタイムに実行する。

撮像操作受付部１４が、第三の画像の撮像操作を受けたと判定すると（ステップＳ２０６：Ｙｅｓ）、撮像部１１は、第三の画像を撮像する（ステップＳ２０７）。

図１０は、第二の実施形態に係る第二の画像および第三の画像の撮像について説明するための図である。

第二の画像９０４は、風景等の被写体８０４を撮像した画像である。ユーザの撮像操作を受けて、撮像部１１は、撮像処理のステップＳ２０４において、風景等の被写体８０４を撮像する。合成画像表示部１３は、撮像処理のステップＳ２０５において、第一の画像９０３と第二の画像９０４とを合成した第一の合成画像を表示する。

具体的には、例えば、合成画像表示部１３は、二値化された第一の画像９０３のうち、値が０（第一の値）の画素との合成後の画素を第二の画像９０４の画素値として表示し、値が１（第二の値）の画素との合成後の画素を黒色として表示する。これによって、合成画像表示部１３は、第一の画像９０３に重なるように、バーコードまたはＱＲコード（登録商標）等の二次元コードを黒色で表示する。

上述のように、撮像操作受付部１４が撮像操作を受けるまで、撮像部１１および合成画像表示部１３は、撮像処理のステップＳ２０４からステップＳ２０５の処理を繰り返し実行する。これによって、ユーザは、表示された第一の合成画像を確認しながら、被写体８０４を撮像した画像が適切な位置、大きさで合成されるように、撮像装置１０自体を動かすか、またはズーム機能等によって拡大率を調節して、撮像操作を行うことができる。

図８に戻り、合成画像生成部１５は、第一の画像と第三の画像とを合成した第二の合成画像を生成する（ステップＳ２０８）。ここで、第一の実施形態において二値化された第三の画像を特色として合成するのと同様に、合成画像生成部１５は、二値化された第一の画像を特色として合成する。具体的には、合成画像生成部１５は、第一の画像のうち、値が０（第一の値）の画素との合成後の画素を第三の画像の画素値となるように合成し、値が１（第二の値）の画素との合成後の画素を黒色の特色指定の画素となるように合成した第二の合成画像を生成する。

次に、合成画像出力部１６は、第二の合成画像を示すデータを画像形成装置２０に送信する（ステップＳ２０９）。これによって、画像形成装置２０は、受信したデータに基づいて、第二の合成画像を所定の印刷用紙等に印刷する。ここで、画像形成装置２０は、第一の実施形態と同様に、黒色の特色として指定された画素をＩＲインクまたはＩＲトナー等を使用して印刷する。

本実施形態に係る撮像装置１０によれば、第一の実施形態と同様に、第一の画像と合成して第二の合成画像を生成するための第三の画像の撮像操作を、第一の合成画像が表示された状態で受けることができる。

また、本実施形態に係る撮像装置１０によれば、最初に撮像した第一の画像を二値化して表示し、第一の画像を特色として合成する。したがって、ユーザは、使用方法等の制約により、画像における二次元コード等の位置が決まっている場合には、先に二次元コード等の撮像をすることによって、風景などの被写体の位置を後から決めることができる。

（第三の実施形態）
以下に図面を参照して、第三の実施形態について説明する。第三の実施形態は、警告を表示する警告表示部と、閾値を設定する操作を受け付ける設定受付部と、を備える点が、第一の実施形態と相違する。よって、以下の第三の実施形態の説明では、第一の実施形態との相違点を中心に説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図１１は、第三の実施形態に係る撮像装置の機能の一例を示す図である。

本実施形態に係る撮像装置１０は、第一の実施形態に係る構成に、設定受付部１８と警告表示部１９とを追加した構成を有する。

設定受付部１８は、後述する警告表示部１９による処理に使用される閾値を設定する操作を受け付ける。例えば、設定受付部１８は、設定されている閾値をディスプレイ１１８に表示し、タッチパネル１２１を介して、変更後の閾値の入力を受け付ける。なお、初期設定の閾値が設定されていても良く、最初に必ず入力させるようにしても良い。また、設定受付部１８は、複数の閾値の候補を選択肢として表示して、設定する閾値の選択を受けるようにしても良い。

設定受付部１８は、ＣＰＵ１０１がＲＯＭ１０２又はＥＥＰＲＯＭ１０４等に格納されたプログラムに規定された処理を実行し、ディスプレイ１１８およびタッチパネル１２１等を制御することによって実現される。

警告表示部１９は、第一の画像において、二値化された第二の画像の第二の値（例えば１）の画素と重なる画素または隣接する画素に、あらかじめ規定された閾値以上の色の濃さを有する画素が含まれる場合に、警告を表示する。閾値は、設定受付部１８によって設定された値である。

閾値以上の色の濃さとは、例えば、ＲＧＢ形式の赤、緑および青の輝度を０から２５５の数値で表された画像データの場合、赤、緑および青の輝度の平均値が閾値（例えば３０）以下の画素とする。この場合、輝度の数値が小さいほど色が濃いことになる。閾値である３０は、設定受付部１８によって設定される値である。

警告表示部１９は、ＣＰＵ１０１がＲＯＭ１０２又はＥＥＰＲＯＭ１０４等に格納されたプログラムに規定された処理を実行し、ディスプレイ１１８等を制御することによって実現される。

図５に示される撮像処理のステップＳ２０５において、警告表示部１９は、第一の画像において、二値化された第二の画像の第二の値の画素と重なる画素または隣接する画素に、あらかじめ規定された閾値以上の色の濃さを有する画素が含まれる場合に、警告を表示する。

図１２は、第三の実施形態に係る第二の画像および第三の画像の撮像について説明するための図である。

警告表示部１９は、第一の画像９０１において、二値化された第二の画像９０２の黒色の画素と重なる画素または隣接する画素に、閾値以上の色の濃さを有する画素が含まれる場合に、警告を表示する。具体的には、警告表示部１９は、ディスプレイ１１８の画面上にメッセージを表示しても良く、表示されている第一の合成画像における該当部分を明るい赤色などに発色表示しても良い。

黒色トナーまたは黒色インクは、ＩＲトナーまたはＩＲインクと同様に赤外線に反応してしまい、両者の区別がつかなくなる恐れがある。そこで、本実施形態に係る撮像装置１０によれば、第一の画像９０１において、二値化された第二の画像９０２の黒色の画素と重なる画素または隣接する画素に、閾値以上の色の濃さを有する画素が含まれないように、第三の画像を撮像することができる。

また、本実施形態に係る撮像装置１０によれば、閾値を設定することができるので、黒色トナーまたは黒色インクの赤外線に反応する度合いが異なっても、柔軟に対応することができる。

なお、本実施形態は、第二の実施形態と組み合わせても良い。具体的には、警告表示部１９は、図８に示した第二の実施形態に係る撮像処理のステップＳ２０５の処理として、本実施形態に示した処理と同様の処理を実行しても良い。すなわち、警告表示部１９は、第二の画像において、二値化された第一の画像の第二の値の画素と重なる画素または隣接する画素に、あらかじめ規定された閾値以上の色の濃さを有する画素が含まれる場合に、警告を表示しても良い。

このようにすれば、図１０に示した撮像時に、第二の画像９０４において、二値化された第一の画像９０３の黒色の画素と重なる画素または隣接する画素に、閾値以上の色の濃さを有する画素が含まれないように、第三の画像を撮像することができる。

上述した各実施形態において、第一の画像は、撮像部１１によって撮像された画像である例を示した。しかし、本発明の範囲はこれに限られず、第一の画像は、その他の画像、例えば他の装置等から受信した画像であっても良い。

上述した各実施形態において、合成画像出力部１６が、画像形成装置２０に第二の合成画像を示すデータを送信する例を示した。しかし、合成画像出力部１６は、第二の合成画像を示すデータを、フラッシュメモリまたはＳＤカード等のような外部記憶媒体に出力しても良い。その場合、ユーザ等は、出力された外部記憶媒体を他の装置または画像形成装置２０に挿入して、画像形成装置２０に印刷を実行させる。

ある実施形態では、撮像装置１０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施しても良い。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

また、上述した実施形態に係る撮像装置１０は、撮像機能があれば良く、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、遠隔会議装置、ＨＵＤ（Head Up Display）装置、産業機械、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、全天球パノラマ画像撮像装置、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１ 画像形成システム
２ 依頼者
３ 作業者
１０ 撮像装置
１１ 撮像部
１２ 画像二値化部
１３ 合成画像表示部
１４ 撮像操作受付部
１５ 合成画像生成部
１６ 合成画像出力部
１７ 記憶部
１８ 設定受付部
１９ 警告表示部
２０ 画像形成装置
３０ 通信ネットワーク

特開２００６－３０４２４７号公報

Claims (11)

1. 画像を撮像する撮像部と、
   第一の画像と、前記撮像部によって撮像された第二の画像と、を合成した第一の合成画像を表示する合成画像表示部と、
   前記第一の画像と合成して第二の合成画像を生成するための第三の画像の撮像操作を、前記第一の合成画像が表示された状態で受ける撮像操作受付部と、を備える、
   撮像装置。
2. 前記第三の画像を特色として前記第一の画像と合成した前記第二の合成画像を生成する合成画像生成部をさらに備える、
   請求項１に記載の撮像装置。
3. 前記第二の画像および前記第三の画像を二値化する画像二値化部をさらに備え、
   前記合成画像表示部は、二値化された前記第二の画像のうち、第一の値の画素との合成後の画素を前記第一の画像の画素値として表示し、第二の値の画素との合成後の画素を黒色として表示し、
   前記合成画像生成部は、前記第三の画像のうち、前記第一の値の画素との合成後の画素を前記第一の画像の画素値となるように合成し、前記第二の値の画素との合成後の画素を黒色の特色指定の画素となるように合成した前記第二の合成画像を生成する、
   請求項２に記載の撮像装置。
4. 前記第一の画像において、二値化された前記第二の画像の前記第二の値の画素と重なる画素または隣接する画素に、あらかじめ規定された閾値以上の色の濃さを有する画素が含まれる場合に、警告を表示する警告表示部をさらに備える、
   請求項３に記載の撮像装置。
5. 前記第一の画像を特色として前記第三の画像と合成した前記第二の合成画像を生成する合成画像生成部をさらに備える、
   請求項１に記載の撮像装置。
6. 前記第一の画像を二値化する画像二値化部をさらに備え、
   前記合成画像表示部は、二値化された前記第一の画像のうち、第一の値の画素との合成後の画素を前記第二の画像の画素値として表示し、第二の値の画素との合成後の画素を黒色として表示し、
   前記合成画像生成部は、二値化された前記第一の画像のうち、前記第一の値の画素との合成後の画素を前記第三の画像の画素値となるように合成し、前記第二の値の画素との合成後の画素を黒色の特色指定の画素となるように合成した前記第二の合成画像を生成する、
   請求項５に記載の撮像装置。
7. 前記第二の画像において、二値化された前記第一の画像の前記第二の値の画素と重なる画素または隣接する画素に、あらかじめ規定された閾値以上の色の濃さを有する画素が含まれる場合に、警告を表示する警告表示部をさらに備える、
   請求項６に記載の撮像装置。
8. 前記閾値を設定する操作を受け付ける設定受付部をさらに備える、
   請求項４または７に記載の撮像装置。
9. 前記撮像部および前記合成画像表示部は、前記撮像部による前記第二の画像の撮像処理と、前記合成画像表示部による前記第一の合成画像の表示処理と、を繰り返し実行する、
   請求項１から８のいずれか１項に記載の撮像装置。
10. 撮像装置が実行する方法であって、
    撮像部によって画像を撮像するステップと、
    第一の画像と、前記撮像部によって撮像された第二の画像と、を合成した第一の合成画像を表示するステップと、
    前記第一の画像と合成して第二の合成画像を生成するための第三の画像の撮像操作を、前記第一の合成画像が表示された状態で受けるステップと、を備える、
    撮像方法。
11. コンピュータに、
    撮像部によって画像を撮像するステップと、
    第一の画像と、前記撮像部によって撮像された第二の画像と、を合成した第一の合成画像を表示するステップと、
    前記第一の画像と合成して第二の合成画像を生成するための第三の画像の撮像操作を、前記第一の合成画像が表示された状態で受けるステップと、
    を実行させるためのプログラム。
    

Images