JP2014120924A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】画像処理装置において、文書を読み取り生成した電子データに対してオブジェクトを埋め込む操作が困難であった。
【解決手段】文書を光学的に読み取り、所定のファイルフォーマットに従って電子化し、電子化により得られた画像データにオブジェクトの埋め込みが可能な領域があるかどうかを判定する。オブジェクトの埋め込みが可能な領域があると判定された場合、当該領域に前記オブジェクトを表す画像を埋め込む。
【選択図】図２

Description

画像データに情報を埋め込む技術に関する。

電子データフォーマットには、そのファイル内に動画や音声といったオブジェクトを埋め込むことが可能な、たとえばISOが規定するPDF（portable document file）といった電子データフォーマットがある。そして、オブジェクトの埋め込みは、当該電子ファイルに対応しているパーソナルコンピュータ（ＰＣ）内のアプリケーション上で実行可能である。

近年、光学的に文書を読み取るスキャン機能を備えたＭＦＰ（Multi Function Periheral）など、ＰＣ以外の装置においても電子ファイルの生成が頻繁に行われるようになっている。そして、ＭＦＰ等で生成される電子ファイルに対してもなんらかの方法で動画や音声などのデータとの関連付けを可能にすることが求められるようになっている。

この点、例えば特許文献１では、電子メールのファイル添付機能を利用して、画像処理装置で生成した画像データを動画データと共に電子メールに添付する方法が開示されている。

特開２００８−３０６２９４号公報

現在、スキャンによって得た画像データに対して動画ファイルなどを埋め込むには、画像処理装置とは別にＰＣを用意する必要があった。さらに当該ＰＣ上で動作する対応アプリケーション（画像データのファイルフォーマットがＰＤＦの場合はAcrobatなど）も必要であった。そして、ユーザにとっては手間の掛かる手順・作業を必要とした。具体的には、まず画像処理装置において、文書をスキャンして画像データを生成し、任意のＰＣに画像データを送信する。ＰＣにおいて、受信した画像データを対応アプリケーションで開き、埋め込み対象の動画ファイル等を指定して画像データに埋め込む。そして、動画ファイルを埋め込んだ画像データを、目的の宛先にＰＣから送信する、といった作業を必要とするものであった。

また、ＭＦＰなどの一般的な画像処理装置におけるＧＵＩや入力Ｉ/ＦはＰＣと同程度には充実しておらず、上記一連の作業を画像処理装置のみで実現しようとしても動画ファイル等を埋め込む際の領域指定において細かな操作が困難である等の問題もある。

本発明に係る画像処理装置は、文書を光学的に読み取り、所定のファイルフォーマットに従って電子化する手段と、前記電子化により得られた画像データに、オブジェクトの埋め込みが可能な領域があるかどうかを判定する領域判定手段と、前記領域判定手段で前記オブジェクトの埋め込みが可能な領域があると判定された場合に、当該領域に前記オブジェクトを表す画像を埋め込む手段と、を備えたことを特徴とする。

本発明によれば、画像処理装置で生成した画像データに対して、当該画像処理装置における簡単な操作で動画ファイルなどのデータを埋め込む事が可能となる。

実施例１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 画像処理装置における文書のスキャンから生成された画像データの送信までの流れを示すフローチャートである。 ファイルフォーマット選択画面の一例を示す図である。 送信宛先設定画面の一例を示す図である。 埋め込み設定画面の一例を示す図である。 画像データに対して領域分離処理を行った後の具体例を示す図である。 埋め込みページ設定画面の一例を示す図である。 埋め込みオブジェクト設定画面の一例を示す図である。 埋め込みオブジェクト実行形式設定画面の一例を示す図である。 オブジェクト画像が埋め込まれた画像データの一例を示す図である。 オブジェクト画像が埋め込まれた画像データのデータ構造を示す図である。 オブジェクト画像が埋め込まれた画像データの一例を示す図である。 埋め込み設定画面の一例を示す図である。 添付設定画面の一例を示す図である。 オブジェクトが添付された画像データのデータ構造を示す図である。

以下、本発明を実施するための形態について図面を用いて説明する。

図１は、本実施例に係る画像処理装置としてのＭＦＰのハードウェア構成の一例を示すブロック図である。

ＭＦＰ１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶部１０３、ＧＵＩ１０４、読取部１０５、印刷部１０６、通信部１０７とで構成され、ネットワーク２００を介してＰＣ等（不図示）の他の外部機器と接続されている。

ＣＰＵ１０１は、制御プログラムを読み出して各種処理を実行し、各部を統括的に制御する。

ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。

記憶部１０３は、ＲＡＭに読み出されるプログラムや様々な設定、ファイルなどの格納領域として用いられる。

ＧＵＩ１０４は、タッチパネル式のＬＣＤ表示装置などで構成され、各種情報の表示やユーザからの各種操作指示（コマンド）の入力を受け付ける。

読取部１０５は、不図示の原稿台にセットされた文書を光学的に読み取って、所定のフォーマットの画像データ（電子ファイル）を生成する。

印刷部１０６は、生成された画像データ等を用いて紙等の記録媒体上に画像を形成する。

通信部１０７は、ＬＡＮ等のネットワーク２００を介して、ＰＣ等の外部装置との通信を行う。

メインバス１０８は、上記各部を接続するバスである。

図２は、本実施例に係るＭＦＰ１００において、文書をスキャンして画像データを生成（電子化）し、動画や音声などのデータファイル（以下、「オブジェクト」と呼ぶ。）を埋め込んだ後に所定の宛先に送信するまでの流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを記憶部１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。

ステップ２０１において、ＣＰＵ１０１は、ＧＵＩ１０４を介してユーザからのスキャン要求があるかどうかを判定する。スキャン要求があればステップ２０２に進む。一方、スキャン要求がなければスキャン要求があるまで待機する。

ステップ２０２において、ＣＰＵ１０１は、電子化する際のファイルフォーマット及びその送信先を設定する。この設定はＧＵＩ１０４上に表示される、ファイルフォーマットを選択するための画面（ファイルフォーマット選択画面）、及び生成した画像データの送信先を設定するための画面（送信宛先設定画面）におけるユーザの選択に従ってなされる。図３はファイルフォーマット選択画面の一例を示す図であり、「ＰＤＦ」のファイルフォーマットが選択された状態を示している。図４は送信宛先設定画面の一例を示す図であり、送信先として、アドレスが「\\home\123」の宛先「ＳＭＢ」が指定された状態を示している。ユーザは、ＧＵＩ１０４上に表示されたこれらの画面を用いて、生成する画像データのファイルフォーマットとその送信先を指定する。

ステップ２０３において、ＣＰＵ１０１は、読取部１０５に対して文書の読み取り（スキャン）を指示し、読取部１０５は文書をスキャンして、ＧＵＩ１０４を介して選択されたファイルフォーマットに従った画像データを生成する。

ステップ２０４において、ＣＰＵ１０１は、生成した画像データのファイルフォーマットが、オブジェクトを埋め込むことが可能なファイルフォーマットであるかどうかを判定する。このフォーマット判定は、例えば記憶部１０３に格納された判定テーブル（ファイルフォーマット毎に埋め込み可能かどうかを示すフラグ等の情報が関連付けされたテーブル）を参照するなどしてなされる。例えば、前述の図３には、選択可能なフォーマットとして「TIFF」、「JPEG」、「PDF」、「DOCK」、「PPTX」、「XPS」の６種類が示されていた。この場合、オブジェクトの埋め込みが可能なフォーマットである「PDF」にのみ埋め込み可能であることを示すフラグが付され、オブジェクトの埋め込みができない他のフォーマットには埋め込み不可能であることを示すフラグが付される。当然のことながら、ユーザが選択し得るファイルファーマットに追加・変更等があった場合には、この判定テーブルの内容もそれに応じて変更される。判定の結果、オブジェクトが埋め込み可能なファイルフォーマットであれば、ステップ２０５に進む。一方、オブジェクトが埋め込み不可能なファイルフォーマットであれば、ステップ２１８に進む。

ステップ２０５において、ＣＰＵ１０１は、生成した画像データに対しオブジェクトを埋め込むユーザ指示かなされたかどうかを判定する。画像データに対しオブジェクトを埋め込むかどうかのユーザ指示は、ＧＵＩ１０４上に表示される埋め込み設定画面を介してなされる。図５は埋め込み設定画面の一例を示す図である。ユーザは、ＧＵＩ１０４上に表示された埋め込み設定画面において、埋め込みを希望する場合はＯＫボタンを、埋め込みを希望しない場合はキャンセルボタンを押下して、生成した画像データにオブジェクトを埋め込むかどうかを指定する。そして、押下されたボタンがＯＫボタンである場合はステップ２０６に進む。一方、押下されたボタンがキャンセルボタンである場合はステップ２１８に進む。

ステップ２０６において、ＣＰＵ１０１は、スキャンによって得られた画像データに対して領域分離処理を行う。領域分離処理は、画像データを、文字領域、図形領域、イメージ領域、その他の領域（空白領域のような色の変化がない或いは小さい領域（変化量が一定値以下の領域）など、その属性毎に分離する技術である。図６は、画像データに対して領域分離処理を行った後の具体例を示す図である。この例では、文字領域６０１、図形領域６０２、空白領域６０３の３つの領域に分離されている。領域分離処理の詳細については本発明の特徴ではないので説明を省略する。

ステップ２０７において、ＣＰＵ１０１は、領域分離処理によって抽出された各領域の中に、オブジェクトを埋め込み可能な領域（以下、「埋め込み可能領域」と呼ぶ。）が存在するかどうかを、画像データに含まれるページ毎に判定する。この領域判定は、例えば、埋め込み可能領域として予め規定した上述した変化量の少ない領域や空白領域が存在するかどうかによって判定される。埋め込み可能領域を有すると判定されたページが１ページ以上あった場合は、ステップ２０８に進む。一方、埋め込み可能領域を有するページがないと判定された場合は、ステップ２１６に進む。

ステップ２０８において、ＣＰＵ１０１は、生成した画像データのどのページに埋め込むのか（オブジェクトの埋め込み先）を設定する。この設定はＧＵＩ１０４上に表示される、埋め込み対象ページを指定するための画面（埋め込みページ設定画面）におけるユーザの選択に従ってなされる。図７は埋め込みページ設定画面の一例を示す図である。ここでは、オブジェクトを埋め込むための領域がないと判定されたページ（オブジェクト埋込不可ページ）である３ページと５ページを除いた各ページが選択可能な状態で示され、埋め込み対象ページとして１ページ目が指定された状態を示している。なお、生成された画像データが１ページで構成される場合は、本ステップはスキップされる。

ステップ２０９において、ＣＰＵ１０１は、設定されたページに埋め込むオブジェクト（対象オブジェクト）を設定する。この設定はＧＵＩ１０４上に表示される、埋め込み対象となる動画ファイルや音声ファイルなどを指定するための画面（埋め込みオブジェクト設定画面）におけるユーザの選択に従ってなされる。図８は埋め込みオブジェクト設定画面の一例を示す図である。埋め込み対象の候補となる動画ファイルや音声ファイルのファイル名が一覧表示され、ここでは対象オブジェクトとしてファイル名「12345.avi」の動画ファイルが指定された状態を示している。この際、埋め込み可能なオブジェクトのファイルサイズに予め上限を設定しておき、設定されたファイルサイズを超えるサイズのオブジェクトは指定できないようにしてもよい。そして、ＣＰＵ１０１は、指定された対象オブジェクトのデータを取得する。この際、埋め込み対象となり得る動画ファイルや音声ファイルなどのデータは、画像処理装置内の記憶部１０３から取得するようにしてもよいし、或いは画像処理装置と接続された外部記憶装置等から取得するようにしてもよい。

ステップ２１０において、ＣＰＵ１０１は、ステップ２０６で抽出した埋め込み可能領域とステップ２０９で設定された対象オブジェクトを表す画像であって、オブジェクトの再生用ボタンを含んだ画像（以下、「オブジェクト画像」と呼ぶ。）の領域とを比較する。そして、埋め込み可能領域内にオブジェクト画像を埋め込むのに十分なスペースがあるかどうかを判定する。この判定は、例えば埋め込み可能領域の中にオブジェクト画像と等しい大きさ（例えば、６４０×４８０画素）の矩形領域が含まれるかどうかを埋め込み可能領域の端から順次チェックしていく等によってなされる。埋め込み可能領域内にオブジェクト画像を埋め込むのに十分なスペースがあると判定された場合はステップ２１２に進む。一方、埋め込み可能領域内にオブジェクト画像を埋め込むのに十分なスペースがないと判定された場合にはステップ２１１に進む。

ステップ２１１において、ＣＰＵ１０１は、オブジェクト画像を縮小する（画素数を減らす）変換処理を行って、オブジェクト画像が埋め込み可能領域内に収まるようにする。この際、埋め込み対象となるオブジェクトの種類毎にどこまで縮小し得るのかを予め設定しておくことが望ましい。例えば、動画ファイルであれば３２０×２４０画素、音声ファイルであれば３２×３２画素を、それぞれ下限値に設定しておくといった具合である。そして、仮に抽出された埋め込み可能領域の大きさがこの下限値よりも小さい場合には、後述のステップ２１６に進むようにしてもよい。

ステップ２１２において、ＣＰＵ１０１は、対象オブジェクトの実行形式として、フローティングウインドウが指定されているかどうかを判定する。対象オブジェクトの実行形式の指定はＧＵＩ１０４上に表示される、埋め込み対象となる動画ファイルなどの実行形式を指定するための画面（埋め込みオブジェクト実行形式設定画面）におけるユーザの選択に従ってなされる。図９は、埋め込みオブジェクト実行形式設定画面の一例を示す図である。埋め込み対象オブジェクトの実行形式の候補として、埋め込まれたオブジェクト画像の領域での実行か、異なる領域（フローティングウインドウ）での実行かが表示され、ここではフローティングウインドウでの実行が指定された状態を示している。実行形式として、埋め込まれたオブジェクト画像の領域での実行が指定された場合はステップ２１３に、フローティングウインドウでの実行が指定された場合はステップ２１４に進む。

ステップ２１３において、ＣＰＵ１０１は、埋め込み対象となるオブジェクトのメタ情報に、その実行時にはオブジェクト画像の領域で実行されるよう設定し、ステップ２０８で指定されたページの埋め込み可能領域内にオブジェクト画像を埋め込む。図１０は動画ファイルを示すオブジェクト画像１００１が埋め込まれた画像データの一例を示す図であり、図１１はそのデータ構造を示す図である。図６で示した空白領域６０３内にファイル名「12345.avi」の動画ファイルを示すオブジェクト画像１００１（６４０×４８０）が埋め込まれている。図１０に示すオブジェクト画像１００１内の再生ボタン１００２が押下されると、オブジェクト画像の領域内で動画が再生される。

ステップ２１４において、ＣＰＵ１０１は、埋め込み対象となるオブジェクトのメタ情報に、その実行時にはフローティングウインドウで実行されるよう設定し、ステップ２０８で指定されたページの埋め込み可能領域内にオブジェクト画像を埋め込む。図１２は、動画ファイルを示すオブジェクト画像１１０１が埋め込まれた画像データの一例を示す図である。図６で示した空白領域６０３内に動画ファイルを示すオブジェクト画像１１０１が埋め込まれており、再生ボタン１１０２が押下されるとオブジェクト画像の位置とは異なる位置（ここでは右上方）の別ウインドウ１１０３において動画が再生される。

ステップ２１５において、ＣＰＵ１０１は、さらに別のオブジェクトを埋め込むユーザ指示かなされたかどうかを判定する。別のオブジェクトを埋め込むかどうかのユーザ指示は、ＧＵＩ１０４上に表示される埋め込み設定画面を介してなされる。図１３はこの埋め込み設定画面の一例を示す図であり、ユーザは、さらに埋め込みを希望する場合はＯＫボタンを、希望しない場合はキャンセルボタンを押下して、他のオブジェクトを埋め込むかどうかを指定する。そして、押下されたボタンがＯＫボタンである場合はステップ２０８に戻って、ステップ２０８以下の処理を繰り返す。一方、押下されたボタンがキャンセルボタンである場合は、ステップ２１８に進む。

ステップ２１６において、CPU１０１は、生成された電子ファイルに対しオブジェクトを添付するユーザ指示かなされたかどうかを判定する。電子ファイルに対しオブジェクトを添付するかどうかのユーザ指示は、ＧＵＩ１０４上に表示される添付設定画面を介してなされる。図１４は添付設定画面の一例を示す図である。ユーザは、ＧＵＩ１０４上に表示された添付設定画面において、オブジェクトの添付を希望する場合はＯＫボタンを、オブジェクトの添付を希望しない場合はキャンセルボタンを押下して、生成した電子ファイルにオブジェクトを添付するかどうかを指定する。そして、押下されたボタンがＯＫボタンである場合はステップ２１７に進む。一方、押下されたボタンがキャンセルボタンである場合はステップ２１８に進む。

ステップ２１７において、ＣＰＵ１０１は、前述の図８類似の添付オブジェクト設定画面（不図示）を表示し、ユーザが選択した動画ファイル等のオブジェクトを、生成した電子ファイルに添付する。図１５は、オブジェクトとして動画ファイルが添付された画像データのデータ構造の一例を示す図である。

ステップ２１８において、ＣＰＵ１０１は、生成された画像データを指定された送信先に送信するよう通信部１０７に指示する。本実施例の場合、オブジェクトの埋め込まれた画像データ（ステップ２１３、２１４）、オブジェクトが添付された画像データ（ステップ２１７）、オブジェクトの埋め込みも添付もない画像データ（ステップ２０４又は２０５でＮｏ）のいずれかが送信される。

なお、図２で示したフローチャートでは、埋め込み可能領域があるかどうかによってオブジェクトの埋め込みを行うための処理に進むかどうかを切り分けている（ステップ２０７）。これに代えて、予め埋め込み可能なオブジェクトのファイルサイズ（例えば、１０ＭＢ）を予め設定しておき、この設定されたファイルサイズを、指定された埋め込み対象のオブジェクトのファイルサイズが超えているかどうかで切り分けるようにしてもよい。

また、図２で示したフローチャートでは、オブジェクトの埋め込みが可能なファイルフォーマットはファイルの添付も可能であり、ファイルの埋め込みが不可能なファイルフォーマットはその添付も不可能であることが前提となっている。仮に、ファイルの埋め込みは不可能であるがファイルの添付は可能というファイルフォーマットがあり得る場合は、それに合ったフローチャートに修正すればよい。例えば、ステップ２０４又はステップ２０５でＮｏと判定された後に「オブジェクトの添付が可能なファイルフォーマットであるかどうか」を判定する処理を加え、Ｙｅｓであればステップ２１６に進む、といった具合である。

上記のような処理によって、ユーザは画像処理装置上のＧＵＩや入力Ｉ／Ｆ上で煩雑な操作を行うことなく、動画や音声などのオブジェクトをスキャンによって生成した画像データに埋め込むことが可能となる。

さらに、埋め込みを行った画像データに対して画像処理装置が持つ諸機能（送信宛先一覧での送信先の指定、電子署名機能等）を利用することもできるので、ユーザの利便性はより向上する。

（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (14)

1. 文書を光学的に読み取り、所定のファイルフォーマットに従って電子化する手段と、
   前記電子化により得られた画像データに、オブジェクトの埋め込みが可能な領域があるかどうかを判定する領域判定手段と、
   前記領域判定手段で前記オブジェクトの埋め込みが可能な領域があると判定された場合に、当該領域に前記オブジェクトを表す画像を埋め込む手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像データを、属性毎の領域に分離する手段をさらに備え、
   前記領域判定手段は、分離された属性毎の領域のうち、色の変化量が一定値以下の領域を、前記オブジェクトの埋め込みが可能な領域として判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記色の変化量が一定値以下の領域は、空白領域であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記所定のファイルフォーマットをユーザが指定するための設定画面を表示する、表示手段と、
   ユーザによって指定された前記所定のファイルフォーマットが、オブジェクトの埋め込みが可能なファイルフォーマットであるかどうかを判定するフォーマット判定手段と、
   をさらに備え、
   前記領域判定手段は、ユーザによって指定された前記所定のファイルフォーマットがオブジェクトの埋め込みが可能なファイルフォーマットであると判定された場合に、前記画像データに、前記オブジェクトの埋め込みが可能な領域があるかどうかを判定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記表示手段は、前記オブジェクトをユーザが指定するための設定画面を表示することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記オブジェクトを表す画像が、前記領域判定手段でオブジェクトの埋め込みが可能な領域に収まらない場合に、当該オブジェクトの埋め込みが可能な領域と判定された領域に収まるように前記オブジェクトを表す画像を縮小する手段をさらに備えたことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 埋め込み対象となるオブジェクトの種類毎に、前記オブジェクトを表す画像の大きさの下限が予め設定されることを特徴とする請求項６に記載の画像処理装置。
8. 前記表示手段は、前記オブジェクトの実行形式を指定するための設定画面を表示し、
   前記オブジェクトは、指定された実行形式で埋め込まれることを特徴する請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記実行形式は、前記オブジェクトを表す画像の領域で実行される形式であることを特徴する請求項８に記載の画像処理装置。
10. 前記実行形式は、前記オブジェクトを表す画像とは異なる領域で実行される形式であることを特徴する請求項８に記載の画像処理装置。
11. 前記領域判定手段でオブジェクトの埋め込みが可能な領域がないと判定された場合に、前記画像データに前記オブジェクトを添付する手段をさらに備えたことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記オブジェクトは、動画ファイル又は音声ファイルであることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 文書を光学的に読み取り、所定のファイルフォーマットに従って電子化するステップと、
    前記電子化により得られた画像データに、オブジェクトの埋め込みが可能な領域があるかどうかを判定する領域判定ステップと、
    前記領域判定ステップで前記オブジェクトの埋め込みが可能な領域があると判定された場合に、当該領域に前記オブジェクトを表す画像を埋め込むステップと、
    を含むことを特徴とする画像処理方法。
14. コンピュータを請求項１乃至１２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。