JP2015143905A - 画像処理装置 - Google Patents

Abstract

【課題】ユーザが画像取得のタイミングを意識することなく動画像から所望の画像を自動的に取得することができる画像処理装置を提供する。【解決手段】静止画像入力部３０１には、動画像に基づいて生成された静止画像が入力される。文字情報抽出部３０２は、静止画像入力部３０１に入力された静止画像から文字情報を抽出する。文字列保持部３０３は、予め登録された文字列を保持する。判定部３０４は、文字情報抽出部３０２により抽出された文字情報に文字列保持部３０３に保持された文字列が含まれているか否かを判定する。格納画像選択部３０５は、判定部３０４が、文字情報抽出部３０２により抽出された文字情報に文字列保持部３０３に保持された文字列が含まれると判定した場合、当該文字情報の抽出元である静止画像を画像格納部３０６に格納する。【選択図】図３

Description

本発明は、画像データに含まれる文字情報を認識可能な画像処理装置に関する。

近年、スキャナ、ファクシミリ、プリンタ、複写機等の機能を備える複合機（ＭＦＰ：Multi FunctionPeripheral）が使用されている。複合機は、例えば、ＬＡＮ（Local Area Network）等のネットワークを通じてパーソナルコンピュータ等の情報処理端末と接続された状況で使用されることが多い。そして、情報処理端末から入力された画像データを用紙上に印刷する画像形成装置として機能したり、情報処理端末において使用される画像データを取得する画像読取装置として機能したり、文書画像データを検索可能に蓄積する文書管理装置として機能したりする。

また、近年、複合機は、デジタルテレビ等の表示装置と接続され、表示画面を印刷することが可能になっている（例えば、特許文献１、２等参照。）。

例えば、特許文献１は、デジタルテレビにおいてテレビ画面にメイン画面とともに表示される副情報が印刷されることを防止するため、各副情報に優先度を付加し、付加された優先度に応じてユーザが必要な情報のみを選択して印刷する構成を開示している。

また、特許文献２は、デジタルテレビの映像を構成するデータと、映像の印刷タイミングを報知する文字情報と映像の印刷処理を管理するためのスクリプトプログラムを印刷プログラムに送信し、所定の印刷タイミングで印刷を実行する構成を開示している。

特開２００６−２７９３１９号公報 特開２００３−１１０９５０号公報

しかしながら、特許文献１が開示する構成では、ユーザが狙ったタイミングで表示画像を取得する必要があり、ユーザにとって作業性がよいものではない。また、特許文献２が開示する構成であっても、印刷するタイミングを含むデータを画像形成装置に送信しなければならず、手順が煩雑である。

本発明は、このような従来の実情を鑑みてなされたものであり、ユーザが画像取得のタイミングを意識することなく動画像から所望の画像を自動的に取得することができる画像処理装置を提供することを目的とする。

上述の目的を達成するために、本発明は以下の技術的手段を採用している。すなわち、本発明に係る画像処理装置は、静止画像入力部、文字情報抽出部、文字列保持部、判定部及び格納画像選択部を備える。静止画像入力部には、動画像に基づいて生成された静止画像が入力される。静止画像は、例えば、動画像において等時間間隔の静止画像として取得される。文字情報抽出部は、静止画像入力部に入力された静止画像から文字情報を抽出する。文字列保持部は、予め登録された文字列を保持する。判定部は、文字情報抽出部により抽出された文字情報に文字列保持部に保持された文字列が含まれているか否かを判定する。格納画像選択部は、判定部が、文字情報抽出部により抽出された文字情報に文字列保持部に保持された文字列が含まれると判定した場合、当該文字情報の抽出元である静止画像を画像格納部に格納する。

この画像処理装置では、予め登録された文字列が動画像から取得した静止画像に含まれている場合、その静止画像が画像格納部に格納される。そのため、ユーザは、所望の文字列を予め登録するだけで、当該文字列を含む静止画像を取得することができる。

上記画像処理装置において、取得順が連続する各静止画像について文字情報抽出部により抽出された文字情報が同一である場合、画像選択部は、一方の静止画像を画像格納部への格納対象から除外する構成を採用することもできる。この構成により、同一又は類似の静止画像が画像格納部に格納されることを避けることができる。

また、以上の画像処理装置は、画像格納部に格納された静止画像を用紙上に印刷する画像形成部をさらに備えることもできる。

本発明によれば、ユーザが画像取得のタイミングを意識することなく動画像から所望の画像を自動的に取得することができる。

本発明の一実施形態における複合機の全体構成を示す概略構成図 本発明の一実施形態における複合機のハードウェア構成を示す図 本発明の一実施形態における複合機を示す機能ブロック図 本発明の一実施形態における複合機が実施する静止画像取得手順の一例を示すフロー図 本発明の一実施形態における静止画像取得の一例を示す図

以下、本発明の一実施形態について、図面を参照しながらより詳細に説明する。以下ではデジタル複合機として本発明を具体化する。

図１は本実施形態におけるデジタル複合機の全体構成の一例を示す概略構成図である。図１に示すように、複合機１００は、画像読取部１２０及び画像形成部１４０を含む本体１０１と、本体１０１の上方に取り付けられたプラテンカバー１０２とを備える。本体１０１の上面にはコンタクトガラス等の透明板からなる原稿台１０３が設けられており、原稿台１０３はプラテンカバー１０２によって開閉されるようになっている。また、プラテンカバー１０２は、原稿搬送装置１１０を備えている。なお、複合機１００の前面には、ユーザが複合機１００に複写開始やその他の指示を与えたり、複合機１００の状態や設定を確認したりすることができる操作パネル１７１が設けられている。

原稿台１０３の下方には、画像読取部１２０が設けられている。画像読取部１２０は、走査光学系１２１により原稿の画像を読み取りその画像のデジタルデータ（画像データ）を生成する。原稿は、原稿台１０３や原稿搬送装置１１０に載置することができる。走査光学系１２１は、第１キャリッジ１２２や第２キャリッジ１２３、集光レンズ１２４を備える。第１キャリッジ１２２には線状の光源１３１及びミラー１３２が設けられ、第２キャリッジ１２３にはミラー１３３及び１３４が設けられている。光源１３１は原稿を照明する。ミラー１３２、１３３、１３４は、原稿からの反射光を集光レンズ１２４に導き、集光レンズ１２４はその光像をイメージセンサ１２５の受光面に結像する。

この走査光学系１２１において、第１キャリッジ１２２及び第２キャリッジ１２３は、副走査方向１３６に往復動可能に設けられている。第１キャリッジ１２２及び第２キャリッジ１２３を副走査方向１３６に移動することによって、原稿台１０３に載置された原稿の画像をイメージセンサ１２５で読み取ることができる。原稿搬送装置１１０にセットされた原稿の画像を読み取る場合、画像読取部１２０は、第１キャリッジ１２２及び第２キャリッジ１２３を画像読取位置に合わせて一時的に静止させ、画像読取位置を通過する原稿の画像をイメージセンサ１２５で読み取る。イメージセンサ１２５は、受光面に入射した光像から、例えば、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色に対応する原稿の画像データを生成する。

生成された画像データは、画像形成部１４０において用紙に印刷することができる。また、生成された画像データは、図示しないネットワークを通じて他の機器へ送信することもできる。

画像形成部１４０は、画像読取部１２０で得た画像データや、ネットワークに接続された他の機器から受信した画像データを用紙に印刷する。画像形成部１４０は、感光体ドラム１４１を備える。感光体ドラム１４１は一定速度で一方向に回転する。感光体ドラム１４１の周囲には、回転方向の上流側から順に、帯電器１４２、露光器１４３、現像器１４４、中間転写ベルト１４５が配置されている。帯電器１４２は、感光体ドラム１４１表面を一様に帯電させる。露光器１４３は、一様に帯電した感光体ドラム１４１の表面に、画像データに応じて光ビームを照射し、感光体ドラム１４１上に静電潜像を形成する。現像器１４４は、その静電潜像にトナーを付着させ、感光体ドラム１４１上にトナー像を形成する。中間転写ベルト１４５は、感光体ドラム１４１上のトナー像を用紙に転写する。画像データがカラー画像である場合、中間転写ベルト１４５は、各色のトナー像を同一の用紙に転写する。なお、ＲＧＢ形式のカラー画像は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｋ（ブラック）形式の画像データに変換され、各色の画像データが露光器１４３に入力される。

画像形成部１４０は、手差しトレイ１５１、給紙カセット１５２等から、中間転写ベルト１４５と転写ローラ１４６との間の転写部に用紙を給送する。手差しトレイ１５１や給紙カセット１５２には、様々なサイズの用紙を載置又は収容することができる。画像形成部１４０は、ユーザの指定した用紙や、自動検知した原稿のサイズに応じた用紙を選択し、選択した用紙を給送ローラ１５３により手差しトレイ１５１やカセット１５２から給紙する。給紙された用紙は搬送ローラ１５４やレジストローラ１５５で転写部に搬送される。トナー像が転写された用紙は、搬送ベルト１４７により定着器１４８に搬送される。定着器１４８は、ヒータを内蔵した定着ローラ１５６及び加圧ローラ１５７を有しており、熱と押圧力によってトナー像を用紙に定着する。画像形成部１４０は、定着器１４８を通過した用紙を排紙トレイ１４９へ排紙する。

図２は、複合機における制御系のハードウェア構成図である。本実施形態の複合機１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、ＲＯＭ（Read Only Memory）２０３、ＨＤＤ（Hard Disk Drive）２０４及び原稿搬送装置１１０、画像読取部１２０、画像形成部１４０における各駆動部に対応するドライバ２０５が内部バス２０６を介して接続されている。ＲＯＭ２０３やＨＤＤ２０４等はプログラムを格納しており、ＣＰＵ２０１はその制御プログラムの指令にしたがって複合機１００を制御する。例えば、ＣＰＵ２０１はＲＡＭ２０２を作業領域として利用し、ドライバ２０５とデータや命令を授受することにより上記各駆動部の動作を制御する。また、ＨＤＤ２０４は、画像読取部１２０により得られた画像データや、他の機器からネットワークを通じて受信した画像データの蓄積にも用いられる。

内部バス２０６には、操作パネル１７１や各種のセンサ２０７も接続されている。操作パネル１７１は、ユーザの操作を受け付け、その操作に基づく信号をＣＰＵ２０１に供給する。また、操作パネル１７１は、ＣＰＵ２０１からの制御信号にしたがって自身が備えるディスプレイに操作画面を表示する。センサ２０７は、プラテンカバー１０２の開閉検知センサや原稿台１０３上の原稿検知センサ、定着器１４８の温度センサ、搬送される用紙又は原稿の検知センサなど各種のセンサを含む。

ＣＰＵ２０１は、例えばＲＯＭ２０３に格納されたプログラムを実行することで、以下の各手段（機能ブロック）を実現するとともに、これらセンサからの信号に応じて各手段の動作を制御する。

図３は、本実施形態の複合機の機能ブロック図である。図３に示すように、本実施形態の複合機１００は、静止画像入力部３０１、文字情報抽出部３０２、文字列保持部３０３、判定部３０４及び格納画像選択部３０５を備える。

静止画像入力部３０１には、動画像に基づいて生成された静止画像が入力される。静止画像は、例えば、動画像において等時間間隔の静止画像として取得される。特に限定されないが、本実施形態では、デジタルテレビ３００が複合機１００に図示しないＵＳＢ（Universal Serial Bus）インタフェイス等を介してデータの授受が可能に接続されている。静止画像はデジタルテレビ３００において生成された静止画像が複合機１００の静止画像入力部３０１に入力される。図３に示すように、デジタルテレビ３００は、動画像生成部３１１及び静止画像生成部３１２を備える。動画像生成部３１１は、受信した放送波に基づいて動画像（静止画像の集合体）を生成する。静止画像生成部３１２は所定の時間間隔（例えば、１秒間隔）で動画像生成部３１１が生成した動画像から静止画像を生成する。そして、静止画像生成部３１２は、生成した静止画像を複合機１００に入力する。

文字情報抽出部３０２は、静止画像入力部３０１に入力された静止画像から文字情報を抽出する。文字情報の抽出には、公知の任意の技術を使用することができる。本実施形態では、文字情報抽出部３０２は、静止画像入力部３０１に入力された静止画像に対してＯＣＲ（Optical Character Recognition）処理を実行し、文字情報を取得する。ここでは、文字情報抽出部３０２は、静止画像に対して、２値化処理、エッジ強調、エッジ検出等の画像処理を施して文字領域を抽出するとともに、エッジ検出結果を解析することでその文字を特定する。

文字列保持部３０３は、予め登録された文字列を保持する。特に限定されないが、本実施形態では、文字列はジャンルごとに区分して登録される。例えば、「料理」のジャンルには、料理に関連する文字列である「大さじ」、「小さじ」、「フライパン」、「電子レンジ」、「ひき肉」等が登録される。また、「応募」のジャンルには、応募に関連する文字列である「郵便番号」、「〒」、「東京都」、「大阪府」、「電話番号」等が登録される。また、「競馬」のジャンルには、競馬に関連する文字列である「オッズ」、「馬体重」、「馬連」、「枠連」、「払戻金」等が登録される。このような文字列は、予め複合機１００にデフォルト登録されていてもよく、ユーザが任意に登録してもよい。後述の静止画像取得処理を実施する際は、ユーザにより選択（指定）された１又は複数の文字列が文字列保持部３０３に保持される。

判定部３０４は、文字情報抽出部３０２により抽出された文字情報に文字列保持部３０３に保持された文字列が含まれているか否かを判定する。特に限定されないが、本実施形態では、文字列保持部３０３に複数の文字列が保持されている場合、判定部３０４は、いずれか１つの文字列が含まれていれば、文字列が含まれていると判定する。

格納画像選択部３０５は、判定部３０４が、文字情報抽出部３０２により抽出された文字情報に文字列保持部３０３に保持された文字列が含まれると判定した場合、当該文字情報の抽出元である静止画像を画像格納部３０６に格納する。なお、本実施形態では、ＨＤＤ２０４が画像格納部３０６として機能する。

画像格納部３０６に格納された静止画像は、画像形成部１４０において印刷したり、データ送信部３０７を通じてメール送信したりファクシミリ送信したりすることができる。本実施形態では、静止画像に文字認識処理が実施されているため、静止画像の印刷や送信に際し、静止画像の全体を対象とするだけでなく、文字情報のみを対象にすることもできる。このような印刷対象や送信対象は、例えば、ユーザに選択させることができる。

図４は、複合機１００が実施する静止画像取得手順の一例を示すフロー図である。当該手順は、例えば、ユーザが、操作パネル１７１等を通じて複合機１００に静止画像取得処理の実行指示を入力したことをトリガとして開始する。

当該手順が開始すると、複合機１００（静止画像入力部３０１）は、デジタルテレビ３００に静止画像の入力を要求し、静止画像が入力されるまで待機する（ステップＳ４０１Ｎｏ）。デジタルテレビ３００から静止画像が入力されると、文字情報抽出部３０２が当該静止画像に対して上述の文字認識処理を実施し、文字情報を抽出する（ステップＳ４０１Ｙｅｓ、Ｓ４０２）。文字情報抽出部３０２は抽出した文字情報を判定部３０４に入力する。このとき、判定部３０４は、文字情報抽出部３０２により抽出された文字情報に文字列保持部３０３に保持された文字列が含まれているか否かを判定する（ステップＳ４０３）。判定部３０４は、判定結果を格納画像選択部３０５に通知する。

文字情報抽出部３０２により抽出された文字情報に文字列保持部３０３に保持された文字列が含まれている場合、格納画像選択部３０５は、当該文字情報の抽出元である静止画像を画像格納部３０６に格納する（ステップＳ４０３Ｙｅｓ、Ｓ４０４）。一方、文字情報抽出部３０２により抽出された文字情報に文字列保持部３０３に保持された文字列が含まれていない場合、格納画像選択部３０５は、当該文字情報の抽出元である静止画像を静止画像入力部３０１から破棄する（ステップＳ４０３Ｎｏ、Ｓ４０６）。

図５は、静止画像取得の具体例を示す図である。図５（ａ）は、デジタルテレビ３００の表示画面５０１に表示されたコマーシャルの一場面を示している。また、図５（ｂ）は、デジタルテレビ３００の表示画面５０１に表示された料理番組の一場面を示している。ここでは、文字列保持部３０３に「料理」ジャンルの文字列である「大さじ」、「小さじ」が保持されているとする。なお、この例では、説明のためデジタルテレビ３００の表示画面５０１に表示された画像を示しているが、デジタルテレビ３００の表示画面５０１に画像を表示させない状態であっても静止画像を生成可能であることはいうまでもない。

静止画像入力部３０１に入力された静止画像が、図５（ａ）に示す表示画面５０１に表示された映像に対応する静止画像である場合、文字情報抽出部３０２は、文字情報として「疲れたときに美味しいお酒」及び「○×酒造」を抽出する。この場合、判定部３０４は、文字情報抽出部３０２により抽出された文字情報に文字列保持部３０３に保持された文字列が含まれていないと判定する。したがって、格納画像選択部３０５は、当該文字情報の抽出元である静止画像を破棄する。

また、静止画像入力部３０１に入力された静止画像が、図５（ｂ）に示す表示画面５０１に表示された映像に対応する静止画像である場合、文字情報抽出部３０２は、文字情報として「カレーライス」、「牛肉」、「200g」、「ジャガイモ」、「2個」、「にんじん」、「1本」、「玉ねぎ」、「1個」、「カレールー」、「1/2箱」、「サラダ油」、「大さじ１」、「水」及び「400cc」を抽出する。この場合、判定部３０４は、「大さじ」が含まれているため、文字情報抽出部３０２により抽出された文字情報に文字列保持部３０３に保持された文字列が含まれている判定する。したがって、格納画像選択部３０５は、当該文字情報の抽出元である静止画像を画像格納部３０６に格納する。

以上の手順は、ユーザが、操作パネル１７１等を通じて静止画像取得終了指示を入力するまで継続される（ステップＳ４０５Ｎｏ、Ｓ４０１）。静止画像取得終了指示が入力されると手順が終了する（ステップＳ４０５Ｙｅｓ）。

以上説明したように、この複合機１００では、予め登録された文字列が動画像から取得した静止画像に含まれている場合、その静止画像が画像格納部３０６に格納される。そのため、ユーザは、所望の文字列を予め登録するだけで、当該文字列を含む静止画像を取得することができる。

なお、複合機１００において、静止画像入力部３０１が、取得順が連続する複数の静止画像を保持する構成を採用することもできる。この構成では、例えば、文字情報抽出部３０２により抽出された２つの静止画像の文字情報が同一である場合、画像選択部３０５は、一方の静止画像を画像格納部３０６への格納対象から除外する。この構成により、同一又は類似の静止画像が画像格納部３０６に格納されることを避けることができる。

また、上記では、静止画像取得の対象を放送映像としたが、録画された動画像を対象とすることもできる。

なお、上述した実施形態は本発明の技術的範囲を制限するものではなく、既に記載したもの以外でも、本発明の範囲内で種々の変形や応用が可能である。例えば、上記実施形態では、電子写真方式を採用した画像形成装置を例示したが、本発明は、インクジェット方式を採用した画像形成装置にも適用可能である。また、上記実施形態では、特に好ましい形態として、画像形成部１４０やデータ送信部３０７を備える構成としたが、これらの要素は本発明に必須の要素ではない。これらの要素を備えない構成であっても、ユーザが画像取得のタイミングを意識することなく動画像から所望の画像を自動的に取得することができる。この場合、画像格納部３０６に格納された静止画像は、ＵＳＢメモリ等の可搬記憶媒体により他の機器へ移動させることができる。

また、上述の実施形態では、デジタルテレビ３００において静止画像を生成する構成としたが、複合機１００に静止画像生成部３１２が設けられてもよい。この場合、複合機１００には、動画像が入力されることになる。また、静止画像の取得対象が放送映像である場合、静止画像にチャネル情報や時刻情報、番組名情報を付加する構成を採用することもできる。また、静止画像の取得間隔が等時間間隔であることも本発明に必須の要素ではない。

加えて、図４に示すフローチャートは、等価な作用を奏する範囲において、各ステップの順序を適宜変更可能である。

また、上述の実施形態では、デジタル複合機により本発明を具体化したが、デジタル複合機に限らず、プリンタや複写機、ファクシミリ装置等をはじめとする任意の画像処理装置に本発明を適用することも可能である。

本発明によれば、ユーザが画像取得のタイミングを意識することなく動画像から所望の画像を自動的に取得することができ、画像処理装置として有用である。

１００ 複合機（画像処理装置）
３００ デジタルテレビ
３０１ 静止画像入力部
３０２ 文字情報抽出部
３０３ 文字列保持部
３０４ 判定部
３０５ 格納画像選択部
３０６ 画像格納部
３０７ データ送信部
３１１ 動画像生成部
３１２ 静止画像生成部

Claims (4)

1. 動画像に基づいて生成された静止画像が入力される静止画像入力部と、
   前記静止画像入力部に入力された静止画像から文字情報を抽出する文字情報抽出部と、
   予め登録された文字列を保持する文字列保持部と、
   前記文字情報抽出部により抽出された文字情報に前記文字列保持部に保持された文字列が含まれているか否かを判定する判定部と、
   判定部が、前記文字情報抽出部により抽出された文字情報に前記文字列保持部に保持された文字列が含まれると判定した場合、当該文字情報の抽出元である静止画像を画像格納部に格納する格納画像選択部と、
   を備える画像処理装置。
2. 前記静止画像は、前記動画像において等時間間隔の静止画像として取得される請求項１記載の画像処理装置。
3. 取得順が連続する各静止画像について前記文字情報抽出部により抽出された文字情報が同一である場合、前記画像選択部は、一方の静止画像を前記画像格納部への格納対象から除外する、請求項１又は請求項２記載の画像処理装置。
4. 前記画像格納部に格納された静止画像を用紙上に印刷する画像形成部をさらに備える、請求項１から請求項３のいずれか１項に記載の画像処理装置。

Images