JP2018085617A - 画像処理装置、画像処理システム及びプログラム - Google Patents

Abstract

【課題】原稿の一頁分全体を収めることのできない撮像装置を用いて撮影された原稿画像から、一頁分の電子文書を得ること。【解決手段】本発明の画像処理装置は、撮像された動画像又は連続静止画像を受け付ける、受付手段と、前記受付手段により受け付けられた動画像又は連続静止画像から静止画像を取り出す取出手段と、前記取出手段により取り出された静止画像から特定領域を抽出する、抽出手段と、前記抽出手段により抽出された特定領域の、動きを検出する、検出手段と、前記特定領域の動きに基づいて、前記特定領域を合成する合成手段と、を具えている。【選択図】図３

Description

本発明は、画像処理装置、画像処理システム及びプログラムに関する。

下記特許文献１には、画像情報を入力する画像情報入力手段と、該画像情報入力手段により入力した入力画像情報を符号化する符号化手段と、該符号化手段により符号化された画像情報を通信回線を介して通信する通信手段と、該通信手段から受信した受信画像情報を復号化する復号化手段と、前記入力画像情報及び受信画像情報を出力表示する出力表示手段とを有する画像通信装置において、前記画像情報入力手段としてカメラを用い、該カメラにより文書原稿を撮像入力する時その文書原稿のサイズ及び方向を検出するサイズ・方向検出手段と、該サイズ・方向検出手段により得られた前記文書原稿のサイズ情報及び方向情報に基づき自動的に前記文書原稿の撮像を複数回に分割して行うように前記カメラを順次可動させる可動手段と、前記複数回に分割して取り込む画像を順次記憶する第１の記憶手段と、前記複数回に分割して取り込まれる画像を文書原稿全体画像として１つの文書原稿画像に合成する画像合成手段と、前記文書原稿画像を前記通信回線を介して通信相手である受信側画像通信装置に静止画像として符号化して送信する送信手段と、前記文書原稿全体画像を送信すると共に前記カメラを文書原稿全体領域が撮像領域となるように焦点及びズーム合わせを自動的に設定する設定手段と、前記文書原稿全体領域の画像を静止画像として取り込み記憶する第２の記憶手段と、該第２の記憶手段に前記文書原稿全体領域の入力画像を静止画像として取り込み記憶後は前記文書原稿全体領域の入力画像を撮像すると共に該撮像と前記第２の記憶手段に記憶された画像とを常に比較する比較手段と、該比較手段による比較の差分が基準値以上になった時その差分の検出された部分の画像のみを抽出して動画像として符号化して送信する送信手段とを具備したことを特徴とする画像通信装置、が開示されている。

下記特許文献２には、動画像データから、ある時点の１枚の静止画像をフレーム画像として順次抽出して出力し、または時系列に配列された静止画像データをフレーム画像として順次出力するフレーム抽出部と、前記フレーム抽出部で出力されたフレーム画像を格納するフレーム格納部と、前記フレーム格納部に格納された前記フレーム画像を入力し、文字または図形が記載された領域を抽出する記載領域抽出部と、前記記載領域抽出部で抽出された各領域の特徴を抽出する特徴抽出部と、該特徴を格納する特徴情報格納部と、前記特徴抽出部で抽出された特徴を現フレームの特徴として入力し、及び前記特徴情報格納部に格納された特徴を前フレームの特徴として入力し、双方の特徴を比較して重なり領域を検出する重なり領域検出部と、前記重なり領域検出部で検出した重なり領域のデータに基づき現フレームと前フレームとを合成する合成部２６とを具えることを特徴とする画像合成装置、が開示されている。

下記特許文献３には、動画像あるいは複数の静止画像を撮影するデジタルカメラあるいはデジタルビデオカメラとネットワーク上で画像データを送受するための通信部と画像を表示する表示部とを備えたカメラ装置と、前記カメラ装置からの動画像データあるいは複数の静止画像フレームから文字領域を検出する文字領域検出部と前記文字領域の画像を静止画像として合成する合成処理部と画像データをファイリングするファイリング部とを備えた画像処理サーバとがネットワークで接続されたことを特徴とする画像合成通信システム、が開示されている。

下記特許文献４には、互いに重複領域を持つ複数の画像の合成処理を行う画像処理装置において、前記合成処理の対象となる第１の画像と第２の画像とを記憶する記憶手段と、前記第１の画像と第２の画像との重複領域における特徴位置を検出して、この検出結果に基づき第１の画像と第２の画像とを合成するための画像移動量を算出する画像移動量算出手段と、前記第１の画像と第２の画像とを合成する際に、これらの画像の重複領域においてこれらの画像の接合端部位置を検出する接合端部検出手段と、前記接合端部検出手段により検出された接合端部位置に従って、第１の画像のデータと第２の画像のデータから、これらの合成画像に使用されるデータを選択する選択手段と、前記選択手段により選択されたデータと前記画像移動量算出手段により算出された画像移動量とに基づいて、第１の画像と第２の画像との合成画像を生成する合成画像生成手段とを備え、前記接合端部検出手段は、接合端部検出のための閾値を決定する閾値決定手段と、前記第１の画像と第２の画像との重複領域における所定端部に検出始点を設定する検出始点設定手段と、前記検出始点設定手段により設定された検出始点から所定の検出進行方向に沿って、前記閾値決定手段により決定された閾値以上の値を持つ画素を所定の領域内で検出する画素検出手段と、前記画素検出手段による検出結果に応じて、前記画素検出手段による画素の検出の進行方向を変更する検出方向変更手段と、前記検出方向変更手段により変更された検出の進行方向に沿って、前記第１の画像と第２の画像との接合端部位置を設定する接合端部設定手段とを有することを特徴とする画像処理装置、が開示されている。

特開平０９−２１４９２４号公報 特開２００３−０６０８９４号公報 特開２００３−１２５１９１号公報 特開２００３−１４１５２６号公報

本発明は、原稿の一頁分全体を収めることのできない撮像装置を用いて原稿を撮影する場合でも、一頁分の原稿画像として電子文書化することのできる画像処理装置、画像処理システム及びプログラムの提供を目的とする。

［画像処理装置］
請求項１に係る本発明は、撮像された動画像又は連続静止画像を受け付ける、受付手段と、
前記受付手段により受け付けられた動画像又は連続静止画像から静止画像を取り出す取出手段と、
前記取出手段により取り出された静止画像から特定領域を抽出する、抽出手段と、
前記抽出手段により抽出された特定領域の、動きを検出する、検出手段と、
前記特定領域の動きに基づいて、前記特定領域を合成する合成手段と、
を具える、画像処理装置である。

請求項２に係る本発明は、前記特定領域におけるボケ度合いを算出する、ボケ算出手段と、
前記静止画像において他の前記静止画像と重複する領域を、ボケ度合いがより少ない前記静止画像の画像に置き換える、重複領域置換手段、を更に具えた、請求項１記載の画像処理装置である。

請求項３に係る本発明は、連続静止画像を撮像する連続静止画像撮像手段を更に具えた、請求項１又は２記載の画像処理装置である。

請求項４に係る本発明は、動画像から複数のフレーム画像を抽出して前記連続静止画像として出力する、連続静止画像出力手段、を更に具えた、請求項１から３のいずれか記載の画像処理装置である。

請求項５に係る本発明は、動画像を撮像する動画像撮像手段を更に具えた、請求項４記載の画像処理装置である。

［画像処理システム］
請求項６に係る本発明は、連続静止画像及び動画像の少なくともいずれかを撮像する画像撮像装置と、
請求項１〜５のいずれか記載の画像処理装置と、
を具えた、画像処理システムである。

［プログラム］
請求項７に係る本発明は、撮像された動画像又は連続静止画像を受け付ける、ステップと、
前記受付手段により受け付けられた動画像又は連続静止画像から静止画像を取り出すステップと、
前記取出手段により取り出された静止画像から特定領域を抽出する、ステップと、
前記抽出手段により抽出された特定領域の、動きを検出する、ステップと、
前記特定領域の動きに基づいて、前記特定領域を合成するステップと、
をコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、原稿の一頁分全体を収めることのできない撮像装置を用いて撮影された連続静止画像を基にして、頁毎に電子文書画像を得ることができる。

請求項２に係る本発明によれば、ボケ算出手段及び重複領域置換手段を具えないと比べて、より鮮明な電子文書画像を得ることができる。

請求項３に係る本発明によれば、撮像範囲内に一頁分全体を収めることのできない原稿からでも、頁毎に電子文書画像を得ることができる。

請求項４に係る本発明によれば、原稿の一頁分全体を収めることのできない撮像装置を用いて撮影された動画像を基にして、頁毎に電子文書画像を得ることができる。

請求項５に係る本発明によれば、撮像範囲内に一頁分全体を収めることのできない原稿からでも、頁毎に電子文書画像を得ることができる。

請求項６に係る本発明によれば、撮像範囲内に一頁分全体を収めることのできない原稿からでも、頁毎に電子文書画像を得ることができる。

請求項７に係る本発明によれば、原稿の一頁分全体を収めることのできない撮像装置を用いて撮影された連続静止画像を基にして、頁毎に電子文書画像を得ることができる。

本発明の実施形態に係る画像処理システムのシステム構成を示す概念図である。 本発明の実施形態に係る画像処理装置１０のハードウェア構成を示すブロック図である。 本発明の実施形態に係る画像処理装置１０の機能構成を示すブロック図である。 画像処理装置１０の実施例１に係る動作を説明するためのフローチャートである。 画像処理装置１０の実施例２に係る動作を説明するためのフローチャートである。 実施例２における原稿画像の撮像状態を示す模式図である。

図１は、本発明の実施形態に係る画像処理システムのシステム構成を示す概念図である。本実施形態に係る画像処理システムは、画像処理装置１０と、撮像装置５１により構成されており、画像処理装置１０及び撮像装置５１は、ネットワーク５０を介して接続可能となっている。

撮像装置５１は、撮像対象を動画像や連続静止画像として撮像可能な装置であり、デジタルカメラやデジタルビデオカメラ、あるいは、撮像機能を有するスマートフォンやパーソナルコンピュータ等の周知のものを採用可能である。

なお、本実施形態は、画像処理を行う画像処理装置１０と、撮像を行う撮像装置５１とを別体のものとして説明するが、画像処理機能と撮像機能の双方を有するようになされていれば、一体型の装置でも本発明は実施可能であり、以下に示すようなシステムではなく、撮像機能を有する画像処理装置、あるいは、画像処理機能を有する撮像装置として実施しても良い。

図２は、画像処理装置１０のハードウェア構成を示すブロック図である。

画像処理装置１０は、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、ネットワーク５０を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４を有し、これらの構成要素が、制御バス１５を介して互いに接続されている。

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された（あるいはＣＤ−ＲＯＭ等の記憶媒体（図示しない）から提供される）制御プログラム、に基づいて所定の処理を実行して、画像処理装置１０の動作を制御する。

図３は、画像処理装置１０の機能構成を示すブロック図である。画像処理装置１０は、受付部２１と、取出部２２と、抽出部２３と、検出部２４と、合成部２５とを具えている。

受付部２１には、撮像装置５１により撮像された連続静止画像や動画像の入力を受け付ける。

なお、動画像からフレーム画像を複数取り出し、時系列（撮影順序）に配列することでも連続静止画像を得ることもできる。

取出部２２は、受付部に格納されている連続静止画像又は動画像から個々の静止画像を取り出す。

抽出部２３は、個々の静止画像あるいは合成部２５が合成した合成画像から電子文書化したい内容が含まれる領域（以下、「原稿領域」ともいう。また、原稿領域以外の領域を「背景領域」ともいう）を抽出する。原稿領域と背景領域との境界としては、例えば、用紙の端部を境界部として検出することで、原稿書類の用紙の範囲内を原稿領域とし、原稿書類が置かれている机等を背景領域とすることができる。また、原稿書類の用紙内の印字領域、余白領域を、それぞれ原稿領域、背景領域と区分してもよい。原稿領域と背景領域の境界部を検出する方法には、周知の方法を適用可能である。

検出部２４は、連続静止画像から取り出された、時系列的に隣接する２つの静止画像を比較し、撮像エリアを基準として両者間で、原稿領域がどの方向に移動したのかという動きの方向を検出する。

合成部２５は、個々の静止画像から合成用に抽出された領域を結合することで、一頁分の原稿画像を合成する。

以下、実施例１として縦方向と横方向の少なくともどちらか一方が撮像装置の撮像範囲内に収まらない原稿を、撮像対象として生成された連続静止画像から、一頁の電子文書を生成する場合について、図４のフローチャートを参照しながら説明する。

ステップＳ１では、連続静止画像あるいは動画像から、時系列的に一番古い静止画像を取り出し、「電子文書画像」として保存する。

ステップＳ２では、連続静止画像あるいは動画像から、未処理の静止画像（取り出されていない静止画像）の内、時系列的に一番古い静止画像を取り出す。

ステップＳ３では、ステップＳ２で取り出された静止画像から、原稿領域と背景領域との境界部を検出する。

ステップＳ４では、現在処理中の静止画像よりも時系列的に一つ分古い静止画像と比較して、原稿領域・境界部の動きの方向を検出する。以下、時系列的にｋ番目の静止画像が、ｋ−１番目の静止画像に対して動いた動きの方向を「動きの方向［ｋ］」ともいう。

ステップＳ５では、ステップＳ４で算出された動きの方向に基づいて、ステップＳ２で取り出された静止画像から画像合成に供する領域（以下、「合成元画像」ともいう）を抽出し、保存されている電子文書画像に対して合成を行うことで、電子文書画像を更新する。

ここで、時系列的にｋ番目の静止画像から抽出された領域画像を合成された電子文書画像を、「電子文書［ｋ］画像」と呼ぶことにし、ｋ番目の静止画像から合成元画像を抽出して電子文書［ｋ−１］画像に合成することで電子文書［ｋ］画像を生成する具体的な方法の例を以下に示す。

すなわち、ｋ−１番目の静止画像とｋ番目の静止画像とを比較し、ｋ番目の静止画像から、ｋ−１番目の静止画像との重複領域を除いた残りの領域を、合成元画像（以下、ｋ番目の静止画像から抽出された合成元画像を「合成元画像［ｋ］」ともいう）として抽出する。次いで、合成元画像［ｋ］を、電子文書［ｋ−１］画像の端部であって動きの方向［ｋ］の逆側の端部（例えば、動きの方向が上方向の場合は、電子文書［ｋ−１］画像の下側の端部）に合成することで、電子文書［ｋ］画像を生成する。

ステップＳ６では、処理されていない静止画像が残っているかどうかを判定し、ＹＥＳの場合はステップ２へ戻り（時系列的に次の静止画像の処理を開始）、ＮＯの場合は終了となる。

処理されていない静止画像が残っているかどうかは、例えば、静止画像の総数Ｎを予めカウントしておき、ステップＳ５からステップＳ１へ戻る際に、処理を行った静止画像のカウント数に１加えるようにしておくことで、カウント数とＮの大小関係の判定により可能である。

なお、上記フロー後、得られた電子文書画像から原稿領域を抽出することで、背景領域を除いた電子文書が得られるが、原稿領域の抽出処理を、画像合成の前に行う、すなわち各静止画像に対して行っても良い。その際、上述したフローについては「静止画像」を適宜「静止画像の原稿領域」と読み替えて実施すればよい。予め背景領域を除いておくことで、背景領域のみしかない静止画像に係る合成処理を省くことができ、処理時間の短縮や無駄なリソースの消費の低減が可能となる。

次に、実施例２として、複数枚の用紙からなる原稿等の様に複数頁にわけることのできる原稿であって、一用紙（一頁分）に含まれる原稿領域のサイズに関して、縦方向と横方向のどちらか一方が撮像装置の撮像範囲内に収まらない原稿を、撮像対象として生成された連続静止画像から、複数ページの電子文書を生成する場合の例を、図５のフローチャートを参照しながら説明する。

なお、本実施例においては、図６に示すように、原稿領域が撮像範囲に収まらない方向（図６では横方向）に原稿を並べておいて、これを当該方向に撮像していくことで連続静止画像を生成した場合として説明する。また、本実施例においては、原稿領域が矩形であるとし、上述したように縦方向と横方向のどちらか一方は撮像範囲に収まるため、２方向（図６の例では、上下の２方向）の原稿領域と背景領域の境界部は常に収まるように撮像したものとする。また、動き方向の逆側（図６の例では左側）の境界部又は動き方向の側（図６の例では右側）の境界部に関しては、撮像範囲に双方含まれないか、どちらかのみが含まれる、ことになる。

ステップＳ１１では、連続静止画像あるいは動画像から、時系列的に一番古い静止画像を取り出し、「電子文書」の一頁目の画像（以降、ｍ番目の頁の画像を、「［ｍ］頁画像」ともいう）として保存すると共に、生成された頁画像の件数（頁数）のカウントｐを０にセットする。

ステップＳ１２では、連続静止画像あるいは動画像から、未処理の静止画像（取り出されていない静止画像）の内、時系列的に一番古い静止画像を取り出す。

ステップＳ１３では、ステップＳ２で取り出された静止画像から、原稿領域と背景領域との境界部の検出が行われる。

ステップＳ１４では、現在処理中の静止画像よりも時系列的に一つ分古い静止画像と比較して、原稿領域の動きの方向を検出する。以下、時系列的にｋ番目の静止画像が、ｋ−１番目の静止画像に対して動いた動きの方向を「動きの方向［ｋ］」ともいう。

ステップＳ１５では、ステップＳ１２で取り出した静止画像に、ここまでに更新してきた頁（「ｐ＋１」頁）の次の頁の原稿領域が、存在しないかどうかについて判定される。ＹＥＳの場合はステップＳ１６へ進み、ＮＯの場合はステップＳ１７へ進む。

次頁の原稿領域が存在するかどうかの判定は、例えば、原稿領域に対して動き方向の側（図６の例では右側）に位置する境界部が存在するかどうかの判定により可能である。

ステップＳ１６では、ステップＳ１４で算出された動きの方向に基づいて、ステップＳ１２で取り出された静止画像から合成元画像を抽出し、［ｐ＋１］頁目画像に対して合成を行うことで、現在処理中の頁の画像を更新し、ステップＳ２０へ進む。

ステップＳ１７では、ステップＳ１２で取り出された静止画像を、ステップＳ１５で検出された境界部よりも動き方向の逆側の領域と、動き方向の側の領域とに区分し、ステップＳ１４で算出された動きの方向に基づいて、前者からは合成元画像を抽出し、［ｐ＋１］頁目画像に対して合成を行うことで、現在処理中の頁の画像を更新すると共に、後者を［ｐ＋２］番目画像として保存する。

ステップＳ１８では、［ｐ＋１］頁目画像に関する合成が全て完了したかどうかが判定され、ＹＥＳであればステップＳ２０へ進み、ＮＯであれば、ステップＳ１９へ進む。合成が完了したかどうかは、例えば、ステップＳ１７で区分された領域の内、前者である境界部よりも動き方向の逆側の領域に、原稿領域が存在するかどうかにより判定することが可能である。

ステップＳ１９では、ｐに１を加える。

ステップＳ２０では、処理を行っていない静止画像が残っているかどうかを判定し、ＹＥＳの場合はステップ１２へ戻り（時系列的に次の静止画像の処理を開始）、ＮＯの場合は終了となる。

このように、本実施形態に係る画像処理システムを用いることで、一頁が撮像装置の撮像範囲に収まりきらない原稿であっても、各頁単位で画像化された一つの原稿として電子文書化することが可能となる。

なお、上記各実施例においては、他の静止画像と重複する領域については、当該領域を含む静止画像の内、時系列的に一番古い静止画像（処理上、一番最初に処理されるもの）の当該領域を合成元画像として用いる例として説明したが、撮像条件により、より時系列的に若い静止画像の当該領域の画像の方がより鮮明に撮像されている可能性もある。

そのため、本実施形態に係る画像処理装置１０においては、原稿領域のボケ度合いを算出するボケ度合い算出部と、合成元画像の他の静止画像との重複領域を、ボケ度合いがより少ない（＝より鮮明である）他の静止画像の当該領域の画像と置換する、重複領域置換部と、を更に具えるようにすることで、より鮮明な電子文書を得ることができる。

また、原稿と撮像装置の組み合わせによっては、撮像範囲内に一頁分の原稿領域が全て収まる場合もあり得る。原稿が一頁のみの場合は、静止画像から原稿領域を抽出し電子文書として保存すればよい。

また、複数頁からなる原稿の場合、各静止画像内に存在する原稿領域として、一頁分が全て含まれ境界部に四方を囲まれている場合と、そうでない場合が生じる（以下、境界部に四方を囲まれている原稿領域を「閉領域」、そうでない原稿領域を「開領域」ともいう）。従って、動き方向に沿って順次、閉領域については、抽出して電子文書の各頁画像として保存していき、開領域については、上述したステップＳ５に順じて、頁画像の合成を行うようにして、複数の頁画像から成る電子文書を生成すればよい。

以上で説明をしたように、本発明は画像処理装置、画像処理システム及びプログラムに適用することができる。

１０ 画像処理装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース
１５ 制御バス
２１ 受付部
２２ 取出部
２３ 抽出部
２４ 検出部
２５ 合成部
５０ ネットワーク
５１ 撮像装置

Claims (7)

1. 撮像された動画像又は連続静止画像を受け付ける、受付手段と、
   前記受付手段により受け付けられた動画像又は連続静止画像から静止画像を取り出す取出手段と、
   前記取出手段により取り出された静止画像から特定領域を抽出する、抽出手段と、
   前記抽出手段により抽出された特定領域の、動きを検出する、検出手段と、
   前記特定領域の動きに基づいて、前記特定領域を合成する合成手段と、
   を具える、画像処理装置。
2. 前記特定領域におけるボケ度合いを算出する、ボケ算出手段と、
   前記静止画像において他の前記静止画像と重複する領域を、ボケ度合いがより少ない前記静止画像の画像に置き換える、重複領域置換手段、を更に具えた、請求項１記載の画像処理装置。
3. 連続静止画像を撮像する連続静止画像撮像手段を更に具えた、請求項１又は２記載の画像処理装置。
4. 動画像から複数のフレーム画像を抽出して前記連続静止画像として出力する、連続静止画像出力手段、を更に具えた、請求項１から３のいずれか記載の画像処理装置。
5. 動画像を撮像する動画像撮像手段を更に具えた、請求項４記載の画像処理装置。
6. 連続静止画像及び動画像の少なくともいずれかを撮像する画像撮像装置と、
   請求項１〜５のいずれか記載の画像処理装置と、
   を具えた、画像処理システム。
7. 撮像された動画像又は連続静止画像を受け付ける、ステップと、
   前記受付手段により受け付けられた動画像又は連続静止画像から静止画像を取り出すステップと、
   前記取出手段により取り出された静止画像から特定領域を抽出する、ステップと、
   前記抽出手段により抽出された特定領域の、動きを検出する、ステップと、
   前記特定領域の動きに基づいて、前記特定領域を合成するステップと、
   をコンピュータに実行させるためのプログラム。

Images