JP2016177364A - 情報処理装置、および紙媒体への撮像で得られるデータのデータ構造 - Google Patents

Abstract

【課題】複数の原稿が綴じられてなる冊子を電子化するとともに、そのデータについて従来よりも多様な閲覧形式を提供する。【解決手段】情報処理装置は、撮像部と、撮像部から、複数の原稿が綴じられてなる冊子がめくられる様子を示す動画像データを得る動画像データ取得部と、動画像データを構成する静止画像データに対してＯＣＲ処理を行い、複数の原稿のそれぞれについて当該原稿に含まれる文字を示すテキストデータを得るテキストデータ取得部と、同一冊子に対するテキストデータと動画像データとを関連付けて記憶する記憶部と、を備える。【選択図】図５

Description

本発明は、情報処理装置、および紙媒体への撮像で得られるデータのデータ構造に関し、特に、複数の原稿が綴じられてなる冊子からテキストデータを抽出する技術に関する。

近年、ＰＣ（Personal Computer）やスマートフォン等の情報処理装置の普及に伴い、原稿等の紙媒体に記載された内容の電子化（データ化）が広く行われている。

特許文献１には、紙媒体をカメラ（撮像部）で撮像して静止画像データ化することで、紙媒体に記載された内容の電子化を行う技術が開示されている。また、特許文献１では、得られた静止画像データに対してＯＣＲ（Optical Character Recognition）処理を行うことで、紙媒体に含まれる文字を示すテキストデータを抽出している。これにより、紙媒体に記載された内容を検索したり分析することが可能となる。

特開２００３−６０８９４号公報

しかしながら、上記の特許文献１が開示する技術では、紙媒体に記載された内容を、静止画像データやテキストデータ等の静止データとして電子化するものであり、データの閲覧形式に限りがある。例えば、複数の原稿が綴じられてなる冊子を閲覧する場合、紙媒体に記載された内容だけでなく冊子をめくる様子等を閲覧したいときがある。

本発明は、上記の事情に鑑みなされたものであり、複数の原稿が綴じられてなる冊子を電子化するとともに、そのデータについて従来よりも多様な閲覧形式を提供することを可能にすることを目的とする。

本発明の一局面にかかる情報処理装置は、撮像部と、前記撮像部から、複数の原稿が綴じられてなる冊子がめくられる様子を示す動画像データを得る動画像データ取得部と、前記動画像データを構成する静止画像データに対してＯＣＲ処理を行い、前記複数の原稿のそれぞれについて当該原稿に含まれる文字を示すテキストデータを得るテキストデータ取得部と、前記撮像部が撮像する原稿が次のページの原稿に変わったか否かを、前記冊子に対するめくり動作を検出することで判定する原稿判定部と、を備え、前記テキストデータ取得部は、前記原稿判定部により前記撮像部が撮像する原稿が次のページの原稿に変わったものと判定された場合に前記ＯＣＲ処理を実行する情報処理装置である。

また、本発明の別の一局面にかかるデータ構造は、紙媒体への撮像で得られるデータのデータ構造であって、撮像部を有する情報処理装置により撮像された、複数の原稿が綴じられてなる冊子がめくられる様子を示す動画像データと、前記動画像データを構成する静止画像データに対してＯＣＲ処理をすることで得られる、前記複数の原稿のそれぞれについて当該原稿に含まれる文字を示すテキストデータと、同一の前記冊子に対する前記動画像データと前記テキストデータとを関連付ける関連付け情報と、を具備するデータ構造である。

本発明によれば、冊子に記載された内容を、静止画像データやテキストデータ等の静止データのみで電子化するのではなく、静止データに加えて、冊子を構成する各原稿および冊子がめくられる様子を含む動画像データで電子化している。これにより、電子化したデータについて従来よりも多様な閲覧形式を提供することができる。

（Ａ）および（Ｂ）は、本発明の一実施形態にかかる情報処理装置を示す図であり、（Ａ）は、情報処理装置の表面側を示し、（Ｂ）は、情報処理装置の裏面側を示す。 本発明の一実施形態にかかる情報処理装置の使用態様を示す図である。 本発明の一実施形態にかかる情報処理装置の内部構成を示すブロック図である。 （Ａ）および（Ｂ）は、本発明の一実施形態にかかる情報処理装置の記憶部が記憶するデータのデータ構造を示す図である。 本発明の一実施形態にかかる情報処理装置の電子化処理における動作の流れを示すフローチャートである。 本発明の一実施形態にかかる情報処理装置の書籍データの閲覧処理における動作の流れを示すフローチャートである。 本発明の一実施形態にかかる情報処理装置の表示部に表示される操作画面の一例を示す図である。 （Ａ）および（Ｂ）は、本発明の一実施形態にかかる情報処理装置の表示部に表示される閲覧画面の一例を示す図である。 本発明の一実施形態にかかる情報処理装置のテキストデータの修正処理における動作の流れを示すフローチャートである。 （Ａ）は、本発明の一実施形態にかかる情報処理装置の表示部に表示される確認画面の一例を示す図であり、（Ｂ）は、表示部に表示される修正画面の一例を示す図である。 変形例にかかる情報処理装置の電子化処理における動作の流れを示すフローチャートである。 変形例にかかる情報処理装置の使用態様を示す図である。

以下、本発明の一実施形態にかかる情報処理装置、および紙媒体への撮像で得られるデータのデータ構造について図面を参照して説明する。

図１（Ａ）および図１（Ｂ）は、本発明の一実施形態にかかる情報処理装置１を示す図であり、図１（Ａ）は、情報処理装置１の表面側を示し、図１（Ｂ）は、情報処理装置１の裏面側を示す。

情報処理装置１は、ＰＣ、タブレット端末、デジタルカメラ、スマートフォン等の撮像手段を有する情報処理装置である。図１（Ａ）および図１（Ｂ）に示す例では、情報処理装置１がスマートフォンである場合を示している。

情報処理装置１は、外郭を構成する筐体１０、筐体１０内に収容された表示部２０、タッチパネル３０、物理キー４０、スピーカー部５０、マイク部５１、カメラ部６０、および発光部７０等を備えている。

表示部２０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）ディスプレイであって、筐体１０内の表面側に配設される。表示部２０は、後述する表示制御部１０２（図３参照）による制御の下、ユーザー操作を受け付けるための操作画面や、カメラ部６０が撮像した動画像データや静止画像データ等を表示する。

タッチパネル３０は、例えば、マルチタッチを検出可能な静電容量方式のタッチパネルであって、表示部２０の表示画面部分の前面に配設される。タッチパネル３０は、表示部２０の表示画面上におけるユーザーによる接触を接触位置とともに検知する。タッチパネル３０は、ユーザーによる接触を検知すると、その接触位置を示す検知信号を後述する受付部１０３（図３参照）等に出力する。

物理キー４０は、筐体１０内の表面側に配設され、上記のタッチパネル３０とともに、ユーザーによる操作を受け付ける操作部として機能する。図１（Ａ）および図１（Ｂ）に示す例では、物理キー４０がホーム画面に戻るためのホームボタンである場合を示しているが、他に操作画面を構成するＧＵＩのフォーカスを移動させる矢印キー、操作画面を構成するＧＵＩに対して確定操作を行う決定キー、文字入力を行うための文字入力キー、数値入力を行うための数値入力キー等を備えてもよい。

スピーカー部５０は、筐体１０内の表面側に配設され、後述する報知制御部１０９（図３参照）による制御の下、着信音や警告音等の音声を出力する。

マイク部５１は、筐体１０内の表面側に配設され、情報処理装置１の外部で発生した音声を集音する。

カメラ部６０（撮像部）は、被写体からの光を結像する撮像レンズ（不図示）、当該撮像レンズよって結像された被写体像を光電変換する撮像素子（不図示）、および撮像素子を駆動する回路（不図示）等を備える。カメラ部６０は、筐体１０内の裏面側に配設され、被写体の動画像や静止画像を撮像する。撮像中において表示部２０には、カメラ部６０が向けられた被写体を示す画像が表示される。このためユーザーは、被写体の様子を確認しながら撮像を行うことができる。

発光部７０は、ＬＥＤ（Light-Emitting Diode）等の発光素子を備える。発光部７０は、カメラ部６０の上部に配設され、カメラ部６０が被写体を撮像する際にフラッシュ光を被写体に向けて出射する。

図２は、情報処理装置１の使用態様を示す図である。情報処理装置１は、動作モードとして、通話を行うための通話モードや撮像を行うための撮像モードに加えて、紙媒体に記載された内容の電子化を行う電子化モードを有する。当該電子化モードにおいて、情報処理装置１は、原稿等の紙媒体をカメラ部６０で撮像することで、紙媒体に記載された内容を電子化する。図２に示す例では、複数の原稿が綴じられてなる冊子Ｈが電子化の対象とされている。詳細は後述するが、ユーザーは、まず、電子化したい最初のページである原稿Ｐ１にカメラ部６０を向け、原稿Ｐ１の撮像を行う。原稿Ｐ１の撮像後、ユーザーは、原稿Ｐ１の次のページである原稿Ｐ２にカメラ部６０を向け、原稿Ｐ２の撮像を行う。原稿Ｐ１および原稿Ｐ２の撮像後、ユーザーは、冊子Ｈをめくり原稿Ｐ２以降のページの原稿の撮像も行う。こうすることで、冊子Ｈを構成する各原稿が撮像され、冊子Ｈの電子化が完了する。

続いて、情報処理装置１の内部構成を説明する。図３は、情報処理装置１の内部構成を示すブロック図である。なお、既に説明した構成については、その説明を簡略または省略する。

通信部８０は、無線ＬＡＮボード等の通信モジュールから構成されるネットワークインターフェイスである。

記憶部９０は、ＨＤＤ（Hard Disk Drive）等の大容量の記憶装置である。

制御ユニット１００は、ＣＰＵ(Central Processing Unit)、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等から構成される。制御ユニット１００は、上記のＲＯＭまたは記憶部９０等に記憶された制御プログラムが上記のＣＰＵに実行されることにより、制御部１０１、表示制御部１０２、受付部１０３、撮像制御部１０４、動画像データ取得部１０５、テキストデータ取得部１０６、原稿判定部１０７、記憶制御部１０８、および報知制御部１０９として機能する。なお、制御ユニット１００の上記の各構成は、前述の制御プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。

制御部１０１は、情報処理装置１の全体的な動作制御を司る。制御部１０１は、表示部２０、タッチパネル３０、物理キー４０、スピーカー部５０、マイク部５１、カメラ部６０、発光部７０、通信部８０、および記憶部９０等と接続されており、接続されている上記各機構の動作制御や、各機構との間での信号又はデータの送受信を行う。

表示制御部１０２は、表示部２０による表示動作を制御する機能を有する。

受付部１０３は、タッチパネル３０や物理キー４０等を用いて入力されたユーザー操作に応じた指示を受け付ける機能を有する。

撮像制御部１０４は、カメラ部６０による撮像動作を制御する機能を有する。撮像制御部１０４は、カメラ部６０の撮像レンズ（不図示）を移動させることで焦点距離を変化させる光学ズームにより、カメラ部６０のズーム倍率を調整する。

動画像データ取得部１０５は、カメラ部６０から出力されたアナログ信号をデジタル信号に変換しノイズ除去等の処理に基づく補正を行うことで、動画像データを得る機能を有する。情報処理装置１が図２に示す使用態様で用いられた場合、動画像データ取得部１０５は、冊子を構成する各原稿および冊子がめくられる様子を含む動画像データを得る。

冊子の撮像中、動画像データ取得部１０５が得た動画像データは、表示制御部１０２による制御の下、直ちに表示部２０に表示される。また、受付部１０３が冊子の電子化終了指示を受け付けた場合、受付部１０３が冊子の電子化開始指示を受け付けてから冊子の電子化終了指示を受け付けるまでの間に動画像データ取得部１０５が得た動画像データが、後述する記憶制御部１０８による制御の下、記憶部９０に記憶される。なお、動画像データ取得部１０５は、マイク部５１から出力される音声信号に基づく音声データを動画像データに含めない。すなわち、記憶部９０に記憶される動画像データは、無音の動画像データとなる。

テキストデータ取得部１０６は、動画像データ取得部１０５が取得した動画像データを構成する静止画像データに対してＯＣＲ処理を行い、冊子を構成する各原稿に含まれる文字を示すテキストデータを取得する機能を有する。

テキストデータ取得部１０６は、まず、受付部１０３が冊子の電子化開始指示を受け付けた時点でカメラ部６０が撮像している原稿（図２における原稿Ｐ１）を示す動画像データの中から、ＯＣＲ処理対象の静止画像データを１つ抽出する。そして、テキストデータ取得部１０６は、当該抽出した静止画像データに対してＯＣＲ処理を行い、テキストデータを取得する。初回のＯＣＲ処理以降については、テキストデータ取得部１０６は、カメラ部６０が撮像する原稿が次のページの原稿に変わる度に、当該次のページの原稿を示す動画像データからＯＣＲ処理対象の静止画像データを１つ抽出する。なお、カメラ部６０が撮像する原稿が次のページの原稿に変わったか否かは、後述する原稿判定部１０７により判定される。

受付部１０３が冊子の電子化終了指示を受け付けた場合、受付部１０３が冊子の電子化開始指示を受け付けてから冊子の電子化終了指示を受け付けるまでの間にテキストデータ取得部１０６が得たテキストデータが、後述する記憶制御部１０８による制御の下、記憶部９０に記憶される。

原稿判定部１０７は、カメラ部６０が撮像する原稿が次のページの原稿に変わったか否かを判定する機能を有する。原稿判定部１０７は、動画像データ取得部１０５が得た動画像データを解析して、冊子に対するめくり動作を検出するめくり検出を行うことで、カメラ部６０が撮像する原稿が次のページの原稿に変わったか否かを判定する。

めくり検出では、原稿判定部１０７は、動画像データを解析して、ユーザーの手の位置を検出する。そして、原稿判定部１０７は、検出した手の動きが予め定められた移動パターンに合致するか否かを判定し、予め定められた移動パターンに合致する場合にめくり動作が行われたことを検出する。なお、めくり検出の手法は、上記で説明したものに限られない。例えば、原稿判定部１０７は、動画像データを解析して原稿の縁部分を検出しておき、当該原稿の縁部分の予め定められた距離以上の移動を検出した場合に、めくり動作が行われたことを検出してもよい。

右綴じ、左綴じ、上綴じの冊子、すなわち見開き部分を有しない冊子では、原稿判定部１０７が上記のめくり動作を検出することで、カメラ部６０が撮像する原稿が次のページの原稿に変わったか否かを判定することができる。しかしながら、中綴じの冊子、すなわち見開き部分を有する冊子では、原稿判定部１０７が上記のめくり動作を検出するだけでは、カメラ部６０が撮像する原稿が次のページの原稿に変わったか否かを判定することができない。そこで、原稿判定部１０７は、上記のめくり検出に加えて、カメラ部６０の視点の移動を検出する視点移動検出を行う。

視点移動検出では、原稿判定部１０７は、動画像データを解析して、特徴点、例えば中綴じの冊子におけるのど部分を検出する（特徴点検出）。そして、原稿判定部１０７は、当該特徴点の予め定められた距離以上の移動を検出した場合に、カメラ部６０の視点の移動が行われたことを検出する。

原稿判定部１０７は、上記のめくり検出、または、視点移動検出のどちらか一方が検出された場合に、カメラ部６０が撮像する原稿が次のページの原稿に変わったことを検出する。これにより、見開き部分を有する冊子においても、カメラ部６０が撮像する原稿が次のページの原稿に変わったか否かを判定することができる。

受付部１０３が冊子の電子化終了指示を受け付けた場合、原稿判定部１０７は、受付部１０３が冊子の電子化開始指示を受け付けてから冊子の電子化終了指示を受け付けるまでの間にカメラ部６０が撮像した動画データにおいて、カメラ部６０が撮像する原稿が次のページの原稿に変わったタイミングを示すページ間情報を生成する。当該ページ間情報は、後述する記憶制御部１０８による制御の下、記憶部９０に記憶される。

報知制御部１０９（報知部）は、スピーカー部５０による音声の出力動作を制御する機能を有する。報知制御部１０９は、例えば、テキストデータ取得部１０６によるＯＣＲ処理が成功した場合に、ＯＣＲ処理が成功した旨を報知するための予め定められた成功報知音をスピーカー部５０に出力させる。これにより、ユーザーは、現在カメラ部６０を向けている原稿に対するＯＣＲ処理が成功したので、カメラ部６０を次のページの原稿に向けるべきであることを知ることができる。なお、テキストデータ取得部１０６によるＯＣＲ処理が成功した場合に、表示制御部１０２が、ＯＣＲ処理が成功した旨を報知する報知画面を表示部２０に表示させてもよい。この場合、表示制御部１０２が報知部として機能することになる。

記憶制御部１０８は、記憶部９０によるデータの記憶動作を制御する機能を有する。記憶制御部１０８による制御により、記憶部９０には、カメラ部６０による冊子への撮像で得られるデータが記憶される。

図４（Ａ）および図４（Ｂ）は、記憶部９０が記憶するデータのデータ構造を示す図である。記憶部９０には、同一の冊子に対する動画像データ、テキストデータ、およびページ間情報を関連付ける関連付け情報が記憶されている。当該関連付け情報は、同一の冊子に対する動画像データ、テキストデータ、およびページ間情報の組み合わせを示す。当該関連付け情報により、動画像データ、テキストデータ、およびページ間情報が、冊子毎に分けられた書籍データ内に格納された状態で記憶部９０に記憶される。図４（Ａ）に示す例では、冊子１〜冊子ＮのＮ冊の冊子に対する書籍データが記憶部９０に記憶されている。

図４（Ｂ）は、冊子１に対する書籍データのデータ構造を示している。冊子１に対する書籍データには、カメラ部６０による冊子１への撮像により動画像データ取得部１０５が得た動画像データ、当該動画像データにおいて前記カメラ部６０が撮像する原稿が次のページの原稿に変わるタイミングを示すページ間情報、および、テキストデータ取得部１０６が得た１ページ目からＫページ目までの各テキストデータが格納されている。

このように、情報処理装置１では、冊子等の紙媒体に記載された内容を、静止画像データやテキストデータ等の静止データのみで電子化するのではなく、静止データに加えて、冊子を構成する各原稿および冊子がめくられる様子を含む動画像データで電子化している。これにより、電子化したデータについて従来よりも多様な閲覧形式を提供することができる。また、詳細は後述するが、動画像データを用いてテキストデータを修正することが可能となり、再度冊子を撮像する手間を省くことができる。

続いて、情報処理装置１の具体的な動作の流れについて説明する。図５は、情報処理装置１の電子化処理における動作の流れを示すフローチャートである。

情報処理装置１の受付部１０３が電子化開始指示を受け付けた場合（ステップＳ１０においてＹＥＳ）、撮像制御部１０４は、カメラ部６０による撮像を開始させる（ステップＳ１１）。図２に示す例では、表示部２０に表示された操作画面Ｄ１の開始ボタンｄ１の押下操作がなされた場合に、受付部１０３は、電子化開始指示を受け付ける。

ステップＳ１１の処理後、テキストデータ取得部１０６は、動画像データ取得部１０５が取得した動画像データの中から、ＯＣＲ処理対象の静止画像データを１つ抽出する（ステップＳ１２）。そして、テキストデータ取得部１０６は、抽出した静止画像データに対してＯＣＲ処理を実行する（ステップＳ１３）。

ＯＣＲ処理の実行後、テキストデータ取得部１０６は、ＯＣＲ処理が成功したか否かを判定する（ステップＳ１４）。具体的には、テキストデータ取得部１０６は、静止画像データの解像度が低かったり、ピントが合っていなかったりして、文字認識に失敗する領域が予め定められた範囲以上である場合に、ＯＣＲ処理に失敗したものと判定する。

ＯＣＲ処理に失敗した場合（ステップＳ１４においてＮＯ）、ステップＳ１２の処理に戻り、テキストデータ取得部１０６は、ＯＣＲ処理対象の静止画像データの抽出を再度実行する。

一方、ＯＣＲ処理に成功した場合（ステップＳ１４においてＹＥＳ）、報知制御部１０９は、ＯＣＲ処理が成功した旨を報知するための予め定められた成功報知音をスピーカー部５０に出力させる（ステップＳ１６）。

ステップＳ１５の処理語、受付部１０３は、電子化終了指示を受け付けたか否かを判定する（ステップＳ１６）。図２に示す例では、表示部２０に表示された操作画面Ｄ１の終了ボタンｄ２の押下操作がなされた場合に、受付部１０３は、電子化終了指示を受け付ける。

電子化終了指示を受け付けない場合（ステップＳ１６においてＮＯ）、原稿判定部１０７は、カメラ部６０が撮像する原稿が次のページの原稿に変化したか否かを判定する（ステップＳ１７）。

ステップＳ１４の処理後予め定められた時間が経過するまでに、カメラ部６０が撮像する原稿が次のページの原稿に変化しない場合（ステップＳ１８においてＹＥＳ）、報知制御部１０９は、カメラ部６０を次のページの原稿に向けるべき旨を報知するための予め定められた警告音をスピーカー部５０に出力させる（ステップＳ１９）。

カメラ部６０が撮像する原稿が次のページの原稿に変化した場合（ステップＳ１７においてＹＥＳ）、ステップＳ１２の処理に戻り、次のページの原稿の電子化処理に移行する。

電子化終了指示を受け付けた場合（ステップＳ１６においてＹＥＳ）、記憶制御部１０８は、動画像データ取得部１０５が得た動画像データ、テキストデータ取得部１０６が得たテキストデータ、および原稿判定部１０７が生成したページ間情報が、同一の冊子に対するデータであることを示す関連付け情報を生成する。そして、記憶制御部１０８は、動画像データ、テキストデータ、ページ間情報、および関連付け情報を記憶部９０に記憶させる（ステップＳ２０）。

図６は、情報処理装置１の書籍データの閲覧処理における動作の流れを示すフローチャートである。

情報処理装置１の受付部１０３が閲覧指示を受け付けた場合（ステップＳ３０においてＹＥＳ）、表示制御部１０２は、表示部２０に操作画面Ｄ２を表示させる（ステップＳ３１）。

図７は、表示部２０に表示される操作画面Ｄ２の一例を示す図である。操作画面Ｄ２では、閲覧する書籍データ、および書籍データの閲覧形式が選択可能になっている。当該操作画面Ｄ２において、受付部１０３が書籍データの閲覧形式としてテキストデータ形式の選択を受け付けた場合（ステップＳ３２おいてＹＥＳ）、表示制御部１０２は、記憶部９０に記憶されている１ページ目のテキストデータを表示部２０に表示させる（ステップＳ３３）。

図８（Ａ）は、表示部２０に表示される閲覧画面Ｄ３の一例を示す図である。閲覧画面Ｄ３では、操作ボタンｄ３および操作ボタンｄ４が設けられており、受付部１０３が操作ボタンｄ３の押下操作を受け付けると、表示制御部１０２は、表示部２０に表示するテキストデータを前のページのテキストデータに変更する。また、受付部１０３が操作ボタンｄ４の押下操作を受け付けると、表示制御部１０２は、表示部２０に表示するテキストデータを次のページのテキストデータに変更する。

一方、当該操作画面Ｄ２において、受付部１０３が書籍データの閲覧形式として動画像データ形式の選択を受け付けた場合（ステップＳ３２おいてＮＯ）、表示制御部１０２は、記憶部９０に記憶されている動画像データを表示部２０に表示させる（ステップＳ３４）。

図８（Ｂ）は、表示部２０に表示される閲覧画面Ｄ４の一例を示す図である。閲覧画面Ｄ４では、再生ボタンｄ５および停止ボタンｄ６が設けられており、受付部１０３が再生ボタンｄ５の押下操作を受け付けると、表示制御部１０２は、表示部２０に表示する動画像データの再生を開始する。また、受付部１０３が停止ボタンｄ６の押下操作を受け付けると、表示制御部１０２は、表示部２０に表示する動画像データの再生を停止する。

このように、情報処理装置１では、表示制御部１０２が、表示部２０に、受付部が受け付けたデータ閲覧形式に関する指示に応じてテキストデータまたは動画像データを選択的に表示させている。

図９は、情報処理装置１のテキストデータの修正処理における動作の流れを示すフローチャートである。

情報処理装置１の受付部１０３がテキストデータの確認指示を受け付けた場合（ステップＳ４０においてＹＥＳ）、表示制御部１０２は、表示部２０に確認画面Ｄ５を表示させる（ステップＳ４１）。図１０（Ａ）は、表示部２０に表示される確認画面Ｄ５の一例を示す図である。確認画面Ｄ５には、冊子１の１ページ目および２ページ目のテキストデータが表示されている。

ステップＳ４１の処理後、受付部１０３は、修正指示を受け付けたか否かを判定する（ステップＳ４２）。図１０（Ａ）に示す例では、確認画面Ｄ５に設けられた修正ボタンｄ７の押下操作がなされた場合に、受付部１０３は修正指示を受け付ける。

受付部１０３が修正指示を受け付けた場合（ステップＳ４２においてＹＥＳ）、表示制御部１０２は、表示部２０に修正画面Ｄ６を表示させる（ステップＳ４３）。図１０（Ｂ）は、表示部２０に表示される修正画面Ｄ６の一例を示す図である。修正画面Ｄ６には、シークバーｄ８が設けられている。ユーザーは、当該シークバーｄ８を操作することにより、修正画面Ｄ６に表示されている動画像データの再生位置を変更することができる。

ステップＳ４３の処理後、受付部１０３は、テキストデータの修正に用いる静止画像データの選択を受け付けたか否かを判定する（ステップＳ４４）。図１０（Ｂ）に示す例では、シークバーｄ８の操作後、修正画面Ｄ６に設けられた修正ボタンｄ９の押下操作がなされた場合に、受付部１０３は、押下操作がなされた時点で修正画面Ｄ６に表示された静止画像データをテキストデータの修正に用いる静止画像データとする選択指示を受け付ける。

受付部１０３がテキストデータの修正に用いる静止画像データの選択を受け付けた場合（ステップＳ４４においてＹＥＳ）、テキストデータ取得部１０６は、ステップＳ４４の処理で受付部１０３が受け付けた静止画像データに対してＯＣＲ処理を行い、テキストデータを得る（ステップＳ４５）。

その後、記憶制御部１０８は、ステップＳ４５の処理でテキストデータ取得部１０６が取得したテキストデータを記憶部９０に記憶させる（ステップＳ４６）。

このように情報処理装置１では、冊子をカメラ部６０で撮像して得られたテキストデータを確認して、修正が必要な場合には、再度冊子を撮像することなく、記憶部９０に記憶された動画像データを用いてテキストデータを修正することができる。

なお、本発明は、上記の実施の形態の構成に限られず種々の変形が可能である。

図１１は、変形例にかかる情報処理装置の電子化処理における動作の流れを示すフローチャートである。なお、図５に示す処理と同内容の処理については同符号を付して説明を略する。

変形例にかかる情報処理装置では、ＯＣＲ処理が失敗した場合に（ステップＳ１４においてＮＯ）、撮像制御部１０４が、カメラ部６０のズーム倍率を上げて当該ＯＣＲ処理に失敗した領域（読み取り不良領域）を拡大して撮像させる（ステップＳ５０）。

ＯＣＲ処理の失敗は、静止画像データの解像度が低かったり、ピントが合っていなかったりすることが原因であるため、ＯＣＲ処理に失敗した領域を拡大して撮像することで、ＯＣＲ処理の失敗を回避できる。

また、撮像制御部１０４による制御によりＯＣＲ処理に失敗した領域を拡大して撮像させるのではなく、ユーザー操作によりＯＣＲ処理に失敗した領域にカメラ部６０を近づけさせたり、ユーザー操作によりカメラ部６０のズーム倍率に関する設定を調整させることで、ＯＣＲ処理に失敗した領域を拡大して撮像させるようにしてもよい。この場合、表示制御部１０２は、表示部２０に、ＯＣＲ処理に失敗した領域を表示させるとともに、当該ＯＣＲ処理に失敗した領域にカメラ部６０を近づけるべき旨、または、カメラ部６０のズーム倍率に関する設定を調整して当該ＯＣＲ処理に失敗した領域を拡大して撮像すべき旨を表示させる。

図１２は、変形例にかかる情報処理装置の使用態様を示す図である。図１２に示す例では、表示部２０に表示される操作画面Ｄ１に、読み取り不良領域Ａ１およびＡ２の位置が表示されるとともに、その領域を拡大して撮像すべき旨が表示されている。

１ 情報処理装置
１０ 筐体
２０ 表示部
３０ タッチパネル
４０ 物理キー
５０ スピーカー部
５１ マイク部
６０ カメラ部
７０ 発光部
８０ 通信部
９０ 記憶部
１００ 制御ユニット
１０１ 制御部
１０２ 表示制御部
１０３ 受付部
１０４ 撮像制御部
１０５ 動画像データ取得部
１０６ テキストデータ取得部
１０７ 原稿判定部
１０８ 記憶制御部
１０９ 報知制御部

Claims (10)

1. 撮像部と、
   前記撮像部から、複数の原稿が綴じられてなる冊子がめくられる様子を示す動画像データを得る動画像データ取得部と、
   前記動画像データを構成する静止画像データに対してＯＣＲ処理を行い、前記複数の原稿のそれぞれについて当該原稿に含まれる文字を示すテキストデータを得るテキストデータ取得部と、
   前記撮像部が撮像する原稿が次のページの原稿に変わったか否かを、前記冊子に対するめくり動作を検出することで判定する原稿判定部と、を備え、
   前記テキストデータ取得部は、前記原稿判定部により前記撮像部が撮像する原稿が次のページの原稿に変わったものと判定された場合に前記ＯＣＲ処理を実行する情報処理装置。
2. 表示部と、
   前記表示部による表示動作を制御する表示制御部と、
   前記冊子に対するデータ閲覧形式に関する指示を受け付ける受付部と、を更に備え、
   前記表示制御部は、前記表示部に、前記受付部が受け付けた指示に応じて前記テキストデータまたは前記動画像データを選択的に表示させる、請求項１に記載の情報処理装置。
3. 前記受付部は、更に、前記テキストデータに対する修正指示を受け付けるとともに、前記動画像データのなかからテキストデータの修正に用いる静止画像データの選択を受け付け、
   前記テキストデータ取得部は、前記受付部が受け付けた静止画像データに対してＯＣＲ処理を行うことで前記テキストデータを修正する、請求項２に記載の情報処理装置。
4. 前記テキストデータ取得部によるＯＣＲ処理が成功した場合に、ＯＣＲ処理が成功した旨を報知する報知部を更に備える、請求項１乃至請求項３の何れか１項に記載の情報処理装置。
5. 前記報知部は、更に、前記テキストデータ取得部によるＯＣＲ処理が成功した時から予め定められた時間が経過するまでに、前記撮像部が撮像する原稿がＯＣＲ処理済みの原稿から次のページの原稿に変わらない場合に、予め定められた警告報知を行う、請求項４に記載の情報処理装置。
6. 同一冊子に対する前記動画像データ取得部が得た動画像データと、前記テキストデータ取得部が得たテキストデータとを、関連付けて記憶する記憶部を更に備える、請求項１乃至請求項５の何れか１項に記載の情報処理装置。
7. 前記テキストデータ取得部が前記原稿の一部の領域についてＯＣＲ処理に失敗した場合に、前記撮像部のズーム倍率を上げて当該ＯＣＲ処理に失敗した領域を拡大して撮像させる撮像制御部を、更に備え、
   前記テキストデータ取得部は、前記拡大した撮像で得られた静止画像データを用いて再度ＯＣＲ処理を実行する、請求項１乃至請求項６の何れか１項に記載の情報処理装置。
8. 表示部と、
   前記表示部による表示動作を制御する表示制御部と、を更に備え、
   前記表示制御部は、前記テキストデータ取得部が前記原稿の一部の領域についてＯＣＲ処理に失敗した場合に、前記表示部に当該ＯＣＲ処理に失敗した領域を表示させるとともに、当該ＯＣＲ処理に失敗した領域に前記撮像部を近づけるべき旨、または、前記撮像部のズーム倍率を上げて当該ＯＣＲ処理に失敗した領域を拡大して撮像すべき旨を表示させる、請求項１乃至請求項７の何れか１項に記載の情報処理装置。
9. 紙媒体への撮像で得られるデータのデータ構造であって、
   撮像部を有する情報処理装置により撮像された、複数の原稿が綴じられてなる冊子がめくられる様子を示す動画像データと、
   前記動画像データを構成する静止画像データに対してＯＣＲ処理をすることで得られる、前記複数の原稿のそれぞれについて当該原稿に含まれる文字を示すテキストデータと、
   同一の前記冊子に対する前記動画像データと前記テキストデータとを関連付ける関連付け情報と、を具備するデータ構造。
10. 前記動画像データにおいて前記撮像部が撮像する原稿が次のページの原稿に変わるタイミングを示すページ間情報を更に具備する、請求項９に記載のデータ構造。

Images