JP2017163472A - 電子機器 - Google Patents

Abstract

【課題】マーカーペンによるマーキングにより、ユーザーが何ら情報を入力しなくとも、画像データ内から抽出した情報を用いた情報処理をＰＣ等の情報処理装置に処理を行わせることを可能にする。
【解決手段】電子機器は、取得部と、マーカー検出部と、記憶部と、メタデータ生成部とを備える。取得部は、原稿を示す画像データを取得する。マーカー検出部は、取得部が取得した画像データに示されるマーカーを検出する。記憶部は、マーカーの種別毎に、当該マーカーに対応付けられた属性を予め記憶する。メタデータ生成部は、マーカー検出部が検出したマーカーの種別に対応付けられた属性と、当該マーカーに示されたテキストとを関連付けたメタデータを生成する。
【選択図】図３

Description

本発明は、電子機器に関し、特に、原稿の画像データに示されるマーカーを抽出する技術に関する。

下記の特許文献１には、原稿を示す画像データにマーカーが含まれるか否かを判定し、マーカーが含まれる場合には当該マーカーに示された画像を削除したり単一色の画像で置き換える技術が開示されている。この技術によれば、ユーザーは、原稿内の所望の領域をマーカーペンによりマーキングすることで、画像読取装置に読み取られる対象から除くことができる。

特開２００５−１６７８７５号公報

ところで、近年、スキャナーの読み取り性能の向上とともに、読み取った画像データから文字（テキスト）を抽出するＯＣＲ（Optical character recognition）技術が発展している。ここで、マーカーに示されるテキストのみをＯＣＲにより抽出することで、画像データ内からユーザーが所望する情報を取得することが考えられる。

しかしながら、上記の処理で取得するデータは単なるテキストデータであり、このデータを用いて何らかの情報処理をＰＣ（Personal Computer）等の情報処理装置に行わせるためには、ユーザーがデータの種別等の情報を更に入力する必要があり煩わしい。

本発明は、上記の事情に鑑みなされたものであり、マーカーペンによるマーキングにより、ユーザーが何ら情報を入力しなくとも、画像データ内から抽出した情報を用いた情報処理をＰＣ等の情報処理装置に処理を行わせることを可能にすることを目的とする。

本発明の一局面にかかる電子機器は、原稿を示す画像データを取得する取得部と、前記取得部が取得した画像データに示されるマーカーを検出するマーカー検出部と、マーカーの種別毎に、当該マーカーに対応付けられた属性を予め記憶する記憶部と、前記マーカー検出部が検出したマーカーの種別に対応付けられた属性と、当該マーカーに示されたテキストとを関連付けたメタデータを生成するメタデータ生成部と、を備える電子機器である。

本発明によれば、マーカーペンによるマーキングにより、ユーザーが何ら情報を入力しなくとも、画像データ内から抽出した情報を用いた情報処理をＰＣ等の情報処理装置に処理を行わせることができる。

本発明の一実施形態にかかる画像形成装置を示す斜視図である。 本発明の一実施形態にかかる画像形成装置の内部構成を示すブロック図である。 本発明の一実施形態にかかる画像形成装置の動作の概要を示す図である。 本発明の一実施形態にかかる画像形成装置の動作の流れを示すフローチャートである。 本発明の一実施形態にかかる画像形成装置の画像読取部が取得した画像データの一例を示す図である。 本発明の一実施形態にかかる画像形成装置の記憶部に記憶されるデータの一例を示す図である。 本発明の一実施形態にかかる画像形成装置の表示部に表示されるマーカー登録画面の一例を示す図である。 本発明の一実施形態にかかる画像形成装置が生成するメタデータの一例を示す図である。 本発明の一実施形態にかかる画像形成装置が生成するメタデータの別の一例を示す図である。 本発明の一実施形態にかかる画像形成装置の画像読取部が取得した画像データの別の一例を示す図である。 本発明の一実施形態にかかる画像形成装置が生成するメタデータの別の一例を示す図である。 本発明の変形例にかかる画像形成装置の表示部が表示する設定画面の一例を示す図である。 本発明の変形例にかかる画像形成装置が生成するメタデータの一例を示す図である。

以下、本発明の一実施形態にかかる電子機器の一例である画像形成装置について図面を参照して説明する。

図１は、本発明の一実施形態にかかる画像形成装置を示す斜視図である。図２は、画像形成装置の内部構成を示すブロック図である。

画像形成装置１０は、例えば、コピー機能、プリンター機能、スキャナー機能、及びファクシミリ機能などの複数の機能を兼ね備えた複合機である。画像形成装置１０は、装置本体１１と、装置本体１１の上方に配置された画像読取部１１０と、画像読取部１１０と装置本体１１との間に設けられた連結部１２とから概略構成される。

装置本体１１は、画像形成部１２０や給紙部１３などを備えて構成されている。

画像形成装置１０が画像読取動作を行う場合、後述する動作制御部１０２による制御のもと、画像読取部１１０（取得部）が原稿載置台１１１に載置された原稿束を順次読み取り、複数のページからなる画像データを生成（取得）する。当該画像データは、記憶部１６０に記憶される。なお、画像形成装置１０は、画像読取部１１０が原稿束を読み取って画像データを取得するのではなく、通信部１７０がＰＣ（Personal Computer）などの他の情報処理装置２００から画像データを受信することで原稿を示す画像データを取得してもよい。

画像形成装置１０が画像形成動作を行う場合は、記憶部１６０に記憶された画像データなどに基づいて、動作制御部１０２による制御のもと、画像形成部１２０が給紙部１３から給紙される記録紙にトナー像を形成する。その後、記録紙上に形成されたトナー像は、不図示の定着部により熱定着される。定着処理の完了した画像形成済みの記録紙は、排出トレイ１４に排出される。

画像形成装置１０の外郭を構成する筐体の前面には、表示部１３０および操作部１５０が配置されている。表示部１３０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）ディスプレイを含んで構成される。表示部１３０は動作制御部１０２による制御のもと、メニュー画面などを表示する。

表示部１３０の前面には、タッチパネル１４０が配置されている。タッチパネル１４０は、所謂抵抗膜方式や静電容量方式などのタッチパネルであって、タッチパネル１４０上におけるユーザーによる接触（タッチ）をその接触位置とともに検知する。

操作部１５０は、例えば、メニューを呼び出すメニューキー、メニューを構成するＧＵＩのフォーカスを移動させる矢印キー、メニューを構成するＧＵＩに対して確定操作を行う決定キーなどを備えるハードキーである。

記憶部１６０は、ＨＤＤなどの大容量の記憶装置である。

通信部１７０は、無線ＬＡＮボードなどの通信モジュールから構成されるネットワークインターフェイスである。

画像形成装置１０は、更に、制御ユニット１００を備えている。制御ユニット１００は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）などから構成される。制御ユニット１００は、上記のＲＯＭまたは記憶部１６０に記憶されたプログラムが上記のＣＰＵに実行されることにより、制御部１０１、動作制御部１０２、操作受付部１０３、通信制御部１０４、マーカー検出部１０５、メタデータ生成部１０６、メタデータ処理部１０７、およびマーカー登録部１０８として機能する。なお、制御ユニット１００の上記の各構成は、プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。

制御部１０１は、画像形成装置１０の全体的な動作制御を司る。

操作受付部１０３は、タッチパネル１４０から出力される検知信号に基づき、タッチパネル１４０に対するユーザー操作を受け付ける機能を有する。また、操作受付部１０３は、ハードキーなどの操作部１５０を用いたユーザー操作を受け付ける機能を有する。

通信制御部１０４は、通信部１７０による通信動作を制御する機能を有する。通信部１７０は、通信制御部１０４による制御のもと、情報処理装置２００などへ画像データを送信する。

動作制御部１０２は、画像読取部１１０による画像読取動作や表示部１３０による表示動作などを制御する機能を有する。

マーカー検出部１０５は、画像読取部１１０が原稿を読み取って取得した画像データを解析して、原稿においてマーカーによりマーキングされたマーカー箇所を検出する機能を有する。また、マーカー検出部１０５は、検出したマーカー箇所に示されるテキストを抽出する機能を有する。

メタデータ生成部１０６は、マーカー検出部１０５が検出したテキストを用いてメタデータを生成する機能を有する。メタデータの詳細な内容については後述する。

メタデータ処理部１０７は、メタデータ生成部１０６が生成したメタデータを解析して、その解析結果に基づく処理を行う機能を有する。また、メタデータ処理部１０７は、通信部１７０に、メタデータ生成部１０６が生成したメタデータを情報処理装置２００へ送信する機能を有する。

マーカー登録部１０８は、後述するマーカーの第１の色や第２の色などのマーカーの種別の設定または変更を受け付ける機能を有する。

続いて、上記の構成を備える画像形成装置１０の動作について説明する。図３は、画像形成装置１０の動作の概要を示す図である。また、図４は、画像形成装置１０の動作の流れを示すフローチャートである。

図３の（１）に示すように、画像形成装置１０は、画像データを生成する処理を行う。当該処理は、図４のステップＳ１０およびステップＳ１１の処理に該当する。すなわち、操作受付部１０３が画像読取指示を受け付けると（ステップＳ１０においてＹＥＳ）、動作制御部１０２が、画像読取部１１０を制御して画像読取処理を実行する（ステップＳ１１）。

図５は、画像読取部１１０が取得した画像データの一例を示す図である。本図に示す例は、原稿載置台１１１に３枚の原稿が載置された場合を示し、画像読取部１１０は、１ページ目ａ１〜３ページ目ａ３の３ページからなる画像データを取得している。

また、図５に示す例では、原稿載置台１１１に載置された原稿にマーカーペンによる複数のマーキングが施されており、その結果、画像データの各ページには、複数のマーカー箇所（図中において点線で囲まれた箇所）が含まれている。点線ｍ１で囲んだ部分は、赤色によりマーキングされたマーカー箇所を示し、点線ｍ２で囲んだ部分は、青色によりマーキングされたマーカー箇所を示し、点線ｍ３で囲んだ部分は、緑色によりマーキングされたマーカー箇所を示し、点線ｍ４で囲んだ部分は、黄色によりマーキングされたマーカー箇所を示す。

次に図３の（２）に示すように、画像形成装置１０は、マーカー検出処理を行う。また図３の（３）に示すように、画像形成装置１０は、テキスト抽出処理を行う。これらの処理は、図４のステップＳ１２の処理に該当する。すなわち、マーカー検出部１０５は、ステップＳ１１の処理で画像読取部１１０が取得した画像データを解析して、画像データに含まれるマーカー箇所を検出する（ステップＳ１２）。このとき、マーカー検出部１０５は、記憶部１６０に予め記憶された色（種別）のマーカーを検出する。また、マーカー検出部１０５は、検出したマーカー箇所に示されるテキストを抽出する。

図６は、記憶部１６０に記憶されるデータの一例を示す図である。本図に示すように、記憶部１６０には、ファイル名、商品名、価格、および産地のそれぞれの属性について、対応するマーカーの色が示されたテーブルが予め記憶されている。

例えば、ファイル名に対応する色として赤色が予め設定されている。マーカー検出部１０５は、原稿内において予め定められた長さ以上の幅の赤色の直線を第１マーカー箇所として検出する。図５に示す例では、マーカー検出部１０５は、画像データから３つの第１マーカー箇所を検出する。そして、マーカー検出部１０５は、３つの第１マーカー箇所のうち、先頭の第１マーカー箇所に示されたテキスト「本日のおすすめ」を、ファイル名を示すテキストとして抽出する。

また、商品名に対応する色として青色が予め設定されている。マーカー検出部１０５は、原稿内において予め定められた長さ以上の幅の青色の直線を第２マーカー箇所として検出する。図５に示す例では、マーカー検出部１０５は、画像データから７つの第２マーカー箇所を検出する。そして、マーカー検出部１０５は、第２マーカー箇所に示された各テキスト（例えば「りんご」）を、商品名を示すテキストとして抽出する。

また、価格に対応する色として緑色が予め設定されている。マーカー検出部１０５は、原稿内において予め定められた長さ以上の幅の緑色の直線を第３マーカー箇所として検出する。図５に示す例では、マーカー検出部１０５は、画像データから７つの第３マーカー箇所を検出する。そして、マーカー検出部１０５は、第３マーカー箇所に示された各テキスト（例えば「120円」）を、価格を示すテキストとして抽出する。

また、産地に対応する色として黄色が予め設定されている。マーカー検出部１０５は、原稿内において予め定められた長さ以上の幅の黄色の直線を第４マーカー箇所として検出する。図５に示す例では、マーカー検出部１０５は、画像データから７つの第４マーカー箇所を検出する。そして、マーカー検出部１０５は、第４マーカー箇所に示された各テキスト（例えば「青森」）を、産地を示すテキストとして抽出する。

なお、表示部１３０は、動作制御部１０２による制御のもと、図７に示すマーカー登録画面Ｄ１を表示する。マーカー登録画面Ｄ１には、ファイル名、商品名、価格、および産地のそれぞれの属性について、プルダウンメニューｄ１〜ｄ４が設けられている。ユーザーは、当該プルダウンメニューｄ１〜ｄ４を操作することで、ファイル名、商品名、価格、および産地のそれぞれの属性に対応する色を変更することができる。マーカー登録部１０８は、操作受付部１０３がプルダウンメニューｄ１〜ｄ４の操作を受け付けると、記憶部１６０に記憶されるテーブルを書き換える。

また、マーカー登録画面Ｄ１には、ファイル名、商品名、価格、および産地のそれぞれの属性について、読み込み登録ボタンｄ６〜ｄ９が設けられている。マーカー登録部１０８は、操作受付部１０３が読み込み登録ボタンｄ６〜ｄ９の押下操作を受け付けると、画像読取部１１０に原稿載置台１１１に載置された原稿を読み取らせる。そしてマーカー登録部１０８は、画像読取部１１０が取得した画像データに含まれるマーカーの色の色情報（ＲＧＢ情報）を記憶部１６０に記憶させ、マーカー色テーブルを書き換える。これにより、ユーザーが所有するマーカーの色がマーカー登録画面Ｄ１に設けられたプルダウンメニューの中にない場合であっても、そのマーカーの色を登録することが可能となる。

図４に戻って、マーカー箇所が検出されなかった場合（ステップＳ１３においてＮＯ）、表示部１３０は、動作制御部１０２による制御のもと、原稿の読み取り結果を示す表示画面を表示する（ステップＳ１４）。当該表示画面には、原稿の読み取りにより画像読取部１１０が取得した画像データが示される。

ステップＳ１４の処理後、動作制御部１０２は、記憶部１６０に画像データを記憶させ（ステップＳ１５）、原稿読み取り処理を終える。

一方、マーカー箇所が検出された場合（ステップＳ１３においてＹＥＳ）、メタデータ生成部１０６は、メタデータを生成する（ステップＳ１６）。当該処理は、図３の（４）に示す処理に該当する。

メタデータ生成部１０６は、マーカー検出部１０５が検出したマーカーの色（種別）に対応付けられた属性と、当該マーカーに示されたテキストとを関連付けたメタデータを生成する。

図８は、図５に示す画像データから生成されるメタデータの一例を示す図である。本図に示す例では、メタデータは、例えばＸＭＬ（Extensible Markup Language）で記述されており、そのtitle要素に「商品名」、「価格」、「産地」といった属性が示されている。また、title要素に示された各属性には、その属性に対応付けられたテキストが示されている。図８に示す例では、例えば、第２マーカー箇所に対応付けられた「商品名」の属性と、第２マーカー箇所に示された「りんご」「バナナ」などのテキストとが関連付けられている。

また、メタデータ生成部１０６は、画像データにおいてマーカーが示されたページのページ番号と、画像データのファイル名とを、属性およびテキストと関連付けたメタデータを生成する。図８に示す例では、例えば、「リンゴ」のテキストに、ページ番号「１」とファイル名「本日のおすすめ.pdf」とが関連付けられている。

図４に戻って、ステップＳ１６の処理後、メタデータ処理部１０７は、メタデータを記憶部１６０に記憶させる処理を行う（ステップＳ１７）。この際、メタデータ処理部１０７は、メタデータと、当該メタデータに対応する画像データとを関連付け、当該関連付けたデータを記憶部１６０に記憶させる。

ステップＳ１６の処理後、メタデータ処理部１０７は、通信部１７０に、メタデータと当該メタデータに関連付けた画像データとを予め定められた情報処理装置２００へ送信させる（ステップＳ１８）。当該処理は、図３の（５）に示す処理に該当する。

情報処理装置２００では、図３の（６）および（７）に示すように、画像形成装置１０から送信されたメタデータを解析して、その解析結果に基づく処理を行う。情報処理装置２００は、例えば、商品名の属性に関連付けられたテキストおよび価格の属性に関連付けられたテキストをメタデータから抽出して、商品名とその商品名の価格の一覧が表として示された表データを生成する。

なお、画像形成装置１０は、メタデータを情報処理装置２００へ送信するのではなく、メタデータ処理部１０７が当該メタデータを解析してその解析結果に基づく処理を行ってもよい。

以上のように、本発明の一実施形態にかかる電子機器によれば、マーカーペンによるマーキングにより、ユーザーが何ら情報を入力しなくとも、画像データ内から抽出した情報を用いた情報処理をＰＣ等の情報処理装置に処理を行わせることができる。

＜補足１＞
上記の実施形態では、マーカー検出部１０５がマーカー検出処理を施す画像データが１つのファイルである場合を説明した。ここでは、マーカー検出部１０５がマーカー検出処理を施す画像データが複数ある場合について説明する。

図５に示すデータがそれぞれ１ページからなる３つの画像データである場合を考える。この場合、マーカー検出部１０５は、３つの画像データからそれぞれ１つの第１マーカー箇所を検出する。具体的には、マーカー検出部１０５は、１つ目の画像データのファイル名を示すテキストとして「本日のおすすめ」を抽出し、２つ目の画像データのファイル名を示すテキストとして「明日のおすすめ」を抽出し、３つ目の画像データのファイル名を示すテキストとして「９月のおすすめ」を抽出する。

この場合、メタデータ生成部１０６は、図９に示すようなメタデータを生成する。図９に示すメタデータは、図８に示すメタデータとファイル名およびページ番号が異なっている。

＜補足２＞
上記の実施形態では、画像データの複数のページにマーキングが施されている場合を説明した。ここでは、画像データの先頭のページにのみマーキングが施されている場合を説明する。

図１０に示す例では、１ページ目ａ１〜３ページ目ａ３の３ページからなる画像データのうち、１ページ目ａ１にのみにマーキングが施されている。この場合、メタデータ生成部１０６は、図１１に示すようなメタデータを生成する。画像データの先頭のページにのみマーキングが施されているため、図１１に示すメタデータでは、メタデータに示されるページ番号が全て「１」となっている。

なお、本発明は、上記の実施の形態の構成に限られず種々の変形が可能である。

＜変形例１＞
上記の実施形態では、マーカーが検出されたページを含んだ画像データを、メタデータと関連付けて記憶および送信する場合を説明したが、本発明は必ずしもこの場合に限られない。変形例にかかる電子機器では、予め定められた設定に応じて、マーカーが検出されたページを除いた画像データを記憶および送信の対象とする。

図１２は、表示部１３０に表示される設定画面の一例を示す図である。操作受付部１０３は、設定画面Ｄ５に設けられたボタンｄ２０またはｄ２１の選択に応じた送信設定を、記憶部１６０内に記憶させる。

記憶部１６０内に記憶されたデータの送信設定が「マーカーが検出されたページを除いて送信する設定」である場合、メタデータ処理部１０７は、マーカーが検出されたページを除いた画像データを、メタデータともに記憶および送信する。

図１０に示す例では、１ページ目ａ１が画像データから除かれる。この場合、メタデータ生成部１０６は、図１３に示すようなメタデータを生成する。１ページ目ａ１が画像データから除かれているため、図１３に示すメタデータでは、ファイル名およびページ番号の情報が空（null）になっている。

＜変形例２＞
変形例２にかかる電子機器では、メタデータ生成部１０６が、画像データに示される予め定められた種別（第２の種別）のマーカーに示されたテキストを、メタデータのファイル名として特定してもよい。メタデータ生成部１０６は、当該特定したファイル名のメタデータを生成する。

この場合、記憶部１６０に記憶されているテーブルには、画像データのファイル名、商品名、価格、および産地のそれぞれの属性に対応するマーカーの色に加えて、メタデータのファイル名に対応するマーカーの色が示されている。

以上のように変形例２にかかる電子機器では、マーカーペンによるマーキングによりユーザーが何ら情報を入力しなくとも、ユーザー所望のファイル名のメタデータを生成することができる。

＜変形例３＞
また上記の実施形態では、メタデータ生成部１０６が、マーカー上に位置するテキストをマーカーに示されたテキストとして抽出する場合を説明したが、本発明は必ずしもこの場合に限定されない。メタデータ生成部１０６は、マーカー上に位置するテキストに加えて、またはその代わりに、マーカーにより囲まれた領域内に位置するテキストをマーカーに示されたテキストとして抽出してもよい。

１０ 画像形成装置
１００ 制御ユニット
１０１ 制御部
１０２ 動作制御部
１０３ 操作受付部
１０４ 通信制御部
１０５ マーカー検出部
１０６ メタデータ生成部
１０７ メタデータ処理部
１０８ マーカー登録部
１１０ 画像読取部
１２０ 画像形成部
１３０ 表示部
１４０ タッチパネル
１５０ 操作部
１６０ 記憶部
１７０ 通信部
２００ 情報処理装置

Claims (9)

1. 原稿を示す画像データを取得する取得部と、
   前記取得部が取得した画像データに示されるマーカーを検出するマーカー検出部と、
   マーカーの種別毎に、当該マーカーに対応付けられた属性を予め記憶する記憶部と、
   前記マーカー検出部が検出したマーカーの種別に対応付けられた属性と、当該マーカーに示されたテキストとを関連付けたメタデータを生成するメタデータ生成部と、を備える電子機器。
2. 前記メタデータ生成部は、更に、前記画像データにおいて前記マーカーが示されたページのページ番号と、前記画像データのファイル名とを、前記属性および前記テキストと関連付けたメタデータを生成する、請求項１に記載の電子機器。
3. 前記メタデータ生成部は、前記画像データに示される予め定められた第１の種別のマーカーに示されたテキストを、前記画像データのファイル名として特定する、請求項２に記載の電子機器。
4. 前記メタデータ生成部は、前記画像データ内に前記第１の種別のマーカーが複数存在する場合、当該複数の第１の種別のマーカーのうち、先頭の第１の種別のマーカーに示されたテキストを、前記画像データのファイル名として特定する、請求項３に記載の電子機器。
5. 前記メタデータ生成部は、前記画像データに示される予め定められた第２の種別のマーカーに示されたテキストを、メタデータのファイル名として特定し、当該特定したファイル名のメタデータを生成する、請求項１乃至請求項４の何れか１項に記載の電子機器。
6. 前記メタデータを解析してその解析結果に基づく処理を行う処理部を更に備える、請求項１乃至請求項５の何れか１項に記載の電子機器。
7. 前記取得部が取得した画像データと前記メタデータ生成部が生成したメタデータとを関連付け、当該関連付けたデータを前記記憶部に記憶させる処理部を更に備える、請求項１乃至請求項５の何れか１項に記載の電子機器。
8. 前記処理部が関連付けた前記画像データおよび前記メタデータを、前記メタデータを解析してその解析結果に基づく処理を行う情報処理装置へ送信する送信部を更に備える、請求項７に記載の電子機器。
9. 前記処理部は、前記取得部が取得した画像データから、前記マーカー検出部によりマーカーが検出されたページを除いた画像データを、前記メタデータ生成部が生成したメタデータと関連付ける、請求項７または請求項８に記載の電子機器。