JP2015033002A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2015033002A JP2015033002A JP2013161415A JP2013161415A JP2015033002A JP 2015033002 A JP2015033002 A JP 2015033002A JP 2013161415 A JP2013161415 A JP 2013161415A JP 2013161415 A JP2013161415 A JP 2013161415A JP 2015033002 A JP2015033002 A JP 2015033002A
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- image processing
- image
- recognizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】 指示媒体で選択された選択領域を電子ファイル化する際の効率化を図る。【解決手段】画像処理装置(書画カメラ装置1)は、被写体(資料2)を撮像する撮像手段(カメラ13)と、撮像手段で撮像された領域のうち、指示媒体(指F)で指定された指定領域を画像保存用の第一領域として認識する第一領域認識手段(パソコン14)と、指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識手段(パソコン14)と、第二領域認識手段で認識された第二領域内の文字を認識する文字認識手段(パソコン14)と、認識された文字を基に第一領域の画像のファイル名を決定する決定手段(パソコン14)と、決定手段により決定されたファイル名で、第一領域の画像を保存する保存手段(パソコン14)とを備えている。これにより、指示媒体で選択された選択領域を効率的に電子ファイル化することが可能となる。【選択図】 図1
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
従来、例えばプロジェクターなどの投影装置においては、投影されている画像内をレーザーポインタなどの指示媒体で選択することによりその選択領域が強調表示されるものが知られている(例えば特許文献1参照)。この強調表示を行うに際しては、投影されている画像を撮影し、その撮影画像に所定の画像処理を施すことによって指示媒体の指示箇所を特定することにより、選択領域を認識するようになっている。
ここで、近年においては、指示媒体で選択された選択領域を切り出して電子ファイル化することが望まれている。
そこで本発明の課題は、指示媒体で選択された選択領域を電子ファイル化する際の効率化を図ることである。
そこで本発明の課題は、指示媒体で選択された選択領域を電子ファイル化する際の効率化を図ることである。
以上の課題を解決するため、本発明の一の態様によれば、
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置であって、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識手段と、
前記第二領域認識手段で認識された前記第二領域内の文字を認識する文字認識手段と、
前記文字認識手段で認識された文字を基に、前記第一領域認識手段で認識された前記第一領域の画像のファイル名を決定する決定手段と、
前記決定手段により決定された前記ファイル名で、前記第一領域の画像を保存する保存手段と、
を備えることを特徴とする画像処理装置が提供される。
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置であって、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識手段と、
前記第二領域認識手段で認識された前記第二領域内の文字を認識する文字認識手段と、
前記文字認識手段で認識された文字を基に、前記第一領域認識手段で認識された前記第一領域の画像のファイル名を決定する決定手段と、
前記決定手段により決定された前記ファイル名で、前記第一領域の画像を保存する保存手段と、
を備えることを特徴とする画像処理装置が提供される。
本発明によれば、指示媒体で選択された選択領域を効率的に電子ファイル化することが可能となる。
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
図1は本実施形態に係る画像処理システムの概略構成を示す斜視図である。図1に示すように本発明に係る画像記録装置としての書画カメラ装置1には、資料2が載置される台座11と、台座11から立設するスタンド部12と、スタンド部12の上端部に取り付けられ、台座11上の資料2を撮像する撮像手段としてのカメラ13と、カメラ13に有線或いは無線で接続されるパソコン14とが設けられている。
資料2は本発明に係る被写体であり、カメラ13の撮像領域に収まるように台座11上にセットされている。図1上の被写体としては平面性を有する資料2を例示して挙げているが、本やそれ以外の立体物を被写体としても構わない。資料2に対して例えば指F等の指示媒体で所定の領域を指示すると、その指Fもカメラ13によって撮像されることになる。カメラ13は、高解像度で撮像をする高解像度モードと、高解像度モードよりも低い解像度で撮像をする低解像度モードとが切り替え自在となっている。
資料2は本発明に係る被写体であり、カメラ13の撮像領域に収まるように台座11上にセットされている。図1上の被写体としては平面性を有する資料2を例示して挙げているが、本やそれ以外の立体物を被写体としても構わない。資料2に対して例えば指F等の指示媒体で所定の領域を指示すると、その指Fもカメラ13によって撮像されることになる。カメラ13は、高解像度で撮像をする高解像度モードと、高解像度モードよりも低い解像度で撮像をする低解像度モードとが切り替え自在となっている。
図2は図1の書画カメラ装置1の主制御構成を示すブロック図である。図2に示すようにカメラ13には焦点位置の調整等が可能な光学レンズ部131と、光学レンズ部131を透過した被写体像をデジタル信号に変換するイメージセンサ132と、イメージセンサ132により変換されたデジタル信号をパソコン14に出力するI/F133とが設けられている。
パソコン14は、カメラ13から入力されたデジタル信号を常にモニタリングしている。このとき、指Fが重なっていない状態の資料2がカメラ13によって撮像された画像をパソコン14は指示前画像5(図5参照)として取得する。さらに、指Fが重なった状態の資料2がカメラ13によって撮像された画像をパソコン14は指示中画像6(図8参照)として取得する。そして、パソコン14は、取得した指示前画像5と指示中画像6とから資料2上の指Fによる指示位置を特定し、当該特定した指示位置に基づいて資料2内の一部の画像を切り出すようになっている。
以下、画像の切り出し処理について詳細に説明する。図3は切り出し処理の流れを示すフローチャートである。
まず、作業者はマウスやキーボードなどの操作部を操作することによりパソコン14に対して切り出し処理の開始指示を入力する。この指示に基づいてパソコン14は切り出し処理用のプログラムを実行しカメラ13を初期化する。この初期化時においてはカメラ13の解像度は低解像度モードに設定される(ステップS1)。
このとき、カメラ13は撮影を実行しているため、当該カメラ13により撮像された映像はパソコン14に送られ、当該パソコン14のディスプレイ(表示手段)15に表示されている。この表示画像を見ながら、作業者は資料2の位置調整を行い、最適な位置へ資料2を案内する。
資料2の位置が決定したら作業者は操作部を操作し、以降の工程への進行が促される。
まず、作業者はマウスやキーボードなどの操作部を操作することによりパソコン14に対して切り出し処理の開始指示を入力する。この指示に基づいてパソコン14は切り出し処理用のプログラムを実行しカメラ13を初期化する。この初期化時においてはカメラ13の解像度は低解像度モードに設定される(ステップS1)。
このとき、カメラ13は撮影を実行しているため、当該カメラ13により撮像された映像はパソコン14に送られ、当該パソコン14のディスプレイ(表示手段)15に表示されている。この表示画像を見ながら、作業者は資料2の位置調整を行い、最適な位置へ資料2を案内する。
資料2の位置が決定したら作業者は操作部を操作し、以降の工程への進行が促される。
ステップS2では、パソコン14は媒体認識前処理を実行する。図4は媒体認識前処理の流れを示すフローチャートである。図5は媒体認識前処理時における撮像画像の状態遷移を表す説明図であり、(a)は指示前画像5を示し、(b)はマスク領域を示し、(c)は指示前画像5から同色領域51を削除した状態を示している。
マスク領域とは、同色領域とされる領域であり、同色領域とともに詳しくは後述する。
マスク領域とは、同色領域とされる領域であり、同色領域とともに詳しくは後述する。
図4に示すようにステップS21では、パソコン14はカメラ13を制御して、資料2に指Fが重なっていない指示前画像5(図5(a)参照)を撮像し、低解像度なカラー画像データを取り込む(撮像工程、撮像ステップ)。
ステップS22では、パソコン14は取り込んだ指示前画像5から同色領域51を抽出する。同色領域51とは、指示媒体が指Fである場合には肌色と同程度の色を有する領域のことである。
なお、肌色と言っても白人、黒人、黄色人種等のように人種によって肌の色が異なる場合もあれば、個人差による違いもあり、さらには同一人物であっても季節によって肌の色が異なる。このため、これらを包含するように肌色として認識する許容範囲を予め設定していてもよいし、人種毎の許容範囲が個別に登録されていて、使用する人種によって該当する許容範囲を選択するようにしてもよい。
また、例えば指示棒やレーザーポインタなどのような指F以外の指示媒体を用いる場合には、その指示媒体と同程度の色を有する領域を同色領域51とする。この場合においても光の当たり具合によっては指示媒体の色が多少違って撮像されてしまうので、指示媒体と同程度の色として認識するように許容範囲を設定しておくことが好ましい。
なお、肌色と言っても白人、黒人、黄色人種等のように人種によって肌の色が異なる場合もあれば、個人差による違いもあり、さらには同一人物であっても季節によって肌の色が異なる。このため、これらを包含するように肌色として認識する許容範囲を予め設定していてもよいし、人種毎の許容範囲が個別に登録されていて、使用する人種によって該当する許容範囲を選択するようにしてもよい。
また、例えば指示棒やレーザーポインタなどのような指F以外の指示媒体を用いる場合には、その指示媒体と同程度の色を有する領域を同色領域51とする。この場合においても光の当たり具合によっては指示媒体の色が多少違って撮像されてしまうので、指示媒体と同程度の色として認識するように許容範囲を設定しておくことが好ましい。
そして図4のステップS23では、パソコン14は指示前画像5内に同色領域51があるか否かを判断し、ない場合には媒体認識前処理を終えてステップS3に移行し、ある場合にはステップS24に移行する。
ステップS24では、パソコン14は同色領域51を図5(b)に示すマスク領域52として指定し同色マスクデータを作成する。
この同色マスクデータに基づいて指示前画像5を画像処理すると同色領域51が削除された図5(c)のような指示前画像5が作成される。同色マスクデータの作成後にはパソコン14は媒体認識前処理を終えてステップS3に移行する。
この同色マスクデータに基づいて指示前画像5を画像処理すると同色領域51が削除された図5(c)のような指示前画像5が作成される。同色マスクデータの作成後にはパソコン14は媒体認識前処理を終えてステップS3に移行する。
図3のステップS3では、パソコン14は、ディスプレイ15に指示内容を表示する。具体的には、「領域を指定してください。領域を右回りで囲んだ場合は切り出し領域として、左回りで囲んだ場合は文字列領域として特定されます。」というように、領域を指定するための閉じた軌跡の進行方向(囲み方の向き)により、切り出し領域が特定されるか、文字列領域が特定されるかをユーザに示す。なお、上述した例とは逆に右回りで囲まれた領域を文字列領域とし、左回りで囲まれた領域を切り出し領域としてもよい。
ステップS4では、パソコン14は領域特定処理を実行する。図6はその領域特定処理の流れを示すフローチャートである。
ステップS31ではパソコン14は指示位置特定処理を実行する。図7はその指示位置特定処理の流れを示すフローチャートであり、図8は指示位置特定処理時における撮像画像の状態遷移を表す説明図である。
ステップS31ではパソコン14は指示位置特定処理を実行する。図7はその指示位置特定処理の流れを示すフローチャートであり、図8は指示位置特定処理時における撮像画像の状態遷移を表す説明図である。
図7のステップS51では、パソコン14はカメラ13を制御して、資料2に対するカラー撮像を開始する。このときカメラ13からの映像はパソコン14によって常にモニタリングされることになる。
ステップS52では、パソコン14は同色マスクデータの有無を判断して、同色マスクデータがある場合にはステップS53に移行し、同色マスクデータのない場合にはステップS56に移行する。
ステップS52で同色マスクデータがあるとされた場合、ステップS53に移行し、そこでは、パソコン14はカメラ13から入力された映像内であって、同色マスクデータからなるマスク領域52外の領域に新たな同色領域53があるか否かを判断し、ない場合にはそのままカメラ13によるカラー撮像を継続し、ある場合にはステップS54に移行する。例えば図8(a)に示すように資料2に指Fが重なっていると、マスク領域52外においても指Fが存在しているので、パソコン14は図8(a)に示す画像を指示中画像6として取得する。
ステップS54では、パソコン14は指示中画像6から同色領域52(51),53を抽出する。
ステップS55では、パソコン14は抽出した同色領域52(51),53からマスク領域52内を削除してステップS58に移行する。図8(b)は指示中画像6からマスク領域52内を削除した状態を示している。
ステップS52では、パソコン14は同色マスクデータの有無を判断して、同色マスクデータがある場合にはステップS53に移行し、同色マスクデータのない場合にはステップS56に移行する。
ステップS52で同色マスクデータがあるとされた場合、ステップS53に移行し、そこでは、パソコン14はカメラ13から入力された映像内であって、同色マスクデータからなるマスク領域52外の領域に新たな同色領域53があるか否かを判断し、ない場合にはそのままカメラ13によるカラー撮像を継続し、ある場合にはステップS54に移行する。例えば図8(a)に示すように資料2に指Fが重なっていると、マスク領域52外においても指Fが存在しているので、パソコン14は図8(a)に示す画像を指示中画像6として取得する。
ステップS54では、パソコン14は指示中画像6から同色領域52(51),53を抽出する。
ステップS55では、パソコン14は抽出した同色領域52(51),53からマスク領域52内を削除してステップS58に移行する。図8(b)は指示中画像6からマスク領域52内を削除した状態を示している。
一方、ステップS52で同色マスクデータがないとされた場合、ステップS56に移行し、そこでは、パソコン14はカメラ13から入力された映像内に同色領域53があるか否かを判断する。例えば図8(a)の指示中画像6内にマスク領域52が存在しない場合が、前記映像内に同色領域53がある場合であり、指示中画像6内にマスク領域52も指Fもない状態が、前記映像内に同色領域53がない場合である。パソコン14は同色領域53がない場合にはそのままカメラ13によるカラー撮像を継続し、同色領域53がある場合にはステップS57に移行する。
ステップS57では、パソコン14は指示中画像6から同色領域53を抽出し、抽出した同色領域53を指示媒体部分Eとして認識して、ステップS58に移行する。
ステップS57では、パソコン14は指示中画像6から同色領域53を抽出し、抽出した同色領域53を指示媒体部分Eとして認識して、ステップS58に移行する。
ステップS58では、パソコン14は指示中画像6から抽出した同色領域53に対してラベリング処理を施す。例えば指示中画像6中に同色領域が1つの場合、つまり指示媒体部分Eが分断していない場合には同色領域数は1となる。図8(b)に示すようにマスク領域52によって指示媒体部分Eが分断されている場合には同色領域数は複数となる。なお、マスク領域52が存在していない場合であっても指輪や腕時計、リストバンドなどによって指示媒体部分Eが分断される場合もあるがこの場合においても同色領域数は複数となる。
ステップS59では、パソコン14は同色領域数が2以上であるか否かを判断し、同色領域数が2未満である場合には後述するステップS41に移行し、同色領域数が2以上である場合にはステップS60に移行する。
ステップS60では、パソコン14は指示媒体部分Eのうち分断されて欠損した部分を周辺画像から修復する。
具体的には、図8(c)に示すようにマスク領域52内の各画素を修復画素として、各修復画素に最も近いマスク領域52外の画素の色を当該修復画素の色として決定する。これにより、マスク領域52内の修復画素を決定し、同色領域52bとなる修復画素も決定し、ステップS61に移行する。なお、図8(c)中、同色領域とならなかった修復画素は無地として符号52aを付している。一方、同色領域となった修復画素はハッチングを掛け符号52bを付している。なお、マスク領域52が存在していない状態で指示媒体部分Eが分断している場合においては、その分断している部分に仮想的な枠体をはめ込む。そしてその枠体をマスク領域52と仮定して、上述した手順で修復画素の色を決定する。
ステップS60では、パソコン14は指示媒体部分Eのうち分断されて欠損した部分を周辺画像から修復する。
具体的には、図8(c)に示すようにマスク領域52内の各画素を修復画素として、各修復画素に最も近いマスク領域52外の画素の色を当該修復画素の色として決定する。これにより、マスク領域52内の修復画素を決定し、同色領域52bとなる修復画素も決定し、ステップS61に移行する。なお、図8(c)中、同色領域とならなかった修復画素は無地として符号52aを付している。一方、同色領域となった修復画素はハッチングを掛け符号52bを付している。なお、マスク領域52が存在していない状態で指示媒体部分Eが分断している場合においては、その分断している部分に仮想的な枠体をはめ込む。そしてその枠体をマスク領域52と仮定して、上述した手順で修復画素の色を決定する。
ステップS61では、パソコン14は二値化処理を施して同色領域52b、53の輪郭を抽出する。図8(d)では図8(c)に示した指示中画像6における同色領域52b、53の輪郭52c(点線部)を示している。なお、同色領域数が1である場合には指示媒体部分Eの修復自体も不要であるため、その1つの同色領域の輪郭を抽出することになる。
ステップS62では、パソコン14は指示媒体部分Eの輪郭52cから最も突出した位置を指示位置として特定する。図8(e)では輪郭52cのみを示しており、その最も突出した位置52dが指示位置として特定される。指示位置の特定後、パソコン14は図7の処理(図6のステップS31)を抜け、ステップS32に移行する。
ステップS62では、パソコン14は指示媒体部分Eの輪郭52cから最も突出した位置を指示位置として特定する。図8(e)では輪郭52cのみを示しており、その最も突出した位置52dが指示位置として特定される。指示位置の特定後、パソコン14は図7の処理(図6のステップS31)を抜け、ステップS32に移行する。
ステップS32では、パソコン14は特定した指示位置の座標が一定時間、略同位置の場所に留まっているか否かを判断する。具体的には、一定時間毎に、ステップS31の処理を行い、特定した指示位置の座標が一定時間、略同位置に場所に留まっているか否かを判断する。ここで「略同位置」とは完全に同じ位置でなくとも、指示位置が多少ぶれていても同じ位置と判断できるように所定の許容範囲を含んだ位置のことである。
ステップS32で特定した指示位置の座標が一定時間、略同位置の場所に留まっているとされた場合、ステップS33に移行し、そこでは、パソコン14はステップS32で特定した指示位置を開始点座標として記録する。
ここでの一定時間は、開始点座標を認識させるために、後述の所定時間よりも比較的長い時間とする。
ステップS34では、パソコン14は所定時間の経過を待つ。
ステップS35では、パソコン14は上述した図7の処理(ステップS31の処理)と同じ指示位置特定処理を実行し、現在の指示位置を特定する。
ステップS36では、パソコン14はステップS34で所定時間経過した後にステップS35で特定した指示位置の座標を記録する。
このようにして、パソコン14は所定時間毎にステップS35で特定した指示位置の座標を記録していく。
ここでの一定時間は、開始点座標を認識させるために、後述の所定時間よりも比較的長い時間とする。
ステップS34では、パソコン14は所定時間の経過を待つ。
ステップS35では、パソコン14は上述した図7の処理(ステップS31の処理)と同じ指示位置特定処理を実行し、現在の指示位置を特定する。
ステップS36では、パソコン14はステップS34で所定時間経過した後にステップS35で特定した指示位置の座標を記録する。
このようにして、パソコン14は所定時間毎にステップS35で特定した指示位置の座標を記録していく。
ステップS37では、パソコン14はステップS36で記録した指示位置と、開始点座標とが略一致しているか否かを判断し、略一致していない場合にはステップS34に移行し、略一致している場合には、図3のステップS5に移行する。ここで「略一致」とは完全に一致していなくとも、指示位置が開始点座標から多少離れていても一致と判断できるように所定の許容範囲を含んだ位置のことである。
このように、指示位置が開始点座標に復帰するまでステップS34〜ステップS37が繰り返されるため、指Fによる指示位置の座標が多数記録されて、枠状の領域が特定されることになる。
このように、指示位置が開始点座標に復帰するまでステップS34〜ステップS37が繰り返されるため、指Fによる指示位置の座標が多数記録されて、枠状の領域が特定されることになる。
ステップS5では、パソコン14は、ステップS4で特定された枠状の領域を囲む軌跡の進行方向が右回りか左回りかを判断し、右回りの場合にはステップS6に移行し、左回りの場合にはステップS7に移行する。
ステップS6では、パソコン14は、右回りであった軌跡からなる領域を切り出し領域として特定する。特定時においては、例えば「切り出し領域を特定しました。」などのように、切り出し領域の特定が完了した旨をディスプレイ15に一時的に表示してもよい。
そして、パソコン14のディスプレイ15には、上記メッセージとともに、特定された切り出し領域がわかるように表示される。
具体的に切り出し領域指定時における動作例について説明する。図9及び図10は切り出し領域指定時における動作手順を示す説明図である。
まず図9(a)に示すように資料2の全体像を指示前画像G2として低画質モードで撮像する。
その後、図9(b)に示すように、ユーザは資料2上に指Fを置く。その状態のまま一定時間経過すると、パソコン14側では特定した指示位置を開始点座標f1として認識する。
そして、パソコン14のディスプレイ15には、上記メッセージとともに、特定された切り出し領域がわかるように表示される。
具体的に切り出し領域指定時における動作例について説明する。図9及び図10は切り出し領域指定時における動作手順を示す説明図である。
まず図9(a)に示すように資料2の全体像を指示前画像G2として低画質モードで撮像する。
その後、図9(b)に示すように、ユーザは資料2上に指Fを置く。その状態のまま一定時間経過すると、パソコン14側では特定した指示位置を開始点座標f1として認識する。
そして、図10(a)に示すように、ユーザは所望の領域を右回りで囲むように指Fを移動させる。このとき、パソコン14側では指Fの軌跡f2を特定するため、その指示位置を所定時間毎に記録している。
そして、図10(b)に示すように、ユーザは所望の領域を含む閉じた軌跡f2となるように指Fを移動させて最終的に開始点座標f1付近に指Fを置く。これによりパソコン14側では指Fの軌跡f2が多数の座標として記録され、枠状の切り出し領域cとして特定される。
そして、図10(b)に示すように、ユーザは所望の領域を含む閉じた軌跡f2となるように指Fを移動させて最終的に開始点座標f1付近に指Fを置く。これによりパソコン14側では指Fの軌跡f2が多数の座標として記録され、枠状の切り出し領域cとして特定される。
このようにカメラ13によって撮像された領域のうち、指Fで指定された指定領域を、画像保存用の切り出し領域(第一領域)cとして認識する本発明に係る第一領域認識手段はパソコン14である。そして、本発明に係る第一領域認識行程及び第一領域認識ステップはステップS6である。
図3のステップS7では、パソコン14は、左回りであった軌跡からなる領域を文字列領域として特定する。特定時においては、例えば「文字列領域を特定しました。」などのように、文字列領域の特定が完了した旨をディスプレイ15に一時的に表示してもよい。
そして、パソコン14のディスプレイ15には、上記メッセージとともに、特定された切り出し領域がわかるように表示される。
具体的に文字列領域指定時における動作例について説明する。図11及び図12は文字列領域指定時における動作手順を示す説明図である。
まず図11に示すように、ユーザは資料2上に指Fを置く。その状態のまま一定時間経過すると、パソコン14側では特定した指示位置を開始点座標f3として認識する。
そして、パソコン14のディスプレイ15には、上記メッセージとともに、特定された切り出し領域がわかるように表示される。
具体的に文字列領域指定時における動作例について説明する。図11及び図12は文字列領域指定時における動作手順を示す説明図である。
まず図11に示すように、ユーザは資料2上に指Fを置く。その状態のまま一定時間経過すると、パソコン14側では特定した指示位置を開始点座標f3として認識する。
そして、図12(a)に示すように、ユーザは所望の領域を左回りで囲むように指Fを移動させる。このとき、パソコン14側では指Fの軌跡f4を特定するため、その指示位置を所定時間毎に記録している。
そして、図12(b)に示すように、ユーザは所望の領域を含む閉じた軌跡f4となるように指Fを移動させて最終的に開始点座標f3付近に指Fを置く。これによりパソコン14側では指Fの軌跡f4が多数の座標として記録され、枠状の文字列領域dとして特定される。
そして、図12(b)に示すように、ユーザは所望の領域を含む閉じた軌跡f4となるように指Fを移動させて最終的に開始点座標f3付近に指Fを置く。これによりパソコン14側では指Fの軌跡f4が多数の座標として記録され、枠状の文字列領域dとして特定される。
このように、カメラ13によって撮像された領域のうち、指Fで指定された指定領域を、文字列指定用の文字列領域(第二領域)dとして認識する本発明に係る第二領域認識手段はパソコン14である。そして、本発明に係る第二領域認識行程及び第二領域認識ステップはステップS7である。
図3のステップS8では、パソコン14は、切り出し領域及び文字列領域の両者が特定されたか否かを判断し、特定されていない場合にはステップS9に移行し、特定されている場合にはステップS10に移行する。
ステップS9では、パソコン14は、ディスプレイ15に表示されている指示内容を切り替え、ステップS4に移行する。例えば、切り出し領域が特定されていない場合には、「領域を右回りで囲んで切り出し領域を指定してください。」というように、切り出し領域の指定がユーザに促される。他方、文字列領域が特定されていない場合には、「領域を左回りで囲んで文字列領域を指定してください。」というように、文字列領域の指定がユーザに促される。
ステップS9では、パソコン14は、ディスプレイ15に表示されている指示内容を切り替え、ステップS4に移行する。例えば、切り出し領域が特定されていない場合には、「領域を右回りで囲んで切り出し領域を指定してください。」というように、切り出し領域の指定がユーザに促される。他方、文字列領域が特定されていない場合には、「領域を左回りで囲んで文字列領域を指定してください。」というように、文字列領域の指定がユーザに促される。
切り出し領域及び文字列領域の両者が特定され処理がステップS10に移行すると、このステップS10ではパソコン14はカメラ13の解像度を高解像度モードに設定する。
ステップS11ではパソコン14はカメラ13を制御して、資料2に指Fが重なっていない指示前画像5を再度撮像し、高解像度なカラー画像データを基準画像として取り込む。
ステップS11ではパソコン14はカメラ13を制御して、資料2に指Fが重なっていない指示前画像5を再度撮像し、高解像度なカラー画像データを基準画像として取り込む。
ステップS12ではパソコン14は基準画像に対して領域分析を施す。図13は領域分析における画像処理の手順を示す説明図であり、(a)は基準画像の一例を示し、(b)は基準画像に対してぼかし処理を施した画像を示し、(c)は資料2中の各領域の輪郭を抽出した画像を示している。図13(a)に示すように基準画像G1には、数字からなる第一文字領域m1と、アルファベットからなる第二文字領域m2と、画像からなる画像領域m3とが設けられている。
まず図13(a)に示すカラーの基準画像G1をパソコン14はモノクロ多値画像に変換する。変換後の基準画像G1に対してパソコン14は特定のフィルタをかけて基準画像をぼかす(図13(b)参照)。これにより各領域m1,m2,m3がそれぞれ一体的に連結される。次いで、パソコン14は、ぼかした基準画像G1を二値化して輪郭抽出を行う(図13(c)参照)。輪郭抽出では、各領域m1,m2,m3の輪郭n1,n2,n3が多数の点列から構成されることになる。パソコン14は各点列の座標データを取得し、当該座標データを各領域m1,m2,m3の座標データとして記録する。
なお、この領域分析処理においては、高画質な基準画像に対して直接実行してもよいし、高画質で撮像された基準画像を低画質な画像に変換し、当該低画質な基準画像に対して実行してもよい。また、ステップS2の媒体認識前処理と合わせて領域分析処理を実行してもよい。
まず図13(a)に示すカラーの基準画像G1をパソコン14はモノクロ多値画像に変換する。変換後の基準画像G1に対してパソコン14は特定のフィルタをかけて基準画像をぼかす(図13(b)参照)。これにより各領域m1,m2,m3がそれぞれ一体的に連結される。次いで、パソコン14は、ぼかした基準画像G1を二値化して輪郭抽出を行う(図13(c)参照)。輪郭抽出では、各領域m1,m2,m3の輪郭n1,n2,n3が多数の点列から構成されることになる。パソコン14は各点列の座標データを取得し、当該座標データを各領域m1,m2,m3の座標データとして記録する。
なお、この領域分析処理においては、高画質な基準画像に対して直接実行してもよいし、高画質で撮像された基準画像を低画質な画像に変換し、当該低画質な基準画像に対して実行してもよい。また、ステップS2の媒体認識前処理と合わせて領域分析処理を実行してもよい。
ステップS13ではパソコン14は切り出し領域cに基づいて高解像度画像(基準画像G1)の一部を切り出す。図14は切り出し領域cに基づいて実際の切り出し部分を特定する例を示す説明図である。なお、以下の説明においては実際の切り出し部分の特定方法を2種類説明するが、その他の周知の特定方法を用いても構わない。
まず、パソコン14は図14(a)に示すように、各領域m1,m2,m3の輪郭n1,n2,n3と、切り出し領域cとを重ね合わせる。
そして第一特定方法においては、パソコン14は各領域m1,m2,m3の輪郭n1,n2,n3と切り出し領域cとの重なっている割合を算出する。この割合が50%以上であれば実際の切り出し部分として特定する。具体的には図14(b)に示すように第一文字領域m1は切り出し領域cに100%重なっているので実際の切り出し部分として特定する。第二文字領域m2は切り出し領域cに30%程度で重なっているので実際の切り出し部分としては特定しない。画像領域m3は切り出し領域cに全く重なっていないので実際の切り出し領域として特定しない。この結果からパソコン14は第一文字領域m1のみを基準画像G1から切り出して図14(c)に示すように第一文字領域m1のみを画像データとして記録する。
まず、パソコン14は図14(a)に示すように、各領域m1,m2,m3の輪郭n1,n2,n3と、切り出し領域cとを重ね合わせる。
そして第一特定方法においては、パソコン14は各領域m1,m2,m3の輪郭n1,n2,n3と切り出し領域cとの重なっている割合を算出する。この割合が50%以上であれば実際の切り出し部分として特定する。具体的には図14(b)に示すように第一文字領域m1は切り出し領域cに100%重なっているので実際の切り出し部分として特定する。第二文字領域m2は切り出し領域cに30%程度で重なっているので実際の切り出し部分としては特定しない。画像領域m3は切り出し領域cに全く重なっていないので実際の切り出し領域として特定しない。この結果からパソコン14は第一文字領域m1のみを基準画像G1から切り出して図14(c)に示すように第一文字領域m1のみを画像データとして記録する。
第二特定方法においては、図14(d)に示すようにパソコン14は切り出し領域cを内接する矩形領域c1を作成する。そしてこの矩形領域c1に一部でも含まれている領域を実際の切り出し部分として特定する。図14(d)では第一文字領域m1と第二文字領域m2が実際の切り出し部分として特定され、矩形領域c1に全く重なっていない画像領域m3は実際の切り出し部分として特定されない。この結果からパソコン14は第一文字領域m1及び第二文字領域m2を基準画像G1から切り出して図14(e)に示すように第一文字領域m1及び第二文字領域m2を画像データとして記録する。
図3のステップS14では、パソコン14は文字列領域dに対して、例えばOCR処理などのような周知の文字認識処理を施すことで、文字列領域d内の文字を認識する。
つまり、文字列領域d内の文字を認識する本発明に係る文字認識手段はパソコン14である。また、本発明に係る文字認識行程及び文字認識ステップはステップS14である。
図15は文字認識処理で認識される文字の一例を示す説明図である。文字認識処理では、例えば図15(a)に示すように文字列領域d内に完全に含まれている文字のみを認識するようにしてもよいし、図15(b)に示すように文字列領域dに一部が含まれている文字を認識するようにしてもよい。図15(a)、(b)のいずれの場合でも、文字認識処理で「12345」が認識されることとなる。この文字の認識範囲は任意に選択できるようにしておくことが好ましい。
つまり、文字列領域d内の文字を認識する本発明に係る文字認識手段はパソコン14である。また、本発明に係る文字認識行程及び文字認識ステップはステップS14である。
図15は文字認識処理で認識される文字の一例を示す説明図である。文字認識処理では、例えば図15(a)に示すように文字列領域d内に完全に含まれている文字のみを認識するようにしてもよいし、図15(b)に示すように文字列領域dに一部が含まれている文字を認識するようにしてもよい。図15(a)、(b)のいずれの場合でも、文字認識処理で「12345」が認識されることとなる。この文字の認識範囲は任意に選択できるようにしておくことが好ましい。
図3のステップS15では、パソコン14はステップS14で認識した文字列をディスプレイ15に表示する。この際、パソコン14は、表示している文字列をファイル名として用いていいか否かの選択をユーザに促す内容も同時に表示している。
ステップS16では、パソコン14は、ユーザによって操作部に入力された指示内容が承認(YES)か再認識(NO)かを判断し、再認識の場合にはステップS17に移行し、承認の場合にはステップS19に移行する。
ステップS16では、パソコン14は、ユーザによって操作部に入力された指示内容が承認(YES)か再認識(NO)かを判断し、再認識の場合にはステップS17に移行し、承認の場合にはステップS19に移行する。
ステップS17では、パソコン14は上述した図6の処理(ステップS4の処理)と同じ領域特定処理を実行する。このとき、切り出し領域cはすでに特定されているので、領域指定時における軌跡が右回りであろうと左回りであろうと、その軌跡は文字領域特定用の軌跡として扱われる。
そして、ステップS18では、パソコン14は、ステップS17で指定された軌跡からなる領域を文字列領域として特定し、ステップS14に移行する。特定時においては、例えば「文字列領域を特定しました。」などのように、文字列領域の特定が完了した旨をディスプレイ15に一時的に表示してもよい。
なお、文字認識処理自体に些細な誤りがあった場合に、認識されたテキスト内容をユーザがキー入力等で修正できるような工程が組み込まれるようにしてもよい。
そして、ステップS18では、パソコン14は、ステップS17で指定された軌跡からなる領域を文字列領域として特定し、ステップS14に移行する。特定時においては、例えば「文字列領域を特定しました。」などのように、文字列領域の特定が完了した旨をディスプレイ15に一時的に表示してもよい。
なお、文字認識処理自体に些細な誤りがあった場合に、認識されたテキスト内容をユーザがキー入力等で修正できるような工程が組み込まれるようにしてもよい。
ステップS19では、パソコン14は認識した文字列に基づいてファイル名を決定する。つまり、認識された文字を基にファイル名を決定する本発明に係る決定手段はパソコン14である。また、本発明に係る決定行程及び決定ステップはステップS19である。
例えば図15の場合、認識した文字列「12345」に基づいてファイル名を決定する。ファイル名としては認識した文字列をそのまま使用してもよく、前例の場合だと「12345」がファイル名となる。また、これ以外にも、認識した文字列に対して任意の情報を追加して使用してもよい。任意の情報としては保存日や保存時刻、ユーザの任意の文字列などが挙げられる。例えば認識した文字列が「12345」、保存日が2013年1月1日、保存時刻が12:00であってこれらをファイル名として用いる場合には、「12345201301011200」がファイル名となる。
例えば図15の場合、認識した文字列「12345」に基づいてファイル名を決定する。ファイル名としては認識した文字列をそのまま使用してもよく、前例の場合だと「12345」がファイル名となる。また、これ以外にも、認識した文字列に対して任意の情報を追加して使用してもよい。任意の情報としては保存日や保存時刻、ユーザの任意の文字列などが挙げられる。例えば認識した文字列が「12345」、保存日が2013年1月1日、保存時刻が12:00であってこれらをファイル名として用いる場合には、「12345201301011200」がファイル名となる。
ステップS20では、パソコン14はステップS19で決定したファイル名で、実際の切り出し部分の画像データを保存する。この際、パソコン14は実際の切り出し部分の画像データとファイル名とをディスプレイ15上に表示を行う。
つまり、決定されたファイル名で切り出し部分の画像データを保存する本発明に係る保存手段はパソコン14である。また、本発明に係る保存行程及び保存ステップはステップS20である。
つまり、決定されたファイル名で切り出し部分の画像データを保存する本発明に係る保存手段はパソコン14である。また、本発明に係る保存行程及び保存ステップはステップS20である。
以上のように本実施形態によれば、指Fによって指定された文字列領域d内の文字を認識し、当該認識した文字に基づいてファイル名が決定されるので、キーボード等の文字入力手段を用いなくともユーザが指Fで資料2上をなぞればファイル名が決定されることになる。また、指Fによって指定された切り出し領域cの画像データは、前述のファイル名で保存されることになる。
このように、指F等の指示媒体で資料2上をなぞることで、電子化したい画像及びファイル名が指定できるので、切り出し領域c(選択領域)を効率的に電子ファイル化することが可能となる。
このように、指F等の指示媒体で資料2上をなぞることで、電子化したい画像及びファイル名が指定できるので、切り出し領域c(選択領域)を効率的に電子ファイル化することが可能となる。
また、パソコン14は、指Fの軌跡f2が右回りに描かれることで切り出し領域cを判断し、指Fの軌跡f4が左回りに描かれることで文字列領域dを判断している。このように、指Fで指定される指定方法に基づいてパソコン14が切り出し領域c及び文字列領域dを区別しているので、指Fによる指定方法を変更することにより簡単に切り出し領域c及び文字列領域dの指定を切り替えることができる。
言い方を変えると、指Fによる指定方法により、パソコン14は、切り出し領域cであるか文字列領域dであるかを認識することができる。
言い方を変えると、指Fによる指定方法により、パソコン14は、切り出し領域cであるか文字列領域dであるかを認識することができる。
また、指Fの軌跡が閉じた軌跡f2である場合、パソコン14は前記閉じた軌跡f2で囲まれた領域を切り出し領域cとして認識しているので、直接資料2の上を指Fでなぞるという簡単な操作で切り出し領域cを指定することができる。
また、指Fの軌跡が閉じた軌跡f4であって、切り出し領域cとして認識した軌跡f2とは進行方向(囲み方の向き)が異なる場合、パソコン14は前記閉じた軌跡f4で囲まれた領域を文字列領域dとして認識しているので、直接資料2の上を指Fでなぞるという簡単な操作で文字列領域dを指定することができる。
また、ディスプレイ15がカメラ13の撮像内容を表示しているので、資料2の状態や、指Fの移動を目視によって確認することができる。
また、領域特定処理前には、「領域を右回りで囲んだ場合は切り出し領域として、左回りで囲んだ場合は文字列領域として特定されます。」というように、領域を指定するための閉じた軌跡の進行方向により、切り出し領域が特定されるか、文字列領域が特定されるかがディスプレイ15に表示されているので、切り出し領域の指定時と文字列領域の指定時とが視覚的に区別されてディスプレイ15に表示されることになる。したがって、ユーザは現在行われている処理がなんであるかを認識することができる。
また、パソコン14が認識した文字列領域d内の文字がディスプレイ15に表示されるので、ユーザは自分が意図した文字が認識されているか否かを確認することができる。
また、領域特定処理前には、「領域を右回りで囲んだ場合は切り出し領域として、左回りで囲んだ場合は文字列領域として特定されます。」というように、領域を指定するための閉じた軌跡の進行方向により、切り出し領域が特定されるか、文字列領域が特定されるかがディスプレイ15に表示されているので、切り出し領域の指定時と文字列領域の指定時とが視覚的に区別されてディスプレイ15に表示されることになる。したがって、ユーザは現在行われている処理がなんであるかを認識することができる。
また、パソコン14が認識した文字列領域d内の文字がディスプレイ15に表示されるので、ユーザは自分が意図した文字が認識されているか否かを確認することができる。
なお、本発明は上記実施形態に限らず適宜変更可能である。
例えば、上記実施形態では、指Fの軌跡f2,f4が閉じた軌跡となる第一指示方法を用いて、その軌跡f2,f4の進行方向の違いにより、切り出し領域cか文字列領域dかを判断する場合を例示したが、切り出し領域cは第一指示方法で指定し、文字列領域dは、開いた軌跡となる第二指示方法で指定することも可能である。第一指示方法と第二指示方法とは、指Fの動作が大きく異なっているので、ユーザにとっても異なる領域を指定していることが自覚しやすく、操作の混乱を招きにくくすることができる。
例えば、上記実施形態では、指Fの軌跡f2,f4が閉じた軌跡となる第一指示方法を用いて、その軌跡f2,f4の進行方向の違いにより、切り出し領域cか文字列領域dかを判断する場合を例示したが、切り出し領域cは第一指示方法で指定し、文字列領域dは、開いた軌跡となる第二指示方法で指定することも可能である。第一指示方法と第二指示方法とは、指Fの動作が大きく異なっているので、ユーザにとっても異なる領域を指定していることが自覚しやすく、操作の混乱を招きにくくすることができる。
図16は、文字列領域dを開いた軌跡で指定する場合を例示した説明図である。ここで、文字列領域dにはファイル名指定用の領域と、検索キーワード指定用の領域との用途の異なる二種類の領域が含まれている。ファイル名指定用の領域を指定する際の指Fの進行方向(第一進行方向)と、検索キーワード指定用の領域を指定する際の指Fの進行方向(第二進行方向)とは互いに異なる方向となるように予めパソコン14に設定されている。例えば図16に示すような横書きの場合、左から右へと向かう方向が第一進行方向Y5に設定され、右から左へと向かう方向が第二進行方向Y6に設定されている。なお、これとは逆に右から左へと向かう方向を第一進行方向Y5、左から右へと向かう方向を第二進行方向Y6に設定してもよい。
また、縦書きの場合では、例えば、上から下へと向かう方向を第一進行方向とし、下から上へと向かう方向を第二進行方向としてもよい。この場合も逆の設定にすることも可能であることはもちろんである。
また、縦書きの場合では、例えば、上から下へと向かう方向を第一進行方向とし、下から上へと向かう方向を第二進行方向としてもよい。この場合も逆の設定にすることも可能であることはもちろんである。
具体的に説明すると、ユーザが資料2の所望の位置に指Fを置き、一定時間経過するとパソコン14側では特定した指示位置を文字列領域dの開始点座標f5として認識する。
そして、ユーザは所望の文字列を指定するため指Fを移動させる。ファイル名指定用の領域を指定する場合には、ユーザは第一進行方向Y5で指Fを移動させて所望の文字列の下方をなぞる。他方、検索キーワード指定用の領域を指定する場合には、ユーザは第二進行方向Y6で指Fを移動させて所望の文字列の下方をなぞる。そして、ユーザが指定する文字列の終了位置に指Fを置き一定時間経過すると、パソコン14側では特定した指示位置を文字列領域dの終了点座標f6として認識する。
これで文字列領域dの開始点座標f5と終了点座標f6とが認識されるため、パソコン14はこれらの座標f5,f6及び軌跡f7から文字列領域dを設定する。軌跡f7が文字列の下方にある場合は、パソコン14は軌跡f7の上方近傍にある一列分の文字列を含む領域を文字列領域dとして設定する。他方、軌跡f7が文字列に重なっている場合は、パソコン14は軌跡f7に重なった近傍領域一列分の文字列を含む領域を文字列領域dとして設定する。
そして、ユーザは所望の文字列を指定するため指Fを移動させる。ファイル名指定用の領域を指定する場合には、ユーザは第一進行方向Y5で指Fを移動させて所望の文字列の下方をなぞる。他方、検索キーワード指定用の領域を指定する場合には、ユーザは第二進行方向Y6で指Fを移動させて所望の文字列の下方をなぞる。そして、ユーザが指定する文字列の終了位置に指Fを置き一定時間経過すると、パソコン14側では特定した指示位置を文字列領域dの終了点座標f6として認識する。
これで文字列領域dの開始点座標f5と終了点座標f6とが認識されるため、パソコン14はこれらの座標f5,f6及び軌跡f7から文字列領域dを設定する。軌跡f7が文字列の下方にある場合は、パソコン14は軌跡f7の上方近傍にある一列分の文字列を含む領域を文字列領域dとして設定する。他方、軌跡f7が文字列に重なっている場合は、パソコン14は軌跡f7に重なった近傍領域一列分の文字列を含む領域を文字列領域dとして設定する。
そして、パソコン14は、文字列領域dに対して周知の文字認識処理を施すことで、文字列領域d内の文字を認識する。この際、文字列領域dを指定する際の指Fの進行方向が第一進行方向Y5である場合、パソコン14は、認識した文字をファイル名として決定する。図16に示す例では、「12345」がファイル名として用いられる。
また、文字列領域dを指定する際の指Fの進行方向が第二進行方向Y6である場合、パソコン14は、認識した文字をキーワードとして決定する。図16に示す例では、「AB」、「CD」、「EF」のそれぞれがキーワードとして用いられる。
また、文字列領域dを指定する際の指Fの進行方向が第二進行方向Y6である場合、パソコン14は、認識した文字をキーワードとして決定する。図16に示す例では、「AB」、「CD」、「EF」のそれぞれがキーワードとして用いられる。
その後、パソコン14は、決定したファイル名で実際の切り出し部分の画像データを保存する。この際、パソコン14はキーワードもタグ情報として画像データとともに保存する。
このように、指Fの軌跡が開いた軌跡f7である場合、パソコン4が前記開いた軌跡f7でなぞられた領域を文字列領域dと認識するので、直接資料2の上を指Fでなぞるという簡単な操作で文字列領域dを指定することができる。また、切り出し領域cを指定する際の軌跡は閉じた軌跡f2であるために、切り出し領域cの指定時と文字列領域dの指定時とでは指示方法が大きく異なることになる。このため、指示時におけるユーザの混乱を抑制することが可能である。
また、指Fの進行方向によって、パソコン14が文字列領域dの種類を区別しているので、指Fによって指定された文字列においても種類を分けてパソコン14に認識させることができる。
パソコン14が、認識したキーワードをタグ情報として画像データとともに保存しているので、ファイル名とともに検索用のキーワードも指F等の指示媒体で資料2上をなぞることで効率的に電子ファイル化することができる。
また、第一指示方法で文字列領域dを指定し、第二指示方法で切り出し領域cを指定することも可能である。第二指示方法で切り出し領域cを指定する場合について具体的に説明する。図17は、切り出し領域cを開いた軌跡で指定する場合を例示した説明図である。ユーザが資料2の所望の位置に指Fを置き、一定時間経過するとパソコン14側では特定した指示位置を切り出し領域cの開始点座標f8として認識する。
そして、ユーザは所望の画像を指定するため指Fを移動させる。そして、ユーザが指定する画像の終了位置に指Fを置き一定時間経過すると、パソコン14側では特定した指示位置を切り出し領域cの終了点座標f9として認識する。
これで切り出し領域cの開始点座標f8と終了点座標f9とが認識されるため、パソコン14はこれらの座標f8,f9及び軌跡f10から切り出し領域cを設定する。軌跡f10が画像の下方にある場合は、パソコン14は軌跡f10の上方近傍にある画像を含む矩形領域を切り出し領域cとして設定する。ここで、画像とその他の領域(背景領域)との判別は、背景領域の一様性(例えば無地、白等)と画像との境界によって行われている。例えば、パソコン14は、軌跡f10が特定されると、当該軌跡f10の上方をスキャニングし、無地の部分と、画像との境界を認識する。その境界部分の上端f11を、矩形領域である切り出し領域cの上辺の位置として決定することで、切り出し領域cを特定している。
そして、ユーザは所望の画像を指定するため指Fを移動させる。そして、ユーザが指定する画像の終了位置に指Fを置き一定時間経過すると、パソコン14側では特定した指示位置を切り出し領域cの終了点座標f9として認識する。
これで切り出し領域cの開始点座標f8と終了点座標f9とが認識されるため、パソコン14はこれらの座標f8,f9及び軌跡f10から切り出し領域cを設定する。軌跡f10が画像の下方にある場合は、パソコン14は軌跡f10の上方近傍にある画像を含む矩形領域を切り出し領域cとして設定する。ここで、画像とその他の領域(背景領域)との判別は、背景領域の一様性(例えば無地、白等)と画像との境界によって行われている。例えば、パソコン14は、軌跡f10が特定されると、当該軌跡f10の上方をスキャニングし、無地の部分と、画像との境界を認識する。その境界部分の上端f11を、矩形領域である切り出し領域cの上辺の位置として決定することで、切り出し領域cを特定している。
なお、上記実施形態では、画像保存用の切り出し領域(第一領域)cと、文字列指定用の文字列領域(第二領域)dとを、指示方法で区別して認識させる場合を例示したが、指示の順序で区別して認識させるようにすることも可能である。
具体的には、指示の順序により領域が区別して認識される旨を通知する適切なメッセージをユーザに示して、1回目の指示により画像保存用の切り出し領域(第一領域)cを認識させ、2回目の指示により文字列指定用の文字列領域(第二領域)dを認識させる、あるいは、1回目の指示により文字列領域(第二領域)dを認識させ、2回目の指示により画像保存用の切り出し領域(第一領域)cを認識させるようにしてもよい。
同様に、指示の順序により、ファイル名指定用の領域と、検索キーワード指定用の領域とを区別して認識させるようにしてもよい。
具体的には、指示の順序により領域が区別して認識される旨を通知する適切なメッセージをユーザに示して、1回目の指示により画像保存用の切り出し領域(第一領域)cを認識させ、2回目の指示により文字列指定用の文字列領域(第二領域)dを認識させる、あるいは、1回目の指示により文字列領域(第二領域)dを認識させ、2回目の指示により画像保存用の切り出し領域(第一領域)cを認識させるようにしてもよい。
同様に、指示の順序により、ファイル名指定用の領域と、検索キーワード指定用の領域とを区別して認識させるようにしてもよい。
また、上記実施形態ではカメラ13の撮像により得られた画像データに対してパソコン14が種々の画像処理を施す場合を例示したが、カメラ側で画像データに対する画像処理を実行することも可能である。具体的には、図18に示すように、カメラ13Aには、光学レンズ部131と、イメージセンサ132と、イメージセンサ132により変換されたデジタル信号を記録するRAM134(メモリーカード等を含む)と、各種プログラムが記録されたROM135(EEPROM等を含む)と、RAM134内の画像データに対して画像処理を施す画像処理部136と、各種指示が入力される操作部137と、操作部137からの指示に基づいてROM135中のプログラムを読み出し、光学レンズ部131、イメージセンサ132、画像処理部136等を制御するCPU138と、各種データをパソコン14に出力するI/F133とが備えられている。
カメラ13AのROM135には、前記切り出し処理用のプログラムが記憶されている。このプログラムをカメラ13AのCPU238が実行することによって、切り出し処理が実行される。つまり、カメラ13Aが本発明に係る撮像手段、第一領域認識手段、第二領域認識手段、文字認識手段及び決定手段である。そして切り出し処理によって切り出された画像データは、カメラ13Aにより決定されたファイル名が付与されてから、パソコン14に送られ記録される。つまり、パソコン14が本発明に係る保存手段である。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置であって、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識手段と、
前記第二領域認識手段で認識された前記第二領域内の文字を認識する文字認識手段と、
前記文字認識手段で認識された文字を基に、前記第一領域認識手段で認識された前記第一領域の画像のファイル名を決定する決定手段と、
前記決定手段により決定された前記ファイル名で、前記第一領域の画像を保存する保存手段と、
を備えることを特徴とする画像処理装置。
<請求項2>
請求項1記載の画像処理装置において、
前記第一領域認識手段及び前記第二領域認識手段は、前記指示媒体で指定される指示方法に基づいて、前記第一領域であるか前記第二領域であるかを区別することを特徴とする画像処理装置。
<請求項3>
請求項2記載の画像処理装置において、
前記指示方法には、前記指示媒体の軌跡が閉じた軌跡で指示する第一指示方法と、前記指示媒体の軌跡が開いた軌跡で指示する第二指示方法とがあり、
前記第一領域認識手段は、前記第一指示方法及び前記第二指示方法のいずれか一方の指示方法によって前記第一領域を認識することを特徴とする画像処理装置。
<請求項4>
請求項3記載の画像処理装置において、
前記第一領域認識手段は、前記第一指示方法によって前記第一領域を認識する場合、前記閉じた軌跡として右回り及び左回りのいずれか一方の軌跡で囲まれた領域を前記第一領域として認識することを特徴とする画像処理装置。
<請求項5>
請求項4記載の画像処理装置において、
前記第二領域認識手段は、前記第一指示方法による閉じた軌跡の進行方向が、前記第一領域認識手段が第一領域として認識した軌跡とは異なる場合、当該閉じた軌跡で囲まれた領域を前記第二領域として認識することを特徴とする画像処理装置。
<請求項6>
請求項3〜5のいずれか一項に記載の画像処理装置において、
前記第二領域認識手段は、前記第一指示方法によって前記第一領域を認識する場合、前記第二指示方法によって前記第二領域を認識することを特徴とする画像処理装置。
<請求項7>
請求項6記載の画像処理装置において、
前記第二領域認識手段は、前記指示媒体の進行方向によって、前記第二領域の種類を区別することを特徴とする画像処理装置。
<請求項8>
請求項7記載の画像処理装置において、
前記第二領域認識手段には、前記第二領域の種類としてファイル名指定用の領域を指定するための前記指示媒体の第一進行方向と、前記第二領域の種類として検索キーワード指定用の領域を指定するための前記指示媒体の第二進行方向とが、互いに異なる方向となるように予め設定されていて、
前記決定手段は、前記文字認識手段によって認識された前記ファイル名指定用の領域内の文字に基づいて前記ファイル名を決定し、
前記保存手段は、前記文字認識手段によって認識された前記検索キーワード指定用の領域内の文字からなるキーワードをタグ情報として前記第一領域の画像とともに保存することを特徴とする画像処理装置。
<請求項9>
請求項1記載の画像処理装置において、
前記第一領域認識手段及び前記第二領域認識手段は、前記指示媒体で指定される指示の順序に基づいて前記第一領域であるか前記第二領域であるかを区別することを特徴とする画像処理装置。
<請求項10>
請求項1〜9のいずれか一項に記載の画像処理装置において、
前記撮像手段の撮像内容を表示する表示手段を備えることを特徴とする画像処理装置。
<請求項11>
請求項10記載の画像処理装置において、
前記表示手段は、前記第一領域の指定時と、前記第二領域の指定時とが視覚的に区別がつくように表示することを特徴とする画像処理装置。
<請求項12>
請求項10又は11記載の画像処理装置において、
前記表示手段は、前記文字認識手段で認識された文字を表示することを特徴とする画像処理装置。
<請求項13>
指示媒体によって指示される被写体内の指示位置を特定する画像処理方法であって、
前記被写体を撮像する撮像工程と、
前記撮像工程で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識工程と、
前記撮像工程で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識工程と、
前記第二領域認識工程で認識された前記第二領域内の文字を認識する文字認識工程と、
前記文字認識工程で認識された文字を基に、前記第一領域認識工程で認識された前記第一領域の画像のファイル名を決定する決定工程と、
前記決定工程により決定された前記ファイル名で、前記第一領域の画像を保存する保存工程とを含むことを特徴とする画像処理方法。
<請求項14>
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置に備わるコンピュータで実行されるプログラムであって、
コンピュータを、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識手段と、
前記第二領域認識手段で認識された前記第二領域内の文字を認識する文字認識手段と、
前記文字認識手段で認識された文字を基に、前記第一領域認識手段で認識された前記第一領域の画像のファイル名を決定する決定手段と、
前記決定手段により決定された前記ファイル名で、前記第一領域の画像を保存する保存手段として機能させることを特徴とするプログラム。
<請求項1>
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置であって、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識手段と、
前記第二領域認識手段で認識された前記第二領域内の文字を認識する文字認識手段と、
前記文字認識手段で認識された文字を基に、前記第一領域認識手段で認識された前記第一領域の画像のファイル名を決定する決定手段と、
前記決定手段により決定された前記ファイル名で、前記第一領域の画像を保存する保存手段と、
を備えることを特徴とする画像処理装置。
<請求項2>
請求項1記載の画像処理装置において、
前記第一領域認識手段及び前記第二領域認識手段は、前記指示媒体で指定される指示方法に基づいて、前記第一領域であるか前記第二領域であるかを区別することを特徴とする画像処理装置。
<請求項3>
請求項2記載の画像処理装置において、
前記指示方法には、前記指示媒体の軌跡が閉じた軌跡で指示する第一指示方法と、前記指示媒体の軌跡が開いた軌跡で指示する第二指示方法とがあり、
前記第一領域認識手段は、前記第一指示方法及び前記第二指示方法のいずれか一方の指示方法によって前記第一領域を認識することを特徴とする画像処理装置。
<請求項4>
請求項3記載の画像処理装置において、
前記第一領域認識手段は、前記第一指示方法によって前記第一領域を認識する場合、前記閉じた軌跡として右回り及び左回りのいずれか一方の軌跡で囲まれた領域を前記第一領域として認識することを特徴とする画像処理装置。
<請求項5>
請求項4記載の画像処理装置において、
前記第二領域認識手段は、前記第一指示方法による閉じた軌跡の進行方向が、前記第一領域認識手段が第一領域として認識した軌跡とは異なる場合、当該閉じた軌跡で囲まれた領域を前記第二領域として認識することを特徴とする画像処理装置。
<請求項6>
請求項3〜5のいずれか一項に記載の画像処理装置において、
前記第二領域認識手段は、前記第一指示方法によって前記第一領域を認識する場合、前記第二指示方法によって前記第二領域を認識することを特徴とする画像処理装置。
<請求項7>
請求項6記載の画像処理装置において、
前記第二領域認識手段は、前記指示媒体の進行方向によって、前記第二領域の種類を区別することを特徴とする画像処理装置。
<請求項8>
請求項7記載の画像処理装置において、
前記第二領域認識手段には、前記第二領域の種類としてファイル名指定用の領域を指定するための前記指示媒体の第一進行方向と、前記第二領域の種類として検索キーワード指定用の領域を指定するための前記指示媒体の第二進行方向とが、互いに異なる方向となるように予め設定されていて、
前記決定手段は、前記文字認識手段によって認識された前記ファイル名指定用の領域内の文字に基づいて前記ファイル名を決定し、
前記保存手段は、前記文字認識手段によって認識された前記検索キーワード指定用の領域内の文字からなるキーワードをタグ情報として前記第一領域の画像とともに保存することを特徴とする画像処理装置。
<請求項9>
請求項1記載の画像処理装置において、
前記第一領域認識手段及び前記第二領域認識手段は、前記指示媒体で指定される指示の順序に基づいて前記第一領域であるか前記第二領域であるかを区別することを特徴とする画像処理装置。
<請求項10>
請求項1〜9のいずれか一項に記載の画像処理装置において、
前記撮像手段の撮像内容を表示する表示手段を備えることを特徴とする画像処理装置。
<請求項11>
請求項10記載の画像処理装置において、
前記表示手段は、前記第一領域の指定時と、前記第二領域の指定時とが視覚的に区別がつくように表示することを特徴とする画像処理装置。
<請求項12>
請求項10又は11記載の画像処理装置において、
前記表示手段は、前記文字認識手段で認識された文字を表示することを特徴とする画像処理装置。
<請求項13>
指示媒体によって指示される被写体内の指示位置を特定する画像処理方法であって、
前記被写体を撮像する撮像工程と、
前記撮像工程で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識工程と、
前記撮像工程で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識工程と、
前記第二領域認識工程で認識された前記第二領域内の文字を認識する文字認識工程と、
前記文字認識工程で認識された文字を基に、前記第一領域認識工程で認識された前記第一領域の画像のファイル名を決定する決定工程と、
前記決定工程により決定された前記ファイル名で、前記第一領域の画像を保存する保存工程とを含むことを特徴とする画像処理方法。
<請求項14>
指示媒体によって指示される被写体内の指示位置を特定する画像処理装置に備わるコンピュータで実行されるプログラムであって、
コンピュータを、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識手段と、
前記第二領域認識手段で認識された前記第二領域内の文字を認識する文字認識手段と、
前記文字認識手段で認識された文字を基に、前記第一領域認識手段で認識された前記第一領域の画像のファイル名を決定する決定手段と、
前記決定手段により決定された前記ファイル名で、前記第一領域の画像を保存する保存手段として機能させることを特徴とするプログラム。
1 書画カメラ装置(画像処理装置)
2 資料(被写体)
5 指示前画像
6 指示中画像
11 台座
12 スタンド部
13 カメラ(撮像手段)
14 パソコン(第一領域認識手段、第二領域認識手段、文字認識手段、決定手段、保存手段)
15 ディスプレイ(表示手段)
21 台座
51,52b,53 同色領域
52 マスク領域
52c 輪郭
52d 位置(指示位置)
c 切り出し領域(第一領域)
d 文字列領域(第二領域)
E 指示媒体部分
F 指(指示媒体)
f1 開始点座標
f2 軌跡
2 資料(被写体)
5 指示前画像
6 指示中画像
11 台座
12 スタンド部
13 カメラ(撮像手段)
14 パソコン(第一領域認識手段、第二領域認識手段、文字認識手段、決定手段、保存手段)
15 ディスプレイ(表示手段)
21 台座
51,52b,53 同色領域
52 マスク領域
52c 輪郭
52d 位置(指示位置)
c 切り出し領域(第一領域)
d 文字列領域(第二領域)
E 指示媒体部分
F 指(指示媒体)
f1 開始点座標
f2 軌跡
Claims (14)
- 指示媒体によって指示される被写体内の指示位置を特定する画像処理装置であって、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識手段と、
前記第二領域認識手段で認識された前記第二領域内の文字を認識する文字認識手段と、
前記文字認識手段で認識された文字を基に、前記第一領域認識手段で認識された前記第一領域の画像のファイル名を決定する決定手段と、
前記決定手段により決定された前記ファイル名で、前記第一領域の画像を保存する保存手段と、
を備えることを特徴とする画像処理装置。 - 請求項1記載の画像処理装置において、
前記第一領域認識手段及び前記第二領域認識手段は、前記指示媒体で指定される指示方法に基づいて、前記第一領域であるか前記第二領域であるかを区別することを特徴とする画像処理装置。 - 請求項2記載の画像処理装置において、
前記指示方法には、前記指示媒体の軌跡が閉じた軌跡で指示する第一指示方法と、前記指示媒体の軌跡が開いた軌跡で指示する第二指示方法とがあり、
前記第一領域認識手段は、前記第一指示方法及び前記第二指示方法のいずれか一方の指示方法によって前記第一領域を認識することを特徴とする画像処理装置。 - 請求項3記載の画像処理装置において、
前記第一領域認識手段は、前記第一指示方法によって前記第一領域を認識する場合、前記閉じた軌跡として右回り及び左回りのいずれか一方の軌跡で囲まれた領域を前記第一領域として認識することを特徴とする画像処理装置。 - 請求項4記載の画像処理装置において、
前記第二領域認識手段は、前記第一指示方法による閉じた軌跡の進行方向が、前記第一領域認識手段が第一領域として認識した軌跡とは異なる場合、当該閉じた軌跡で囲まれた領域を前記第二領域として認識することを特徴とする画像処理装置。 - 請求項3〜5のいずれか一項に記載の画像処理装置において、
前記第二領域認識手段は、前記第一指示方法によって前記第一領域を認識する場合、前記第二指示方法によって前記第二領域を認識することを特徴とする画像処理装置。 - 請求項6記載の画像処理装置において、
前記第二領域認識手段は、前記指示媒体の進行方向によって、前記第二領域の種類を区別することを特徴とする画像処理装置。 - 請求項7記載の画像処理装置において、
前記第二領域認識手段には、前記第二領域の種類としてファイル名指定用の領域を指定するための前記指示媒体の第一進行方向と、前記第二領域の種類として検索キーワード指定用の領域を指定するための前記指示媒体の第二進行方向とが、互いに異なる方向となるように予め設定されていて、
前記決定手段は、前記文字認識手段によって認識された前記ファイル名指定用の領域内の文字に基づいて前記ファイル名を決定し、
前記保存手段は、前記文字認識手段によって認識された前記検索キーワード指定用の領域内の文字からなるキーワードをタグ情報として前記第一領域の画像とともに保存することを特徴とする画像処理装置。 - 請求項1記載の画像処理装置において、
前記第一領域認識手段及び前記第二領域認識手段は、前記指示媒体で指定される指示の順序に基づいて前記第一領域であるか前記第二領域であるかを区別することを特徴とする画像処理装置。 - 請求項1〜9のいずれか一項に記載の画像処理装置において、
前記撮像手段の撮像内容を表示する表示手段を備えることを特徴とする画像処理装置。 - 請求項10記載の画像処理装置において、
前記表示手段は、前記第一領域の指定時と、前記第二領域の指定時とが視覚的に区別がつくように表示することを特徴とする画像処理装置。 - 請求項10又は11記載の画像処理装置において、
前記表示手段は、前記文字認識手段で認識された文字を表示することを特徴とする画像処理装置。 - 指示媒体によって指示される被写体内の指示位置を特定する画像処理方法であって、
前記被写体を撮像する撮像工程と、
前記撮像工程で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識工程と、
前記撮像工程で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識工程と、
前記第二領域認識工程で認識された前記第二領域内の文字を認識する文字認識工程と、
前記文字認識工程で認識された文字を基に、前記第一領域認識工程で認識された前記第一領域の画像のファイル名を決定する決定工程と、
前記決定工程により決定された前記ファイル名で、前記第一領域の画像を保存する保存工程とを含むことを特徴とする画像処理方法。 - 指示媒体によって指示される被写体内の指示位置を特定する画像処理装置に備わるコンピュータで実行されるプログラムであって、
コンピュータを、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を画像保存用の第一領域として認識する第一領域認識手段と、
前記撮像手段で撮像された領域のうち、前記指示媒体で指定された指定領域を文字列指定用の第二領域として認識する第二領域認識手段と、
前記第二領域認識手段で認識された前記第二領域内の文字を認識する文字認識手段と、
前記文字認識手段で認識された文字を基に、前記第一領域認識手段で認識された前記第一領域の画像のファイル名を決定する決定手段と、
前記決定手段により決定された前記ファイル名で、前記第一領域の画像を保存する保存手段として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013161415A JP2015033002A (ja) | 2013-08-02 | 2013-08-02 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013161415A JP2015033002A (ja) | 2013-08-02 | 2013-08-02 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015033002A true JP2015033002A (ja) | 2015-02-16 |
Family
ID=52517980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013161415A Pending JP2015033002A (ja) | 2013-08-02 | 2013-08-02 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015033002A (ja) |
-
2013
- 2013-08-02 JP JP2013161415A patent/JP2015033002A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5907022B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101747511B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
EP3092790B1 (en) | Adaptive camera control for reducing motion blur during real-time image capture | |
EP3072103B1 (en) | User feedback for real-time checking and improving quality of scanned image | |
US9020210B2 (en) | Image processing system, image processing apparatus, image processing method, and program | |
US9706108B2 (en) | Information processing apparatus and associated methodology for determining imaging modes | |
CN109978805A (zh) | 拍照处理方法、装置、移动终端以及存储介质 | |
JP2018503201A (ja) | 領域抽出方法、モデル訓練方法及び装置 | |
CN105303156B (zh) | 字符检测装置、方法及程序 | |
JP2008027080A (ja) | プレゼンテーションシステム | |
JP2009169948A (ja) | 原稿方向判定装置、原稿方向判定方法、プログラムおよびその記録媒体 | |
US9436996B2 (en) | Recording medium storing image processing program and image processing apparatus | |
JP2013200735A (ja) | 画像生成装置、画像生成方法及びプログラム | |
US11049303B2 (en) | Imaging apparatus, and operation program and operation method for imaging apparatus | |
JP6171651B2 (ja) | 画像処理プログラム及び画像処理装置 | |
JP2006309405A (ja) | メータ認識システム、メータ認識方法、およびメータ認識プログラム | |
WO2012014946A1 (ja) | 画像処理装置、および画像処理プログラム | |
JP2015033002A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6694907B2 (ja) | 判定装置、判定方法及び判定プログラム | |
JP2009267803A (ja) | 画像処理装置 | |
JP4809869B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2007011762A (ja) | 領域抽出装置及び領域抽出方法 | |
JP6481204B2 (ja) | 情報処理装置と、その処理方法及びプログラム | |
JP2005217721A (ja) | 静止画像生成装置および生成方法 | |
JP6795770B2 (ja) | 情報処理装置と、その処理方法及びプログラム |