JP2018124918A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】簡易な操作入力に基づいて文字列を高精度に検出する。【解決手段】実施形態の画像処理装置は、受付部と特定部と検出部とを備える。受付部は、画像に対して入力された入力情報を受け付ける。特定部は、入力情報の位置を特定する。検出部は、位置との距離が他の文字列よりも小さい文字列を、画像から検出する。【選択図】図１

Description

本発明の実施形態は画像処理装置、画像処理方法及びプログラムに関する。

看板、標識、及び、レストランのメニュー等に記載された文字列を、スマートフォン及びタブレット等に内蔵されたカメラにより撮影することにより取得された画像から、文字列を検出する技術が従来から知られている。

しかしながら、従来の技術では、簡易な操作入力に基づいて文字列を高精度に検出することが難しかった。例えば、画像から文字列を示す全ての検出領域を検出できたとしても、画像内に複数の文字列がある場合、ユーザが注目する文字列を複数の検出領域の中から正確に指定する操作入力が必要だった。

特開２０１６−００４５５３号公報 特開２０１６−０４５８７７号公報 米国公開２０１１／００９０２５３号公報

Ｔｏｎｏｕｃｈｉ Ｙ．， Ｓｕｚｕｋｉ Ｋ．， Ｏｓａｄａ Ｋ．， Ａ Ｈｙｂｒｉｄ Ａｐｐｒｏａｃｈ ｔｏ Ｄｅｔｅｃｔ Ｔｅｘｔｓ ｉｎ Ｎａｔｕｒａｌ Ｓｃｅｎｅｓ ｂｙ Ｉｎｔｅｇｒａｔｉｏｎ ｏｆ ａ Ｃｏｎｎｅｃｔｅｄ−Ｃｏｍｐｏｎｅｎｔ Ｍｅｔｈｏｄ ａｎｄ ａ Ｓｌｉｄｉｎｇ−Ｗｉｎｄｏｗ Ｍｅｔｈｏｄ，ＩＷＲＲ ２０１４（Ｓｉｎｇａｐｏｒｅ）

本発明が解決しようとする課題は、簡易な操作入力に基づいて文字列を高精度に検出する画像処理装置、画像処理方法及びプログラムを提供することである。

実施形態の画像処理装置は、画像に対して入力された入力情報を受け付ける受付部と、前記入力情報の位置を特定する特定部と、前記位置との距離が他の文字列よりも小さい文字列を、前記画像から検出する検出部と、を備える。

実施形態の画像処理装置の機能構成の例を示す図。 実施形態の入力情報の例を示す図。 実施形態の入力情報の例を示す図。 実施形態の入力情報の例を示す図。 実施形態の検出部により画像から検出される文字列の例を示す図。 実施形態の文字列領域を特定する情報の例を示す図。 実施形態の変形例１の検出範囲の例を示す図。 実施形態の変形例１の検出範囲の例を示す図。 実施形態の変形例３の検出範囲の例を示す図。 実施形態の変形例４の仰角θと文字列との関係について説明するための図。 実施形態の変形例４の検出範囲の例を示す図。 実施形態の変形例４のホモグラフィ変換された検出範囲の例１を示す図。 実施形態の変形例４のホモグラフィ変換された検出範囲の例２を示す図。 実施形態の変形例５の入力情報の例を示す図。 実施形態の画像処理装置のハードウェア構成の例を示す図。

以下に添付図面を参照して、画像処理装置、画像処理方法及びプログラムの実施形態を詳細に説明する。

［機能構成の例］
図１は実施形態の画像処理装置１００の機能構成の例を示す図である。実施形態の画像処理装置１００は、取得部１、表示部２、入力部３、受付部４、特定部５及び検出部６を備える。画像処理装置１００は任意の装置でよい。画像処理装置１００は、例えばスマートデバイス、パーソナルコンピュータ及びカメラ等である。

取得部１は画像を取得する。取得部１は、例えばカメラ等の撮像部でもよい。また例えば、取得部１は、他の装置により撮像された画像を受け付けるインターフェース等の受付部でもよい。

表示部２は、取得部１に取得された画像を表示する。表示部２は、例えば液晶ディスプレイである。入力部３は、表示部２に表示された画像に対して入力された入力情報を受け付ける。入力部３は、例えばキーボード及びマウス等である。なお表示部２及び入力部３は、表示機能と入力機能とを備える液晶タッチパネル等でもよい。例えば画像処理装置１００がタッチパッド及びタブレットである場合、表示部２及び入力部３は液晶タッチパネルにより実現される。

受付部４は、画像に対して入力された入力情報を入力部３から受け付ける。

特定部５は、ユーザの操作によって入力された入力情報の位置を特定する。特定部５は、例えばマウス操作、及び、液晶タッチパネル等に対するタップ等により、入力情報が時系列で得られる場合、表示画面上の指示位置（ｘ_ｋ，ｙ_ｋ）の集合を、入力情報として特定する。

ここで入力情報の例について説明する。

［入力情報の例］
図２Ａは実施形態の入力情報２０１ａの例を示す図である。図２Ａの例では、入力情報２０１ａは点を示す。図２Ａの例の場合、特定部５は、入力情報２０１ａを（ｘ，ｙ）により特定する。

図２Ｂは実施形態の入力情報２０１ｂの例を示す図である。図２Ｂの例では、入力情報２０１ｂは線分を示す。図２Ｂの例の場合、特定部５は、入力情報２０１ｂを点列ｐ（ｋ）＝（ｘ_ｋ，ｙ_ｋ）（ｋ＝１，２，…，Ｋ）をつないだ折れ線により特定する。

図２Ｃは実施形態の入力情報２０１ｃの例を示す図である。図２Ｃの例では、入力情報２０１ｃは領域を示す。図２Ｃの例の場合、特定部５は、入力情報２０１ｃを点列ｐ（ｋ）＝（ｘ_ｋ，ｙ_ｋ）（ｋ＝１，２，…，Ｋ）をつないだ折れ線で囲まれた領域として特定する。

以下、入力情報２０１ａ〜２０１ｃを区別しない場合、単に入力情報２０１という。

図１に戻り、検出部６は、入力情報２０１の位置との距離が他の文字列よりも小さい文字列を、画像から検出する。

検出部６は、例えば入力情報２０１の位置との距離が最小の文字列を、画像から検出する。この場合、例えば検出部６は、入力情報２０１と重なる文字列を、画像から検出する。検出部６は、入力情報２０１と重なる文字列がない場合でも、入力情報２０１の位置との距離が最小の文字列を、画像から検出することができる。また例えば、検出部６は、複数の文字列のうち距離が小さい順に所定数の文字列を検出する。

なお検出対象の文字列には、数字及び記号等が含まれていてもよい。

図３は実施形態の検出部６により画像から検出される文字列の例を示す図である。図３の例では、入力情報２０１ｂの位置との距離が最小の文字列として、文字列領域２０４に含まれる文字列が、検出部６により検出される場合を示す。文字列領域２０５ａ〜２０５ｃに含まれる文字列は、入力情報２０１ｂの位置との距離が最小の文字列ではないので、検出部６により検出されない。

なお文字列領域２０４の検出処理は、例えば特許文献１及び非特許文献１等の方法を適用することができる。

図４は実施形態の文字列領域２０４を特定する情報の例を示す図である。図４の例では、文字列領域２０４を、４つの頂点（Ｘ_１，Ｙ_１）〜（Ｘ_４，Ｙ_４）により特定する場合を示す。

＜距離の算出例＞
４つの頂点（Ｘ_１，Ｙ_１）〜（Ｘ_４，Ｙ_４）により文字列領域２０４が特定される場合を例にして、入力情報２０１ｂ（図３参照）の位置と文字列領域２０４との距離を算出する方法について説明する。

検出部６は、入力情報２０１ｂの重心点の座標を下記式（１）により算出する。

次に、検出部６は、文字列領域２０４の重心点の座標を下記式（２）により算出する。

次に、検出部６は、入力情報２０１ｂの重心点と、文字列領域２０４の重心点との間のユークリッド距離により、入力情報２０１ｂの位置と文字列領域２０４との距離を算出する。

なお２点（ｘ_１，ｙ_１）と（ｘ_２，ｙ_２）との間のユークリッド距離は、下記式（３）により算出される。

以上説明したように、実施形態の画像処理装置１００では、受付部４が、画像に対して入力された入力情報を受け付ける。特定部５が、入力情報２０１の位置を特定する。そして検出部６が、入力情報２０１の位置との距離が他の文字列よりも小さい文字列を、画像から検出する。これにより実施形態の画像処理装置１００によれば、より簡易な操作入力に基づいて文字列を高精度に検出することができる。

（実施形態の変形例１）
次に実施形態の変形例１について説明する。実施形態の変形例１の説明では、実施形態と同様の説明については省略し、実施形態と異なる箇所について説明する。実施形態の変形例１の説明では、文字列の検出範囲を限定する場合について説明する。

＜検出範囲の例＞
図５は実施形態の変形例１の検出範囲の例を示す図である。はじめに、特定部５が、ユーザの操作入力によって入力された入力情報２０１ｂを特定する。次に、検出部６が、入力情報２０１ｂに外接する四角形領域２０２を検出する。次に、検出部６が、四角形領域２０２を、所定の倍率で上下左右に拡大することにより、検出範囲２０３を設定する。そして検出部６は、入力情報２０１を含む領域として限定された検出範囲２０３から、文字列領域２０４を検出する。

なお検出部６は、検出範囲２０３に複数の文字列が含まれる場合、入力情報２０１ｂの位置との距離が他の文字列よりも小さい文字列を検出する。検出部６は、検出範囲２０３に複数の文字列が含まれる場合、例えば入力情報２０１ｂの位置との距離が最小の文字列を検出する。また例えば、検出部６は、複数の文字列のうち距離が小さい順に所定数の文字列を検出する。

以上、説明したように、実施形態の変形例１の画像処理装置１００では、検出部６が、画像内で限定された検出範囲２０３から文字列を検出する。これにより実施形態の変形例１の画像処理装置１００によれば、実施形態の画像処理装置よりも高速に文字列を検出することができる。

（実施形態の変形例２）
次に実施形態の変形例２について説明する。実施形態の変形例２の説明では、実施形態と同様の説明については省略し、実施形態と異なる箇所について説明する。実施形態の変形例２の説明では、入力情報２０１ｂの方向、及び、文字列の方向を考慮して、文字列を検出する場合について説明する。

＜入力情報の方向の算出方法の例＞
特定部５は、入力情報２０１ｂの方向を特定する。具体的には、特定部５は、入力情報２０１ｂの点列ｐ（ｋ）＝（ｘ_ｋ，ｙ_ｋ）（ｋ＝１，２，…，Ｋ）から、下記式（４）により平均ベクトルを算出する。

次に、特定部５は、入力情報２０１ｂの点列ｐ（ｋ）＝（ｘ_ｋ，ｙ_ｋ）（ｋ＝１，２，…，Ｋ）、及び、平均ベクトルを使用して、下記式（５）により共分散行列を求める。

次に、特定部５は、共分散行列の固有値及び固有ベクトルを算出する。そして、特定部５は、２つの固有値のうち、大きい方の固有値に対応する固有ベクトルの方向により、入力情報２０１ｂの方向を特定する。

検出部６は、入力情報２０１ｂの位置との距離が閾値（第１閾値）以下であり、かつ、入力情報２０１ｂの方向との差が閾値（第２閾値）以下の方向を有する文字列を、画像から検出する。

なお検出部６は、検出対象の文字列が複数ある場合、例えば入力情報２０１ｂの位置との距離が他の文字列よりも小さい文字列を検出する。具体的には、検出部６は、検出対象の文字列が複数ある場合、例えば入力情報２０１ｂの位置との距離が最小の文字列を検出する。また例えば、検出部６は、複数の文字列のうち距離が小さい順に所定数の文字列を検出する。

また例えば、検出部６は、検出対象の文字列が複数ある場合、入力情報２０１ｂの方向と文字列の方向との差が、他の文字列よりも小さい文字列を検出する。具体的には、検出部６は、検出対象の文字列が複数ある場合、例えば入力情報２０１ｂの方向との差が最小の方向を有する文字列を検出する。また例えば、検出部６は、複数の文字列のうち入力情報２０１ｂの方向との差が小さい順に所定数の文字列を検出する。

以上説明したように、実施形態の変形例２の画像処理装置１００では、検出部６が、入力情報２０１ｂの位置との距離が閾値以下であり、かつ、入力情報２０１ｂの方向との差が閾値以下の方向を有する文字列を、画像から検出する。これにより実施形態の変形例２の画像処理装置１００によれば、実施形態の画像処理装置よりも高精度に文字列を検出することができる。

（実施形態の変形例３）
次に実施形態の変形例３について説明する。実施形態の変形例３の説明では、実施形態の変形例２と同様の説明については省略し、実施形態の変形例２と異なる箇所について説明する。実施形態の変形例３の説明では、入力情報２０１ｂの方向、及び、文字列の方向を考慮して、検出範囲２０３を設定する場合について説明する。

検出部６は、入力情報２０１ｂの方向と平行な辺を有する検出範囲を設定する。

図６Ａは実施形態の変形例１の検出範囲の例を示す図である。一方、図６Ｂは実施形態の変形例３の検出範囲の例を示す図である。図６Ａの検出範囲２０３ａは、入力情報２０１ｂの方向と平行な辺を有さない。一方、図６Ｂの検出範囲２０３ｂは、入力情報２０１ｂの方向と平行な辺を有する。実施形態の変形例３の検出部６は、図６Ｂの検出範囲２０３ｂを設定する。

具体的には、はじめに、特定部５が、ユーザの操作入力によって入力された入力情報２０１ｂを特定する。次に、検出部６が、入力情報２０１ｂに外接する四角形領域２０２を検出する。次に、検出部６が、四角形領域２０２を、所定の倍率で上下左右に拡大することにより、検出範囲２０３ｂを設定する。そして検出部６は、入力情報２０１ｂの位置との距離が閾値（第１閾値）以下であり、かつ、入力情報２０１ｂの方向との差が閾値（第２閾値）以下の方向を有する文字列を、検出範囲２０３ｂから検出する。

以上、説明したように、実施形態の変形例３の画像処理装置１００では、検出部６は、入力情報２０１ｂの位置との距離が閾値以下であり、かつ、入力情報２０１ｂの方向との差が閾値以下の方向を有する文字列を、検出範囲２０３ｂから検出する。これにより実施形態の変形例３の画像処理装置１００によれば、実施形態の画像処理装置１００よりも適切な検出範囲２０３ｂを設定することができるので、より高精度に文字列を検出することができる。

（実施形態の変形例４）
次に実施形態の変形例４について説明する。実施形態の変形例４の説明では、実施形態の変形例２と同様の説明については省略し、実施形態の変形例２と異なる箇所について説明する。実施形態の変形例４の説明では、画像が撮像されたときの撮像部（カメラ等）の仰角に基づいて、文字列の検出範囲２０３を変更する場合について説明する。

図７は実施形態の変形例４の仰角θと文字列との関係について説明するための図である。図８は実施形態の変形例４の検出範囲の例を示す図である。図７の例は、画像処理装置１００の取得部１が、カメラ等の撮像部である場合を示す。図７に示すように、撮像部により取得された画像に含まれる文字列の形状は、撮像部の仰角θに応じて変わる。そのため、検出部６は、画像が撮像されたときの撮像部の仰角θに応じて、検出範囲を変更する。

図８を使用して、検出範囲の短軸の向きについて説明する。検出部６は、検出範囲の短軸の向きを、画像が撮像されたときの撮像部の仰角θに応じて切り替える。具体的には、検出部６は、画像が撮像されたときの撮像部の仰角θが閾値（第３閾値）未満の場合、文字列の方向と方向が一致する辺と、文字列の方向と方向が直行する辺と、により形成される検出範囲（第１検出範囲）から、文字列を検出する。図８の例では、第１検出範囲は、長方形の検出範囲２０３ｂである。検出範囲２０３ｂの短軸の向きは、文字列の方向と直行する。

一方、検出部６は、画像が撮像されたときの撮像部の仰角が閾値（第３閾値）以上の場合、画像の垂直方向又は水平方向に方向が一致する辺と、文字列の方向と方向が一致する辺と、により形成される検出範囲（第２検出範囲）から、文字列を検出する。図８の例では、第２検出範囲は、平行四辺形の検出範囲２０３ｃである。検出範囲２０３ｃの短軸の向きは、画像の水平方向と直行する。

なお撮像部の仰角の取得方法は任意でよい。撮像部の仰角は、例えば特許文献２に記載の方法により取得できる。

＜検出範囲の変換例＞
検出部６は、第２検出範囲に含まれる文字列の方向が、水平又は垂直になるように第２検出範囲の画像を変換し、変換された第２検出範囲の画像から文字列を検出する。例えば、検出部６は、検出範囲２０３ｃの４頂点（Ｘ_１，Ｙ_１），（Ｘ_２，Ｙ_２），（Ｘ_３，Ｙ_３），（Ｘ_４，Ｙ_４）を、４頂点（０，０），（Ｗ，０），（Ｗ，Ｈ），（０，Ｈ）を有する幅Ｗ、高さＨの長方形となるように変換する。具体的には、検出部６は、例えばホモグラフィ変換をすることにより、検出範囲２０３ｃを変換する。

ホモグラフィ変換で使用される射影行列は、変換前の４頂点｛（Ｘ_１，Ｙ_１），（Ｘ_２，Ｙ_２），（Ｘ_３，Ｙ_３），（Ｘ_４，Ｙ_４）｝と、変換後の４頂点｛（０，０），（Ｗ，０），（Ｗ，Ｈ），（０，Ｈ）｝との対応から算出できる。検出部６は、算出された射影行列を使用して、検出範囲２０３ｃに含まれる点の座標を変換する。

検出部６は、例えばホモグラフィ変換された検出範囲２０３ｃから文字列を検出する。

図９Ａは実施形態の変形例４のホモグラフィ変換された検出範囲の例１を示す図である。図９Ａは、第２検出範囲（図８の検出範囲２０３ｃ）がホモグラフィ変換された場合を示す。

なお検出部６は、第１検出範囲（図８の検出範囲２０３ｂ）に含まれる文字列の方向が、水平又は垂直になるように第１検出範囲の画像を変換し、変換された第１検出範囲の画像から文字列を検出してもよい。

図９Ｂは実施形態の変形例４のホモグラフィ変換された検出範囲の例２を示す図である。図９Ｂは、第１検出範囲（図８の検出範囲２０３ｂ）がホモグラフィ変換された場合を示す。

図８の例では、第２検出範囲（検出範囲２０３ｃ）がホモグラフィ変換された場合（図９Ａ参照）の方が、第１検出範囲（検出範囲２０３ｂ）がホモグラフィ変換された場合（図９Ｂ参照）よりも、ホモグラフィ変換された検出範囲に含まれる文字列の歪みが小さい。

上述の図８の例では、検出範囲２０３ｂ及び２０３ｃの長軸方向は、入力情報２０１ｂの方向２１１から特定された文字列の方向２１２である。検出範囲２０３ｂ及び２０３ｃの短軸方向は、撮像部の仰角θに基づいて変更されている。

なお検出部６は、上述の方法と異なる方法で短軸方向を変更してもよい。例えば検出部６は、撮像部の仰角θが水平又は下向きを示す場合、文字列の方向２１２と垂直な方向を、短軸方向にしてもよい（検出範囲２０３ｂ）。一方、検出部６は、撮像部の仰角θが上向きを示す場合、画像に歪みが生じている可能性が高いので、画像の垂直方向をそのまま短軸方向にしてもよい（検出範囲２０３ｃ）。

以上、説明したように、実施形態の変形例４の画像処理装置１００では、検出部６が、画像が撮像されたときの撮像部（カメラ等）の仰角θに基づいて、文字列の検出範囲２０３を変更する。これにより実施形態の変形例４の画像処理装置１００によれば、実施形態の画像処理装置１００よりも適切な検出範囲２０３を設定することができるので、より高精度に文字列を検出することができる。なお検出部６が、更に、行方向補正（文字列の方向を水平、垂直に回転すること）、及び、文字の歪み補正を行うことにより、より高精度に文字列を検出することができる。

また、実施形態の変形例４の画像処理装置１００では、検出部６が、例えばホモグラフィ変換された検出範囲２０３ｃから文字列を検出する。これにより実施形態の変形例４の画像処理装置１００によれば、検出対象の文字列の歪みを修正することができるので、より高精度に文字列を検出することができる。

（実施形態の変形例５）
次に実施形態の変形例５について説明する。実施形態の変形例５の説明では、実施形態の変形例１と同様の説明については省略し、実施形態の変形例１と異なる箇所について説明する。実施形態の変形例５の説明では、入力情報２０１の形状が、入力情報２０１ｂ（図２Ｂ参照）のような線分でない場合について説明する。具体的には、入力情報２０１の形状が、入力情報２０１ｃ（図２Ｃ参照）である場合を例にして説明する。

図１０は実施形態の変形例５の入力情報２０１ｃの例を示す図である。はじめに、特定部５が、ユーザの操作入力によって入力された入力情報２０１ｃを特定する。次に、検出部６が、入力情報２０１ｃに外接する四角形領域２０２を検出する。以降の処理は、実施形態の変形例１の説明と同じなので省略する。

以上、説明したように、実施形態の変形例５の画像処理装置１００によれば、入力情報２０１の形状が、入力情報２０１ｃのような形状であっても、文字列を高精度に検出することができる。

［実施形態及び変形例１乃至５の効果］
以上、説明したように、実施形態及び変形例１乃至５の画像処理装置１００では、ユーザは、注目する文字列の位置を簡易な操作入力で指示することができる。例えば液晶タッチパネルを備えるスマートフォン及びタブレット等では、ユーザは、画像が表示された画面上で、文字列が表示された領域付近を、文字列方向に指で沿ってなぞる等の操作入力でよい。上述の実施形態及び変形例１乃至５の画像処理装置１００によれば、ユーザの入力操作がなぞり操作のような簡易な操作入力であっても、ユーザにより注目された文字列の位置と行方向とを高精度に特定することができる。

また、実施形態の変形例１、３乃至５のように、検出範囲２０３を限定することにより、画像中の全文字列を検出する必要がなくなる。すなわち、限定された検出範囲２０３から、ユーザが注目する文字列を１つだけ検出すればよいので、処理を高速化できる。

また、実施形態の変形例４のように、検出範囲２０３の変更及び変換をすることにより、撮像対象の文字列と撮像部との相対的な位置関係によって、画像中の文字列が大きく傾いたりゆがみが発生したりする場合でも、文字列を高精度に検出することができる。

最後に、実施形態の画像処理装置１００のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図１１は実施形態の画像処理装置１００のハードウェア構成の例を示す図である。実施形態の画像処理装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５、通信装置３０６及び撮像装置３０７を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５、通信装置３０６及び撮像装置３０７は、バス３１０を介して接続されている。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。制御装置３０１は、例えばＣＰＵ等の１以上のプロセッサである。上述の受付部４、特定部５及び検出部６は、例えば制御装置３０１により実現される。主記憶装置３０２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。

表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイである。上述の表示部２は、例えば表示装置３０４により実現される。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばキーボード及びマウス等である。上述の入力部３は、例えば入力装置３０５により実現される。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と通信する。撮像装置３０７は情景画像等の画像を撮像する。上述の取得部１は、例えば通信装置３０６により実現される。また例えば、上述の取得部１は、撮像装置３０７により実現される。

実施形態の画像処理装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また実施形態の画像処理装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の画像処理装置１００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また実施形態の画像処理装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施形態の画像処理装置１００で実行されるプログラムは、実施形態の画像処理装置１００の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。

プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、プログラムにより実現される機能が主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。

なお実施形態の画像処理装置１００の機能の一部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。ＩＣは、例えば専用の処理を実行するプロセッサである。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

また実施形態の画像処理装置１００の動作形態は任意でよい。実施形態の画像処理装置１００を、例えばネットワーク上のクラウドシステムとして動作させてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 取得部
２ 表示部
３ 入力部
４ 受付部
５ 特定部
６ 検出部
１００ 画像処理装置
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３０７ 撮像装置
３１０ バス

Claims (9)

1. 画像に対して入力された入力情報を受け付ける受付部と、
   前記入力情報の位置を特定する特定部と、
   前記位置との距離が他の文字列よりも小さい文字列を、前記画像から検出する検出部と、
   を備える画像処理装置。
2. 前記検出部は、前記文字列の検出範囲を、前記入力情報を含む領域に限定し、前記位置との距離が他の文字列よりも小さい文字列を、前記検出範囲から検出する、
   請求項１に記載の画像処理装置。
3. 前記特定部は、前記入力情報から、前記入力情報の方向を特定し、
   前記検出部は、前記位置との距離が第１閾値以下であり、かつ、前記入力情報の方向との差が第２閾値以下の方向を有する文字列を、前記画像から検出する、
   請求項１に記載の画像処理装置。
4. 前記検出部は、前記入力情報の方向と平行な辺を有する検出範囲を設定し、前記位置との距離が前記第１閾値以下であり、かつ、前記入力情報の方向との差が前記第２閾値以下の方向を有する文字列を、前記検出範囲から検出する、
   請求項３に記載の画像処理装置。
5. 前記検出部は、前記画像が撮像されたときの撮像部の仰角が第３閾値未満の場合、前記文字列の方向と方向が一致する辺と、前記文字列の方向と方向が直行する辺と、により形成される第１検出範囲から、前記文字列を検出し、前記画像が撮像されたときの撮像部の仰角が第３閾値以上の場合、前記画像の垂直方向又は水平方向に方向が一致する辺と、前記文字列の方向と方向が一致する辺と、により形成される第２検出範囲から、前記文字列を検出する、
   請求項３に記載の画像処理装置。
6. 前記検出部は、前記第２検出範囲に含まれる文字列の方向が、水平又は垂直になるように前記第２検出範囲の画像を変換し、変換された前記第２検出範囲の画像から前記文字列を検出する、
   請求項５に記載の画像処理装置。
7. 前記検出部は、前記第１検出範囲に含まれる文字列の方向が、水平又は垂直になるように前記第１検出範囲の画像を変換し、変換された前記第１検出範囲の画像から前記文字列を検出する、
   請求項５に記載の画像処理装置。
8. 画像に対して入力された入力情報を受け付けるステップと、
   前記入力情報の位置を特定するステップと、
   前記位置との距離が他の文字列よりも小さい文字列を、前記画像から検出するステップと、
   を含む画像処理方法。
9. コンピュータを、
   画像に対して入力された入力情報を受け付ける受付部と、
   前記入力情報の位置を特定する特定部と、
   前記位置との距離が他の文字列よりも小さい文字列を、前記画像から検出する検出部、
   として機能させるためのプログラム。

Images