JP2010102376A - 情報表示画素群抽出方法、情報表示画素群抽出装置及び情報表示画素群抽出プログラム - Google Patents

Abstract

【課題】撮影画像から予め背景などの不要な情報をユーザによる補助なしに削除し、必要な情報のみを残す。
【解決手段】入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得て、二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出して、二値化画素のうち黒画素でもなく周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出して、枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出して、除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出して、枠内空白部候補画素群に含まれる画素でもなく除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する。
【選択図】図６

Description

本発明は、カメラなどで撮影された画像から情報を表示する画素群（例えば、文字列を表す画素群）を抽出するための情報表示画素群抽出方法、情報表示画素群抽出装置及び情報表示画素群抽出プログラムに関する。

従来、カメラで撮影された画像データの不要箇所を削除する方法として、撮影時にユーザに不要箇所を取り込まないように指示を出す方法や、枠を被写体に設け、枠に収めて撮影するように指示を出す方法（図１（ａ）、（ｂ）参照）があった。

また、カメラで撮影された画像データの不要箇所を削除する別の方法として、被写体の撮影後に撮影画像データの不要箇所をユーザが切り取る方法があった（図１（ｃ）参照）。

更に、カメラで撮影された画像データの不要箇所を削除する別の方法として、不要箇所をそのままノイズとして処理して画像認識を行い、複数の認識結果からユーザに正解を選択して貰う方法があった（図１（ｄ）参照）。

特許文献１には、車両のナンバープレート文字の抽出に際し、ヒストグラム処理を行うことにより、不要箇所を削除する発明が記載されているが、この方法は、数字の「１」のような直線を持つ文字を不要箇所であると誤判断する可能性がある。
特開２００５−３５２７０５号公報

そこで、本発明は、携帯電話機などのカメラで、ユーザが様々な条件下で撮影したデジタル画像を利用する画像認識などの画像処理システムにおいて、撮影画像から予め背景などの不要な情報をユーザによる補助なしに削除し、必要な情報のみを残すことにより、後工程システムにおける処理精度を高めることを可能とする情報表示画素群抽出方法、情報表示画素群抽出装置及び情報表示画素群抽出プログラムを提供することを目的とする。

本発明によれば、入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得る二値化ステップと、前記二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する周辺白色部抽出ステップと、前記二値化画素のうち黒画素でもなく前記周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する枠内空白部候補画素群抽出ステップと、前記枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する除外候補画素群抽出ステップと、前記除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出する除外画素群抽出ステップと、前記枠内空白部候補画素群に含まれる画素でもなく前記除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する情報表示画素群抽出ステップと、を備えることを特徴とする情報表示画素群抽出方法が提供される。

また、本発明によれば、入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得る二値化手段と、前記二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する周辺白色部抽出手段と、前記二値化画素のうち黒画素でもなく前記周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する枠内空白部候補画素群抽出手段と、前記枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する除外候補画素群抽出手段と、前記除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出する除外画素群抽出手段と、前記枠内空白部候補画素群に含まれる画素でもなく前記除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する情報表示画素群抽出手段と、を備えることを特徴とする情報表示画素群抽出装置が提供される。

本発明によれば、撮影画像から予め背景などの不要な情報をユーザによる補助なしに削除し、必要な情報のみを残すことが可能となる。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

本実施形態では、不要部分と必要部分とを画像処理により切り分ける必要があるため、必要情報を含む部分を黒枠などの暗い色の枠で囲むこととする。同じ画像に複数の必要情報部分がある場合には、認識の優先度を決定するために撮影画像の中心部に近い方の必要情報部分を選択することとする（図２参照）。

図３に本実施形態による情報表示画素群抽出方法のフローチャートを示す。図３に示すように、本発明の実施形態による情報表示画素群抽出方法は、グレースケール化のステップ（ステップＳ２０１）、エリア別二値化のステップ（ステップＳ２０３）、情報表示画素群抽出のステップ（ステップＳ２０５）及び後処理のステップ（ステップＳ２０７）を含む。

グレースケール化のステップ（ステップＳ２０１）では、黒枠を特定するため、色情報を排除する（グレースケール化）。また、次工程にてエリア別二値化（領域を区切ったエリア毎に、濃度分布から２値化閾値を決定する処理）を行うため、０〜２５５の２５６階調のグレースケールに変換した後、エリア別に区切るために画像サイズの調整を行う。図４の例では、左側の画像は撮影画像を示すが、この画像は、サイズが横３５２画素×縦２８８画素のカラー画像（紙面の都合上、グレースケールで示している。）である。これが、ステップ２０１の処理が施されると、図４の右側の画像に変換される。この画像は、サイズが横２４０画素×縦２４０画素のグレースケール画像である。ここで、横２４０画素×縦２４０画素の正方形としたのは、文字列を縦に撮影した場合にも、横に撮影した場合も対応するためであり、一辺の長さを２４０画素としたのは、１ブロックあたりの一辺の長さが２０画素であり、この整数倍を選択したためである。

エリア別二値化のステップ（ステップＳ２０３）では、画像を特定のサイズのブロック（例えば、上述したように横２０画素×縦２０画素のブロック）に区切り、ブロック毎の濃度分布により二値化の閾値を求め二値化する（図５参照）。閾値としては、例えば、最大値と最小値との平均値、全画素の平均値、中央値などを選択する。

この結果、例えば、図５（ｂ）又は図６（ａ）に示すような二値化画像を得ることができる。図６（ａ）に示す例では、黒枠が欠落部なく抽出されている。仮に、画像全体を１つの閾値を用いて二値化すると、図７に示すような二値化画像が得られてしまい、黒枠の一部が白くなってしまう場合が生ずる。

情報表示画素群抽出処理では、下記の処理を行う（図６参照）。

まず、二値化画像のうち端部の何れかの白画素及びその白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する（周辺白色部抽出ステップ。図６（ｂ））。図６（ｂ）において、右下ハッチング部が周辺白色部である。

次に、二値化画素のうち黒画素でもなく周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する（枠内空白部候補画素群抽出ステップ。図６（ｃ））。図６（ｃ）において左下ハッチング部が枠内空白部候補画素である。

次に、枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する（除外候補画素群抽出ステップ。図６（ｄ））。図６（ｄ）において白色部が除外候補画素群である。

次に、除外候補画素群のうち端部の何れかの画素及びその画素に連続している画素よりなる画素群を除外画素群として抽出する（除外画素群抽出ステップ。図６（ｅ））。図６（ｅ）において右下ハッチング部が除外画素群である。

次に、枠内空白部候補画素群に含まれる画素でもなく除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する（情報表示画素群抽出ステップ。図６（ｆ））。図６（ｆ）において、黒色部が情報表示画素群である。

最後に、情報表示画素群に含まれる画素以外の画素を削除する（図６（ｇ））。

後処理では、情報表示画素群に含まれる細かく残っている画素を下記のような次に述べる手法などを利用して削除する。すなわち、例えば、メディアンフィルタを利用して削除する。また、例えば、画素群に含まれる個々の島の面積を見て、所定の面積以下の島に含まれる画素を削除する。更に、例えば、中心からの距離が一定距離以上である画素を削除する。

上記の実施形態では、黒枠として矩形の黒枠を利用したが、他の形状の黒枠を利用しても良い。例えば、図８に示すような楕円の黒枠を利用しても良い。

上述した方法は、ハードウェアのみによっても実現することができる。例えば、図９に示すように、グレースケール化のステップ（ステップＳ２０１）をグレースケール化部１０１が行い、エリア別二値化のステップ（ステップＳ２０３）をエリア別二値化部１０３が行い、情報表示画素群抽出ステップ（ステップＳ２０５）を情報表示画素群抽出部１０５が行い、後処理ステップ（ステップＳ２０７）を後処理部１０７が行うようにしても良い。

ただし、上述した方法をコンピュータによって実現することもできる。この場合、コンピュータを上述の各部として機能させるためのプログラムをコンピュータが読み込んで実行することによって、上述した方法を実現することができる。

従来例による方法を説明するための図である。 本発明の実施形態による、情報表示画素群を黒枠で囲んだ印刷紙面の例を示す図である。 本発明の実施形態による情報表示画素群抽出方法のフローチャートを示す図である。 本発明の実施形態による、撮影画像をグレースケール化して、サイズ調整する方法を説明するための図である。 本発明の実施形態による、エリア別二値化を説明するための図である。 本発明の実施形態による情報表示画素群抽出処理を説明するための図である。 画像全体を１つの閾値を用いて二値化して得られる二値化画像の例を示す図である。 本発明の実施形態による黒枠の他の例を示す図である。 本発明の実施形態による情報表示画素群抽出装置の構成を示す図である。

符号の説明

１０１ グレースケール化部
１０３ エリア別二値化部
１０５ 情報表示画素群抽出部
１０７ 後処理部

Claims (9)

1. 入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得る二値化ステップと、
   前記二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する周辺白色部抽出ステップと、
   前記二値化画素のうち黒画素でもなく前記周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する枠内空白部候補画素群抽出ステップと、
   前記枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する除外候補画素群抽出ステップと、
   前記除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出する除外画素群抽出ステップと、
   前記枠内空白部候補画素群に含まれる画素でもなく前記除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する情報表示画素群抽出ステップと、
   を備えることを特徴とする情報表示画素群抽出方法。
2. 入力したカラー画像を前記グレースケール画像に変換する変換ステップを更に備えることを特徴とする
   請求項１に記載の情報表示画素群抽出方法。
3. 前記二値化ステップでは、入力したグレースケール画像を複数のエリアに分割し、エリア毎にエリア毎の閾値を用いて画像を白黒に二値化することを特徴とする
   請求項１又は２に記載の情報表示画素群抽出方法。
4. 前記情報表示画素群抽出ステップにより抽出された情報表示画素群に対し、メディアンフィルタの適用、面積が所定値以下の画素の削除又は中心から一定距離以上離れている画素の削除のうちの少なくとも１つの処理を施す後処理ステップを更に備えることを特徴とする
   請求項１乃至３の何れか１項に記載の情報表示画素群抽出方法。
5. 入力したグレースケール画像をエリア毎に白黒に二値化して二値化画像を得る二値化手段と、
   前記二値化画像のうち端部の何れかの白画素及び該白画素に連続している白画素よりなる白画素群を周辺白色部として抽出する周辺白色部抽出手段と、
   前記二値化画素のうち黒画素でもなく前記周辺白色部に含まれる白画素でもない画素よりなる画素群を枠内空白部候補画素群として抽出する枠内空白部候補画素群抽出手段と、
   前記枠内空白部候補画素群に含まれる画素以外の画素よりなる画素群を除外候補画素群として抽出する除外候補画素群抽出手段と、
   前記除外候補画素群のうち端部の何れかの画素及び該画素に連続している画素よりなる画素群を除外画素群として抽出する除外画素群抽出手段と、
   前記枠内空白部候補画素群に含まれる画素でもなく前記除外画素群に含まれる画素でもない画素よりなる画素群を情報表示画素群として抽出する情報表示画素群抽出手段と、
   を備えることを特徴とする情報表示画素群抽出装置。
6. 入力したカラー画像を前記グレースケール画像に変換する変換手段を更に備えることを特徴とする
   請求項５に記載の情報表示画素群抽出装置。
7. 前記二値化手段では、入力したグレースケール画像を複数のエリアに分割し、エリア毎にエリア毎の閾値を用いて画像を白黒に二値化することを特徴とする
   請求項５又は６に記載の情報表示画素群抽出装置。
8. 前記情報表示画素群抽出手段により抽出された情報表示画素群に対し、メディアンフィルタの適用、面積が所定値以下の画素の削除又は中心から一定距離以上離れている画素の削除のうちの少なくとも１つの処理を施す後処理手段を更に備えることを特徴とする
   請求項５乃至７の何れか１項に記載の情報表示画素群抽出装置。
9. コンピュータに請求項１乃至４の何れか１項に記載の情報表示画素群抽出方法を実行させるための情報表示画素群抽出プログラム。