JP2017162030A - 画像評価方法、画像評価プログラム、及び画像評価装置 - Google Patents

Abstract

【課題】画像が所定の目的の利用が可能か否かについて評価するために、画像内の高輝度の領域の割合を算出する方法を提供する。【解決手段】撮影によって取得された撮影画像に含まれる各画素の輝度値を示す輝度画像を取得し（ステップＳ１０）、前記輝度画像に含まれる各画素の輝度値の度数分布を取得し（ステップＳ２０）、前記度数分布に基づいて輝度閾値を決定し（ステップＳ３０）、前記輝度画像においてより高い輝度値の画素を強調するための処理を前記輝度画像にすることで高輝度部分強調画像を生成し（ステップＳ４０）、前記高輝度部分強調画像に含まれる画素のそれぞれについて、当該画素の輝度が前記輝度閾値を超えるか否かについて判定し、前記判定の結果に基づいて、前記輝度閾値を超える輝度を有する画素を高輝度画素と特定する（ステップＳ５０）。【選択図】図３Ａ

Description

本開示は、撮影によって取得された画像が、当該画像から情報を抽出する処理に適しているか否かの評価のための技術に関する。

特許文献１では、デジタルカメラで画像の撮影後に、当該デジタルカメラの表示手段でこの画像が表示されるとき、この画像内の白飛び又は黒潰れの領域を構成する画素の輝度や色を変えて表示させるための技術が開示されている。

また、特許文献２に開示される技術では、非接触型のＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅａｄｅｒ：光学式文字読取装置）又はＯＭＲ（ｏｐｔｉｃａｌ ｍａｒｋ ｒｅａｄｅｒ：光学式マーク読取装置）で、ドロップアウトカラーを含む書面からの読取の作業に先立って、未記入の読取対象の書面、又は記入済みの書面であっても、非記入用の領域の画像を用いて当該書面の画像を２値化するための閾値が決定されている。これにより読取作業が行われる場所の照明のちらつきや光色変化等の影響を避けることにより、２値化画像の生成においてドロップアウトカラーの部分はフィルタ処理で適切に除去し、文字かすれや文字潰れの発生が減らされている。

特許第４０４７５９８号公報 特開２００２−３４４７３９号公報

本開示では、携帯情報端末等で撮影された画像が、当該画像から情報を抽出する処理に適しているか否かの評価のための技術が提供される。

本開示における画像評価方法は、撮影によって取得された撮影画像に含まれる各画素の輝度値を示す輝度画像を取得し、輝度画像に含まれる各画素の輝度値の度数分布を取得し、度数分布に基づいて輝度閾値を決定し、輝度画像に所定の輝度より高い部分を強調するための処理を行うことで高輝度部分強調画像を生成し、高輝度部分強調画像に含まれる画素のそれぞれについて、当該画素の輝度が輝度閾値を超えるか否かについて判定し、判定の結果に基づいて、輝度閾値を超える輝度を有する画素を高輝度画素と特定する。

本開示における画像評価方法は、携帯情報端末で撮影された画像が、当該画像から情報を抽出する処理に適しているか否かの評価に有効である。

図１Ａは、文字認識の処理の対象となる文字列を表示する表示媒体の例の一部を示す図である。 図１Ｂは、上記の表示媒体を撮影して取得された画像の例の一部を示す図である。 図２は、実施の形態にかかる画像評価装置の機能ブロック図である。 図３Ａは、実施の形態にかかる画像評価装置によって実行される画像評価の処理の手順例を示すフロー図である。 図３Ｂは、実施の形態における、上記の処理での構成要素間のデータの流れを示すデータフロー図である。 図４は、実施の形態における、輝度画像の生成の手順例を示すフロー図である。 図５は、実施の形態における、輝度値の度数分布の取得の手順例を示すフロー図である。 図６Ａは、実施の形態における、輝度値の度数分布に基づく輝度閾値の決定の手順例の前半を示すフロー図である。 図６Ｂは、実施の形態における、輝度値の度数分布に基づく輝度閾値の決定の手順例の後半を示すフロー図である。 図７Ａは、実施の形態における輝度画像の輝度値の度数分布ヒストグラムの例を示す図である。 図７Ｂは、実施の形態における輝度画像の輝度値の累積度数分布ヒストグラムの例を示す図である。 図８は、実施の形態における、輝度画像においてより高い輝度値の画素を強調する処理の手順例を示すフロー図である。 図９Ａは、実施の形態におけるガンマ変換を説明するための図である。 図９Ｂは、実施の形態におけるガンマ変換テーブルの例を示す図である。 図１０は、実施の形態における、高輝度画素の特定の処理の手順例を示すフロー図である。 図１１は、実施の形態における高輝度画素情報の例の一部を示す図である。 図１２Ａは、実施の形態における評価画像の例を示す図である。 図１２Ｂは、実施の形態における評価画像の例を示す図である。 図１２Ｃは、実施の形態における評価画像の例を示す図である。 図１３は、実施の形態における、評価画像を生成する処理の手順例を示すフロー図である。 図１４は、実施の形態において表示部に表示される、ユーザに評価画像を提示する画面例の図である。 図１５は、実施の形態にかかる画像評価装置において実行される、高輝度画素の割合を算出する手順例を示すフロー図である。 図１６は、実施の形態にかかる画像評価装置において実行される、評価画像を用いて画像を評価する処理の手順例を示すフロー図である。 図１７は、実施の形態における、画像評価装置による画像の評価の結果を示す画面例の図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略される場合がある。例えば、既によく知られた事項の詳細や実質的に同一の構成についての説明は、繰り返されない場合がある。以下の説明が冗長なあまり当業者の理解を妨げることを避けるためである。

なお、添付図面及び以下の説明は当業者が本開示を十分に理解できるよう提供されるものであり、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

まず、発明者が本開示で提供される技術の基とした知見について説明する。

上記で挙げた特許文献１に開示される技術では、撮影された画像に含まれる各画素の輝度に基づいて、いわば撮影装置（または画像データのファイルフォーマット）のダイナミックレンジの限界値を持つ画素とそうでない画素とを塗り分けた画像が生成され、この画像が撮影者（ユーザ）に示される。この技術は写真の撮影自体が目的であるユーザにとっては有用である。しかし、画像取得の目的が撮影以外にある場合、ダイナミックレンジの限界値を有している白飛びの領域のみならず、限界値未満であっても比較的輝度の高い画素の扱いが重要な場合がある。例えば印刷物等に表示される文字の認識が画像取得の目的である場合、各画素が文字の像を構成するか否かの判定には、ダイナミックレンジの限界値よりも低い値が閾値として用いられるのが通常である。そうしなければ、印刷物にかかる影、紙色、又は微かな汚れ等も文字の一部として読取の対象に含まれるためである。

また、特許文献２では、読取の作業を実施する環境に近い状態でこの作業の対象である書面が撮影され、この撮影の結果に基づいて、２値化画像を得るために用いられる閾値、又は照明状態を含む作業環境が確認及び調整されている。ただし、この技術を用いて高い精度で文字認識ができるのは、この確認と調整に用いられた書面を、この確認と調整で決定された閾値と環境で読み取る場合に限られる。

発明者はこれらの点に鑑みて、撮影された画像が、撮影以外の所定の目的に利用できるか否か、つまり所定の目的のための処理（例えば文字認識）に適しているか否か評価するための技術を本開示で提供する。これにより、ユーザは撮影した画像を実際に目的の処理にかけることなく、必要に応じて速やかに撮り直しをすることができる。また、本開示にかかる技術によってユーザは先の画像で目的の処理に適さないと評価される原因となった明るさや場所を把握できるため、撮り直しの際には、適切な画像の撮影のために適切な手段を講じることができる。

以下では、実施の形態を具体例に沿って説明する。本実施の形態では、図１Ａに示されるように何らかの文字列を表示する表示媒体Ｍ１０を、携帯情報端末が備えるデジタルカメラでユーザが撮影する。図１Ａは、文字認識の処理の対象となる文字列を表示する表示媒体Ｍ１０の例の一部を示す図である。そしてこのユーザは、携帯情報端末にインストールされた文字認識アプリケーションソフトウェア（以下、アプリケーションソフトウェアはアプリケーションと表記する）に、その撮影された画像に写る文字を認識させることを目的としている。これは、文字を認識させて得られる文字データを、他のアプリケーションでの入力データとして用いるためである。この「他のアプリケーション」とは、例えば、ウェブブラウザ、辞書アプリケーション、翻訳アプリケーション、地図アプリケーション、スケジュール管理アプリケーション、連絡先管理アプリケーション等である。

このようにして画像から文字データを取得することの利点は、ユーザは自身が読めない又は入力できない文字の文字データを利用することができる点にある。また、ユーザ自身が読んだり入力したりできる文字であっても、量が多い場合には文字データの入力にかかる手間を減らすことができる。

このようなユーザが文字データを取得するために携帯情報端末で撮影すると想定される表示媒体Ｍ１０の例としては、本、雑誌、新聞、チラシ、料金表、名刺、ショップカード、標識、看板等の各種の印刷物、及び店頭、屋外、駅構内等にある情報端末、電光掲示板、デジタルサイネージ等の各種の表示装置が挙げられる。このように表示媒体Ｍ１０は、その素材、表示原理、及び設置場所の点でバリエーションに富む。そのため撮影条件は多様であり、文字認識に適した画像の撮影が常に容易というわけではない。例えば表示媒体Ｍ１０を撮影することによって取得された画像が、文字認識の精度を低下させる白飛びの領域や光源の写り込みを含むことがある。図１Ｂは、上記の表示媒体Ｍ１０を撮影して取得された画像の例である画像Ｐ１０の部分図である。画像Ｐ１０の表示媒体Ｍ１０との外見上の相違点は、このような白飛びや写り込み等によって生じる。

撮影された画像が文字認識に適さず、文字認識アプリケーションによる文字認識の結果が不正確である場合には、ユーザは文字データ中の誤りを探して修正する手間を強いられ、上記の利点の恩恵が受けられない。あるいは、なじみのない言語の文字では、文字認識の結果が不正確であるか否かの判断すらできないことがある。この場合、ユーザは、得られた文字データを用いた情報の検索結果を見て初めて文字認識の結果に問題があったことに気づき、被写体の向きを変えて画像を撮り直したり、文字認識アプリケーションの設定を変えたり等の試行錯誤をしなければならず、正確な文字データの取得までに多くの手間がかかる。なお、このような白飛びや写り込み等による問題は文字認識に限らず、バーコードやＱＲコード（登録商標）等の図形認識、及び顔認識等、画像から情報を抽出する各種の処理で起こり得る。

以下では、画像から情報を抽出するこれらのような処理の実施に先だって、当該画像がこの処理に適しているか否かを評価することで、上記のような問題を解決する技術について、画像が文字認識に適しているか否かを評価する実施の形態を例に用いて説明する。

（実施の形態）
本実施の形態は、上記の技術を実現する装置を例に用いて説明される。なお、この技術は、以下に説明する装置が行う処理の全部又は一部をステップとする方法、この方法を各種の情報処理装置に実行させるプログラム、又はこのプログラムを非一時的に記憶する各種の記憶媒体によっても実現することができる。

［１．構成］
図２は、実施の形態にかかる画像評価装置の機能ブロック図である。

実施の形態にかかる画像評価装置１０は、演算処理部１００、撮像部２００、記憶部３００、表示部４００、及び入力部５００を備える。また、この演算処理部１００は、機能的構成要素である輝度画像生成部１１０、輝度閾値決定部１２０、強調画像生成部１３０、高輝度画素特定部１４０、評価画像生成部１５０、及び画像評価部１６０を提供する。

画像評価装置１０は、上記のような携帯情報端末で実現され、より具体的には、携帯電話、スマートフォン、タブレット型コンピュータ等である。携帯情報端末は、次の「２．動作」の項で各処理のフローとして説明されるアルゴリズムを示すアプリケーションを実行することによって本実施の形態にかかる画像評価装置１０を実現する。

演算処理部１００は、この携帯情報端末が備えるＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：中央演算処理装置）で実現され、撮像部２００はこの携帯情報端末が備える光学系及び撮像素子を含む。

また、記憶部３００は、この携帯情報端末が備える半導体メモリ等の記憶装置で実現される。

表示部４００及び入力部５００は、例えばこの携帯情報端末が備えるタッチパネル又はボタン等で実現される。タッチパネルを備えない携帯情報端末の場合は、表示部４００はディスプレイで、入力部５００はボタン等で実現される。

なお、撮像部２００、記憶部３００、表示部４００、及び入力部５００の動作は、演算処理部１００によるアプリケーション３１０及び制御プログラム３２０の実行結果に基づく。つまり、これらの構成要素は、上記で例示した機器に、演算処理部１００、並びにこれらのアプリケーション３１０及び制御プログラム３２０が加わって実現される。

演算処理部１００が提供する上記の機能的構成要素は、画像評価装置１０にインストールされているアプリケーション３１０を実行する演算処理部１００によって実現される。これらの機能的構成要素については、次の「２．動作」の項で詳細に説明する。

撮像部２００は、画像評価装置１０を操作するユーザによって、文字認識処理の対象となる画像の撮影に用いられる。撮影によって生成された画像データは記憶部３００に保存される。保存された画像データは演算処理部１００によって読み出されて、演算処理部１００がアプリケーション３１０を実行してする処理の対象となる。

記憶部３００は、演算処理部１００によって読み出されて実行される上述のアプリケーション３１０及び制御プログラム３２０を記憶する。実行されることによってアプリケーション３１０は携帯情報端末の各種の機能を実現する。携帯情報端末の画像評価装置１０としての機能もアプリケーション３１０の実行によって実現される。制御プログラム３２０は画像評価装置１０の各構成機器の動作を制御する。さらに記憶部３００には、撮像部２００による撮影によって生成された画像データ、入力部５００を介してユーザが入力したデータ、及び後述の各処理で生成されるデータ等、各種のデータが必要に応じて演算処理部１００によって書き込まれ、また、これらのデータは、記憶部３００から読み出される。

表示部４００は、ユーザに提示される視覚的情報を出力するユーザインターフェースであり、例えば撮像部２００を用いてユーザが画像を撮影するときのファインダーとして機能する。また例えば、表示部４００には、後述の処理の結果を示す画像や文字を含む画面が出力（表示）される。

入力部５００は、ユーザの操作を受け付けるユーザインターフェースであり、例えば撮像部２００を用いてユーザが画像を撮影するときのシャッターボタンとして機能する。また例えば、画像評価装置１０に評価をさせる画像の選択や、後述の処理の実行開始又はキャンセルを指示するユーザの操作を受け付けてもよい。

［２．動作］
次に、画像評価装置１０の動作についてフロー図を用いて説明する。

図３Ａは、画像評価装置１０によって実行される画像評価の処理の手順例を示すフロー図である。図３Ｂは、この処理での画像評価装置１０の構成要素間のデータの流れを示すデータフロー図であり、下辺が波線の矩形はデータを示し、それ以外の矩形は画像評価装置１０の構成要素（機能的構成要素を含む）を示す。また、構成要素の右下には、各構成要素が実行する図３Ａのステップの参照符号が示されている。以下の説明で参照する各フロー図の処理の実行主体の確認に図３Ｂを適宜参照されたい。なお、説明及び理解を簡単にするために、図３Ｂでは記憶部３００の介在は省略されている。

携帯情報端末である画像評価装置１０の画像評価のための動作の前に、例えばユーザがこの携帯情報端末を操作して撮像部２００を用いて画像を撮影する。以下ではこの撮影によって取得された画像を、以降の処理で生成される他の画像と区別するために撮影画像ともいう。例えば図１Ｂに示される画像Ｐ１０が撮影画像の例である。

例えば、携帯情報端末で実行中のあるアプリケーション３１０で、撮影画像に対して文字認識の処理をする指示の操作をユーザがすると、この携帯情報端末は画像評価装置１０として以下の動作を実行する。

まず、輝度画像生成部１１０が、この撮影画像に含まれる画素の輝度値を示す輝度画像を生成する（ステップＳ１０）。図４は、ステップＳ１０で実行される輝度画像の生成の手順例を示すフロー図である。

最初に輝度画像生成部１１０は、撮像部２００によって生成されて記憶部３００に保存された撮影画像のデータを読み出して取得する（ステップＳ１０１）。以降、輝度画像生成部１１０は、取得した撮影画像に含まれる画素それぞれについて以下の処理を実行する。

輝度画像生成部１１０は、１画素のＲＧＢ（ｒｅｄ、ｇｒｅｅｎ、及びｂｌｕｅ）色情報を取得する（ステップＳ１０２）。なお、この例は、このＲＧＢ色情報はｒｅｄ、ｇｒｅｅｎ、及びｂｌｕｅの各色の階調を８ビットの値で示す２４ビットの情報であるという想定に基づいて説明する。また、本発明はこの想定に限定されず、他の色深度や色空間の画像データに対しても適用することができる。

次に輝度画像生成部１１０は、取得したＲＧＢ色情報からこの画素の輝度値Ｙを算出する（ステップＳ１０３）。この算出は、例えば上記の各色の階調を示す８ビットの各値に所定の係数をかけて行う。下記の式１はその一例である（Ｒ、Ｇ、Ｂそれぞれの値域は０以上２５５以下）。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ・・・（式１）

次に輝度画像生成部１１０は、式１を用いて算出したＹの値に、小数点以下の端数を四捨五入するために０．５を加える（ステップＳ１０４）。そしてステップＳ１０４で得たＹの値が２５５より大きい場合（ステップＳ１０５でＹＥＳ）、この画素の輝度値として２５５を出力する（ステップＳ１０６）。ステップＳ１０５で得たＹの値が２５５以下の場合（ステップＳ１０５でＮＯ）、Ｙの値の整数部分のみをこの画素の輝度値として出力する（ステップＳ１０７）。このように、画素の輝度値は、当該画素のＲＧＢ色情報に基づいて、０から２５５の値域で算出される。

次に輝度画像生成部１１０は、この画素が撮影画像のデータに含まれる終端画素であるか、つまり撮影画像のすべての画素について輝度値を算出したかを判定する（ステップＳ１０８）。この画素が終端画素ではない場合（ステップＳ１０８でＮＯ）、輝度画像生成部１１０は輝度算出の対象を次の画素に移して（ステップＳ１０９）ステップＳ１０２以降を実行する。この画素が終端画素の場合（ステップＳ１０８でＹＥＳ）、輝度画像生成部１１０は算出したすべての輝度に基づく輝度画像を生成して出力する（ステップＳ１１０）。ここまでの手順がステップＳ１０である。

次に、輝度閾値決定部１２０が、ステップＳ１１０で出力された輝度画像に含まれる画素の輝度値の度数分布を取得する（ステップＳ２０）。図５は、ステップＳ２０で実行される輝度値の度数分布の取得の手順例を示すフロー図である。

まず輝度閾値決定部１２０は、輝度画像生成部１１０が出力した輝度画像のデータを取得する（ステップＳ２０１）。以降、輝度閾値決定部１２０は、取得した輝度画像に含まれる画素それぞれについて以下の処理を実行する。

輝度閾値決定部１２０は、１画素の輝度値を取得する（ステップＳ２０２）。

このとき、輝度閾値決定部１２０は配列Ｈ１を用意している。この配列Ｈ１は、例えば輝度画像が含む画素の各輝度値の出現頻度を集計するための、初期値がゼロの２５６個の整数型の要素を持つ配列である。また、配列Ｈ１のインデックス（配列番号）の値域は０から２５５までで、インデックスの値は、各要素で出現頻度（画素の数）が集計される輝度値に一致する。そして輝度閾値決定部１２０は、取得した輝度値に対応する配列Ｈ１の要素の値に１を加算する（ステップＳ２０３）。例えば、取得した画素の輝度値が０であれば、配列Ｈ１においてインデックス０が示す要素であるＨ１［０］に１が加算され、輝度値が２５５であれば、配列Ｈ１においてインデックス２５５が示す要素であるＨ１［２５５］の値に１が加算される。

次に輝度閾値決定部１２０は、この画素が輝度画像のデータに含まれる終端画素であるか、つまり輝度画像のすべての画素について輝度値の出現頻度を集計したかを判定する（ステップＳ２０４）。この画素が終端画素ではない場合（ステップＳ２０４でＮＯ）、輝度閾値決定部１２０は輝度値の取得の対象を次の画素に移して（ステップＳ２０５）ステップＳ２０１以降を実行する。この画素が終端画素の場合（ステップＳ２０４でＹＥＳ）、輝度閾値決定部１２０は算出したすべての輝度の集計結果を示す配列Ｈ１を出力する（ステップＳ２０６）。ステップＳ１１０で出力された輝度画像に含まれる画素の輝度値の度数分布はこの配列Ｈ１として取得される。ここまでの手順がステップＳ２０の詳細である。

次に輝度閾値決定部１２０は、ステップＳ２０で取得された度数分布に基づいて輝度閾値を決定する（ステップＳ３０）。この輝度閾値とは、後述する手順において、ひとつの画像内で輝度値に基づく各画素の分類の判定基準として用いられる閾値である。以下では、例を用いてステップＳ３０の詳細を説明する。図６Ａ及び図６Ｂは、輝度値の度数分布に基づく輝度閾値の決定のための一連の手順例を示すフロー図である。

まず輝度閾値決定部１２０は、ステップＳ２０で取得された度数分布から累積度数分布を生成する。図６Ａは、この累積度数分布の生成までの手順を示す図である。ここで輝度閾値決定部１２０は配列Ｈ２を用意している。この配列Ｈ２は、例えば輝度画像が含む画素の各輝度値の出現頻度（画素の数）を累計するための、初期値がゼロの２５６個の整数型の要素を持つ配列である。また、配列Ｈ２のインデックスの値域は０から２５５までで、インデックスの値は、各要素で累計の対象である画素の最大輝度値に一致する。例えば、配列Ｈ２においてインデックス０で示される要素であるＨ２［０］の値は、輝度画像における輝度値０の画素の数であり、インデックス１００で示される要素であるＨ２［１００］の値は、輝度値０から１００までの画素の数の累計値である。また、配列Ｈ２においてインデックス２５５で示される要素であるＨ２［２５５］の値は輝度値０から２５５までの画素の数の累計であって、すべての画素の輝度値は０以上２５５以下のいずれかの整数であるため、Ｈ２［２５５］の値は輝度画像の総画素数でもある。

輝度閾値決定部１２０は、配列Ｈ１の各要素の値を用いて配列Ｈ２の各要素の値を算出する。具体的には、最初に輝度閾値決定部１２０は、インデックス「０」で示される配列Ｈ２の先頭の要素、つまり輝度値０の画素の数を、配列Ｈ１の先頭の要素Ｈ１［０］の値から取得する（ステップＳ３０１）。

続いて輝度閾値決定部１２０は、配列Ｈ２の先頭から２番目以降の要素の値を取得する（ステップＳ３０２及びＳ３０３）。例えば配列Ｈ１及びＨ２の先頭から２番目以降の各要素のインデックスをｉ（ｉは１以上の整数）とすると、Ｈ２の各要素の値は下記の式２で得られる。

Ｈ２［ｉ］＝Ｈ１［ｉ］＋Ｈ２［ｉ−１］・・・（式２）

例えば配列Ｈ２のインデックス１で示される要素であるＨ２［１］の値は、要素Ｈ２［０］の値に要素Ｈ１［１］の値を加算して得られる。このように得られた要素Ｈ２［１］の値は、配列Ｈ１の先頭の要素から配列Ｈ１の先頭から２番目の要素までの値の累積値である。この手順を、インデックスｉの値を１ずつ増加させて値が２５５になるまで実行される（ステップＳ３０４及びＳ３０５）。この結果ステップＳ３０６で出力される配列Ｈ２は、ステップＳ２０で取得された度数分布に基づく累積度数分布を示すデータである。

これより後の図６Ｂに示される手順は、ステップＳ３０６で取得された累積度数分布から輝度閾値を決定するための手順である。本実施の形態では、ｐタイル法を用いて輝度閾値を決定する方法を例として以下の手順を説明する。なお、ｐタイル法は画像の２値化において用いられる一手法であるが、本実施の形態の処理では輝度画像の２値化までは実行されない。

輝度閾値決定部１２０は、配列Ｈ２の最後の要素の値、つまり輝度画像の総画素数ｔｏｔａｌを取得する（ステップＳ３０７）。次に輝度閾値決定部１２０は、下記の式３を用いて、取得したｔｏｔａｌに累積相対度数(０％〜１００％、本実施形態では９８．５％)を乗算し基準累積度数ｐを算出する。この基準累積度数ｐとは、全画素の輝度値を昇順で並べた場合に、輝度値が０の画素から９８．５パーセンタイルに該当する輝度値の画素までの画素の数である。なお、以下の（式３）において、累積相対度数は％ではなく、０（０％）〜１（１００％）の数値とする。

ｐ＝ｔｏｔａｌ×０．９８５・・・（式３）

本実施の形態では、この９８．５パーセンタイルに該当する輝度値が、後述する輝度値に基づく各画素の分類の判定の基準として用いられる輝度閾値である。輝度閾値決定部１２０は、以下の手順でこの９８．５パーセンタイルの輝度値を求める。

まず輝度閾値決定部１２０は、配列Ｈ２のインデックスｉの値を０で初期化する（ステップＳ３０９）。次に輝度閾値決定部１２０は要素Ｈ２［ｉ］の値を取得し（ステップＳ３１０）、取得した値が基準累積度数ｐ以上か否かを判定する（ステップＳ３１１）。要素Ｈ２［ｉ］の値がｐ未満であれば（ステップＳ３１１でＮＯ）、輝度閾値決定部１２０はインデックスｉに１を加算して（ステップＳ３１２）、ステップＳ３１０及びＳ３１１を実行する。要素Ｈ２［ｉ］の値がｐ以上であれば（ステップＳ３１１でＹＥＳ）、輝度閾値決定部１２０はこのときのインデックスｉの値を輝度閾値ｔｈとして決定して出力する（ステップＳ３１３）。別の表現を用いれば、本実施の形態においてｐタイル法を用いて決定される輝度閾値は、上記の輝度値の度数分布で、輝度値の昇順での累積相対度数が０．９８５以上である最小の輝度値である。ここまでの手順がステップＳ３０の処理の詳細である。

上記の配列Ｈ１、配列Ｈ２、及び輝度閾値ｔｈは、輝度値に関するヒストグラムを用いて図７Ａ及び図７Ｂのように示される。図７Ａは、配列Ｈ１を表すヒストグラム（以下、ヒストグラムＨＧ１という）の例である。図７Ｂは、配列Ｈ２を表すヒストグラム（以下、ヒストグラムＨＧ２という）及びこのヒストグラムでの輝度閾値ｔｈの位置の例である。なお、これらのヒストグラムは配列Ｈ１、配列Ｈ２、及び輝度閾値ｔｈの説明のための模式的な図であり、画像Ｐ１０から生成される輝度画像の輝度値を反映するものではない。また、ｔｏｔａｌ及びｐの位置は両者間の大小関係を示すものであって、その比率を正確に示すものではない。ステップＳ２０６では、ヒストグラムＨＧ１に示されるようなデータが出力され、ステップＳ３０６でヒストグラムＨＧ２に示されるようなデータが出力される。そしてヒストグラムＨＧ２から、ステップＳ３０７でｔｏｔａｌ、ステップＳ３０８でｐが取得され、ステップＳ３１１でｐ以上の累積度数を示す柱が見つかると、その柱が該当する輝度値がステップＳ３１３で輝度閾値ｔｈとして決定される。

このようにして決定される輝度閾値は、輝度画像のデータ、引いてはその基である撮影画像のデータから動的に決定される。つまり、撮影画像が明るい（輝度の高い画素が多い）か暗い（輝度の低い画素が多い）かによって輝度閾値の値は変化する。これにより、輝度が飽和はしていないものの高いがために、ＯＣＲ等の撮影画像から情報を抽出する処理において、抽出される情報のノイズの原因となり得る画素（別の表現を用いれば、この所定の処理に必要な情報の取得に利用可能な画素であるか否か）を特定するための基準である閾値が、当該撮影画像の明るさに応じて適切に決定される。

輝度画像生成部１１０から出力された輝度画像に対して上記の輝度閾値決定部１２０によってステップＳ２０及びＳ３０が実行される一方で、同じ輝度画像に対して別の処理が強調画像生成部１３０によって実行される。なお、この処理は、図３Ａでは便宜的にステップＳ２０及びＳ３０に続くステップＳ４０として記載されているが、ステップＳ２０及びＳ３０とステップＳ４０との間では実行順序の前後は問わない。強調画像生成部１３０によって実行されるステップＳ４０の手順を、図８を参照して説明する。図８は、強調画像生成部１３０による、輝度画像においてより高い輝度値の画素を強調するための処理の手順例を示す図である。

最初に強調画像生成部１３０は、ガンマ変換テーブルを取得する（ステップＳ４０１）。本実施の形態におけるガンマ変換は、輝度画像の各画素の輝度値を入力値ｘ（ｘは０以上２５５以下の整数）とし、前記ガンマ変換の結果として出力される輝度値をｙとすると、下記の式４に示される変換が輝度画像に対して実行される処理である。

式４に示される入出力の関係をグラフにしたものが図９Ａである。図９Ａにおける曲線は式に示される入出力の関係を示す。例えば輝度画像の最大輝度値にごく近い入力値ｉｎ１は、最大輝度値からさらに遠いものの、比較的高輝度の出力値ｏｕｔ１に変換される。これに対し、ｉｎ１より低い輝度値の入力値ｉｎ２とその出力値ｏｕｔ２の差は、ｉｎ１とｏｕｔ１の差に比べて大きい。この設定によるガンマ変換の結果として得られる画像では、輝度値が２５５の画素（以下、輝度飽和画素という）を除いて輝度画像に比べて全体的には輝度が低い。また、輝度画像において高輝度の画素に対応する部分では中輝度から高輝度の範囲で輝度差が強調され、輝度画像において低輝度から中輝度の画素に対応する部分では低輝度の範囲で輝度差が圧縮されたものである。具体的には、式４に基づけば、輝度画像で輝度値が１８４以上の画素間では高輝度部分強調画像で輝度差が強調され、輝度画像で輝度値が１８３以下の画素間では輝度差が圧縮される。別の表現を用いると、ガンマ変換の結果として得られる画像では、輝度画像において高輝度の画素に対応する部分は中輝度以上の画素として表され、そうでない画素は低輝度の比較的暗い画素として表される画像である。そして、このガンマ変換の結果として得られる画像でも比較的明るいのは、輝度画像でごく明るい画素であった部分に限られる。例えば、式４を用いたガンマ変換の結果として得られる画像で輝度値が１７０を超える（輝度値の値域上限から３分の１の範囲）画素は、輝度画像での輝度値が２４１以上（輝度値の値域上限から約６％の範囲）の画素である。以下では、ガンマ変換の結果として得られるこのような画像を高輝度部分強調画像という。この高輝度部分強調画像は、輝度画像でごく明るい画素であった部分のみが明るくてそれ以外は比較的暗く、結果的に所定の輝度より高い部分が強調された画像である。

図８のフロー図に沿ったステップＳ４０に戻ると、この処理では、輝度画像の各画素の輝度値を式４の入力値ｘとする変換をすることによって、出力値ｙを輝度値とする高輝度部分強調画像が生成される。ただし、各画素の輝度値に対して式４の計算を逐一実行する処理は非効率である。また、入力値は輝度画像の輝度値である０以上２５５以下の整数に限定されているため、これらの入力値のそれぞれに対する出力値をあらかじめ計算し、この入力値と出力値を対応付けてテーブルに格納したガンマ変換テーブルを用いることでこの処理は効率よく実行される。図９Ｂに示されるテーブルＬＵＴ１は、このガンマ変換テーブルの例である。なお、本実施の形態では、入力値、出力値ともに整数が利用されるため、式４の結果として出力されたｙに端数処理（例えば、４×１０^−１５を０とする）がなされている。このように、ステップＳ４０における変換によって得られる高輝度部分強調画像の各画素の輝度値は、式４によるガンマ変換の結果そのままの値ではなく、このガンマ変換の結果に基づくおよその値であってもよい。

強調画像生成部１３０は計算によってこのガンマ変換テーブルを取得してもよいし、記憶部３００に保存されているガンマ変換テーブルを読み出して取得してもよい。

ガンマ変換テーブルを取得した強調画像生成部１３０は、輝度画像生成部１１０が生成した輝度画像を取得する（ステップＳ４０２）。次に強調画像生成部１３０は輝度画像の各画素の輝度値を取得し、ガンマ変換テーブルを参照して入力値である取得した輝度値に対応する出力値を取得することでガンマ変換を実行する（ステップＳ４０４〜Ｓ４０５）。なお、本フロー図中のｎは１以上の整数であり、画素ごとに実行される手順を説明するために便宜的に各画素に付与した番号を示す。

画素ｎの輝度値Ｙ_ｎについてガンマ変換を実行すると、次に強調画像生成部１３０は画素ｎが輝度画像の終端画素であるか否かを判定する（ステップＳ４０６）。画素ｎが終端画素ではない場合（ステップＳ４０６でＮＯ）、強調画像生成部１３０はガンマ変換の対象を次の画素に移して（ステップＳ４０７）ステップＳ４０４以降を実行する。画素ｎが終端画素の場合（ステップＳ４０６でＹＥＳ）、強調画像生成部１３０はガンマ変換によって算出したすべての輝度に基づく高輝度部分強調画像を生成して出力する（ステップＳ４０８）。ここまでの手順がステップＳ４０の処理の詳細である。

次に画像評価装置１０では、高輝度画素を特定する処理が高輝度画素特定部１４０によって実行される（図３ＡのステップＳ５０）。

この処理では、ステップＳ４０で生成された高輝度部分強調画像を処理の対象として、高輝度部分強調画像に含まれる各画素の輝度値が、ステップＳ３０で決定された輝度閾値を超えるか否かについて判定される。この処理の詳細について、図１０を参照して説明する。図１０は、高輝度画素特定部１４０による、高輝度画素の特定の処理の手順例の詳細を示すフロー図である。

まず高輝度画素特定部１４０は、輝度閾値決定部１２０が決定した輝度閾値ｔｈと、強調画像生成部１３０が生成した高輝度部分強調画像とを取得する（ステップＳ５０１）。次に高輝度画素特定部１４０は、高輝度部分強調画像の各画素の輝度値を取得し、この輝度値が輝度閾値ｔｈを超えるか否か判定する（ステップＳ５０２〜Ｓ５０４）。なお、本フロー図中のｎは１以上の整数であり、画素ごとに実行される手順を説明するために便宜的に各画素に付与した番号を示す。

次に高輝度画素特定部１４０は、高輝度部分強調画像の画素ｎの輝度値Ｙ_ｎが輝度閾値ｔｈを超える（ステップＳ５０４でＹＥＳ）か、超えないか（ステップＳ５０４でＮＯ）の判定の結果に基づいて、輝度閾値ｔｈを超える輝度を持つ画素を高輝度画素と特定する。（ステップＳ５０５及びＳ５０６）。

ステップＳ５０５又はＳ５０６の後、高輝度画素特定部１４０は画素ｎが高輝度部分強調画像の終端画素であるか否かを判定する（ステップＳ５０７）。画素ｎが終端画素ではない場合（ステップＳ５０７でＮＯ）、高輝度画素特定部１４０は輝度閾値ｔｈとの輝度値の比較対象を次の画素に移して（ステップＳ５０８）ステップＳ５０３以降を実行する。画素ｎが終端画素の場合（ステップＳ５０７でＹＥＳ）、高輝度画素特定部１４０は、特定された高輝度画素を示す情報を出力する（ステップＳ５０９）。以下では、この情報を高輝度画素情報という。この高輝度画素情報を示すデータの形式は高輝度部分強調画像内の画素のうちいずれの画素が高輝度画素であるかを示すデータであれば特に限定されない。例えば特定された高輝度画素及びそれ以外の画素の少なくとも一方の輝度値を０等の一様の値に変更した画像のように、高輝度画素と特定された画素とそれ以外の画素の表示態様に差を付けた画像のデータであってもよい。図１１は、画像Ｐ１０についてステップＳ１０からＳ５０までが実行されて高輝度画素情報として出力された画像の一例である。この画像では、ステップＳ５０で高輝度画素と特定された画素は輝度値が２５５に揃えられ、それ以外の画素はより低い一様な輝度値を有する。あるいはこのような画像データに代えて、高輝度画素の位置を示す座標、又は各画素に一定の規則で番号を付した上で高輝度画素と特定された画素に付されている番号を含む配列であってもよい。ここまでの手順がステップＳ５０の処理の詳細である。

上記のような高輝度部分強調画像を、高輝度画素、ここでは、輝度が高いために、撮影画像に対する所定の処理において抽出される情報のノイズの原因となり得る画素の特定に用いることには次のような効果がある。

ひとつは、輝度画像において低輝度又は中輝度である画素は、変換によって、高輝度部分強調画像では低輝度の画素として現れるため、このような画素が、後に抽出される情報のノイズの原因となり得る画素と誤って判断されることが防止される。

また上述のとおり、輝度画像において輝度値が高い画素については、高輝度部分強調画像では輝度差が強調されている。したがって、輝度飽和画素よりも低い輝度値を示す輝度閾値を用いることで、輝度飽和画素より暗い画素であっても上記のような情報のノイズの原因となり得る画素と判定される一方で、輝度画像に同じ輝度閾値を用いてするよりも慎重な判定が可能である。

次に画像評価装置１０では、高輝度画素特定部１４０が出力した高輝度画素情報に基づいて、撮影画像又は輝度画像に含まれる画素のうちで、高輝度画素特定部１４０によって高輝度画素と特定された画素に対応する画素を示す画像である評価画像が評価画像生成部１５０によって生成される（ステップＳ６０）。この評価画像は、例えば、撮影画像又は輝度画像が所定の処理の対象として適しているかについてユーザに評価をさせるために表示部４００を介して出力（表示）されてもよいし、後述する画像評価装置１０による評価の結果とともに表示部４００を介して出力されてもよい。図１２Ａ〜図１２Ｃはこの評価画像の例である。評価画像とは、撮影画像又は輝度画像の画素のうち、高輝度画素特定部１４０によって高輝度画素と特定された画素に対応する画素の少なくとも一部が、元の撮影画像又は輝度画像での色から変更された画像である。

この「高輝度画素と特定された画素に対応する画素」とは、言い換えると高輝度画素と特定された画素と同じ位置にある画素である。上述のとおり、輝度画像は撮影画像の各画素のＲＧＢ色情報から当該画素の輝度値の情報を算出して取得される画像であり、高輝度画素情報はその輝度画像をガウス変換して得た高輝度部分強調画像のいずれの画素が高輝度画素であるかを示す情報である。ここまでのいずれの過程でも、画像間で画素の対応関係が１対複数であったり、画素の位置が変えられたりはしていない。したがって、撮影画像の画素、輝度画像の画素、及び高輝度画素情報に示される画素の間には１対１の対応関係があり、高輝度画素情報において高輝度画素であると示される画素に対応する、撮影画像又は輝度画素の画素を特定することが可能である。図１２Ａ〜図１２Ｃの例では、撮影画像であるＰ１０のうち、図１１に示される、高輝度部分強調画像で高輝度画素と特定された画素に対応する画素（以下では、評価画像中の高輝度画素ともいう）の少なくとも一部の色が変更されている。

また、元の撮影画像又は輝度画像からの色の変更は、色相、明度、彩度のいずれにおける変更であってもよい。例えば図１２Ａに示されるように、隣接する評価画像の高輝度画素がなす領域（斑点で示される領域）のすべての画素の色を、元の色に関わらず同じ色に変えてもよい。そして評価画像中の高輝度画素の変更後の色は、それ以外のいずれの画素の色とも異なる色であってもよい。例えば輝度画像を用いて評価画像を生成する場合、輝度画像ではどの画素にも色情報は含まれないため、評価画像中の高輝度画素の色を赤色としてもよい。これにより、例えば評価画像を見たユーザは、高輝度画素の位置及び量を速やか且つ正確に把握することができる。

また別の変更の態様としては、例えばすべての高輝度画素の色を元の色から反転させてもよい。

また、「評価画像中の高輝度画素の少なくとも一部」とは、上記のような評価画像中の高輝度画素がなす領域がある場合に、その一部のみを変えてその領域を示してもよい、という意味である。例えば図１２Ｂに示されるように、領域の一部分の色を変えた模様（この例ではハッチング）を用いる表示態様であってもよいし、図１２Ｃに示されるように、領域の外縁（この例では外縁に沿う破線）の色が変更される表示態様であってもよい。また、色が変更される画素又は色自体が経時的に変化する表示態様、つまりアニメーションを用いてこの領域が示されてもよい。これにより、例えばユーザは静止画の中の動く部分を見て、速やかに輝度が高い画素の位置及び量を把握することができる。また、上記の表示態様の複数が組み合わせて用いられてもよい。

このような評価画像を、画像評価装置１０においてステップＳ６０より前に取得されたデータから生成する方法は複数考えられる。以下では、そのひとつを評価画像の生成のための処理の例として説明する。図１３は、評価画像生成部１５０による、評価画像の生成のための処理の手順例の詳細を示すフロー図である。この例では、輝度画像と、図１１に示されるような画像のデータである高輝度画像情報とを用いて評価画像が生成される。また、評価画像中の高輝度画素は赤色で示される。

まず評価画像生成部１５０は、輝度画像生成部１１０が生成した輝度画像と、高輝度画素特定部１４０が出力した高輝度画素情報とを取得する（ステップＳ６０１）。次に評価画像生成部１５０は高輝度画素情報から各画素が高輝度画素であるかを示す情報を取得し、この情報に基づいて当該画素が高輝度画素か否か判定する（ステップＳ６０４）。なお、本フロー図中のｎは１以上の整数であり、画素ごとに実行される手順を説明するために便宜的に各画素に付与した番号を示す。

画素ｎが高輝度画素である場合（ステップＳ６０４でＹＥＳ）、評価画像生成部１５０は、画素ｎの色を赤色に変更する（ステップＳ６０５）。画素ｎが高輝度画素ではない場合（ステップＳ６０４でＮＯ）、評価画像生成部１５０は、画素ｎを、輝度画像内で画素ｎに対応する画素、つまり画素ｎと同位置にある画素に置換する（ステップＳ６０６）。

ステップＳ６０５又はＳ６０６の後、評価画像生成部１５０は、画素ｎが高輝度画素情報に示される画像データの終端画素であるか否かを判定する（ステップＳ６０７）。画素ｎが終端画素ではない場合（ステップＳ６０７でＮＯ）、評価画像生成部１５０は高輝度画素であるか否かの判定とその判定結果に基づく画素の変更の対象を次の画素に移して（ステップＳ６０８）ステップＳ６０３以降を実行する。画素ｎが終端画素の場合（ステップＳ６０７でＹＥＳ）は、画素値の変更による評価画像の生成の完了であり、評価画像生成部１５０は、この評価画像を出力する（ステップＳ６０９）。ここまでの手順がステップＳ６０の処理の詳細である。

このようにして生成された評価画像は、上述のとおり表示部４００を介して出力される（ステップＳ９０）。図１４は、画像評価装置１０の表示部４００に表示される、ユーザに評価画像を提示する画面例を示す。この例では、評価画像中の高輝度画素からなる領域が図１２Ａに示される態様で示される。ユーザはこの画面の評価画像を見て、例えば赤色（本図中では斑点）で示される領域の位置と大きさに基づいて、撮影画像（又は輝度画像）が文字認識等の所定の処理に適しているか否か評価することができる。所定の処理に適さないと評価した場合は、例えばこの画面で「画像を変更」の選択肢を選び、この画像を破棄して撮影を再度行うか、画像評価装置１０内に記憶されている別の画像を選択してもよい。

あるいは、画像評価装置１０がこの評価画像を用いて上記の評価をしてもよい。例えば、画像評価装置１０は、評価画像の画素数に対する高輝度画素の数の割合を算出し（ステップＳ７０）、この割合に基づいてこの評価をしてもよい（ステップＳ８０）。以下では、この評価のための処理の例について説明する。

図１５は、画像評価部１６０による、上記の評価のための処理の手順例を示すフロー図である。本実施の形態では、撮影画像が文字認識に適しているか否かについての評価を行う場合を例に説明する。

まず画像評価部１６０は、評価画像生成部１５０が生成した評価画像を取得する（ステップＳ７０１）。

次に画像評価部１６０は、取得した評価画像の総画素数ａを取得する（ステップＳ７０２）。この総画素数ａは例えば評価画像のデータを解析して取得してもよいし、輝度閾値決定部１２０が取得した輝度画像のｔｏｔａｌを取得してもよい。

次に画像評価部１６０は、評価画像中の高輝度画素の数ｂを取得する（ステップＳ７０３）。例えば評価画像が輝度画素を用いて生成された画像であって、この評価画像では高輝度画素が赤色で示されている場合には、この赤色の画素の数をカウントして評価画像中の高輝度画素の数ｂが取得されてもよい。

次に画像評価部１６０は、評価画像の総画素数ａに対する評価画像中の高輝度画素の数ｂの割合ｑを算出する（ステップＳ７０４）。

次に画像評価部１６０は、評価画像の元である撮影画像又は輝度画像が、所定の処理に適しているか否かについて評価する（ステップＳ８０）。画像評価部１６０はこの評価を、ステップＳ７０で算出されたｑが所定の閾値以下であるか否かの判定に基づいて行う（ステップＳ８０１）。本実施の形態では、撮影画像又は輝度画像が文字認識の処理に適しているか否かについて評価するための閾値として例えば０．２％が用いられる。ｑが０．２％以下の場合（ステップＳ８０１でＹＥＳ）、画像評価部１６０はこの撮影画像又は輝度画像が文字認識の処理に適する画像であるとの評価結果を示すために、文字認識対象フラグを立てる（ステップＳ８０２）。ｑが０．２％を超える場合（ステップＳ８０１でＮＯ）、画像評価部１６０はこの撮影画像又は輝度画像が文字認識の処理に適さない画像であるとの評価結果を示すために、文字認識対象外フラグを立てる（ステップＳ８０３）。これらのフラグは、例えば評価画像、撮影画像、又は輝度画像のデータにメタ情報として埋め込まれる。ここまでの手順がステップＳ８０の処理の詳細である。

なお、上記のステップＳ７０及びＳ８０の詳細な手順は一例であり、文字認識等の所定の処理に適した画像であるか否かの評価のための手順であれば他のデータや閾値が用いられてもよいし、評価結果の情報が異なる形で示されてもよい。例えば、総画素数ａは撮影画像、輝度画像、高輝度部分強調画像、評価画像の間では共通であるため、いずれを用いて取得されてもよい。また、評価画像に代えて、高輝度画素特定部１４０が出力する高輝度画素情報を用いて高輝度画素の数ｂが取得されてもよい（図３Ｂの破線の矢印参照）。例えば高輝度画素情報が画像であれば、所定の画素値の画素の数が取得されてもよいし、輝度画素情報が配列であれば、その要素の数であってもよい。また、評価画像中の高輝度画素の数に代えて、評価画像中の高輝度画素でない画素の数が用いられてもよい。

また、ステップＳ８０１の判定の結果は画像データへのメタ情報としての埋込に加えて又は代えて、表示部４００を介して出力されてもよい（ステップＳ９０）。例えばステップＳ８０１でＮＯの場合には、文字認識処理の結果は不正確な可能性が高い旨を示唆する通知及び再撮影をするか否かの決定を促すメッセージが、評価画像とあわせて画像の評価の結果として表示部４００に表示されてもよい。図１７は、画像評価装置１０による画像の評価の結果を示す画面例である。この画面例では、評価画像中の高輝度画素からなる領域が図１２Ａに示される態様で示される画像と、ユーザにこの画像で文字認識を実行するか否かの選択を促すダイアログとが含まれている。この画面を見たユーザは、評価画像中の高輝度画素が、自身が文字情報を抽出したい像のある領域にかかっていれば画像を撮り直すか又は別の画像を選択し、そうでない場合は、この評価画像の基になった撮影画像又は輝度画像を文字認識の処理の対象としてもよい。

上記のステップＳ９０までが、画像評価装置１０で行われる処理手順である。例えばステップＳ８０でＮＯ（ステップＳ８０１でＮＯ）であり、評価画像又は評価画像に加えて評価結果が表示部４００に表示された後は、画像評価装置１０はその表示に対するユーザからの入力を待つ（ステップＳ１００）。この入力とは、例えば画像の破棄及び再撮影のためのカメラアプリケーションへの切り換え、画像の選択画面への切り換え、又は文字認識等の所定の処理の実行を指示する入力である。また、ステップＳ８０でＹＥＳ（ステップＳ８０１でＹＥＳ）の場合は、この評価の結果を表示部４００に表示することなく、撮影画像又は輝度画像に対して当該所定の処理が実行されてもよい（ステップＳ１１０）。

［３．効果等］
以上のように、本実施の形態における画像評価装置１０は、撮影による撮影画像の取得に用いられる、撮像素子を含む撮像部２００と、前記撮影画像に含まれる各画素の輝度値を示す輝度画像を取得する輝度画像生成部１１０と、前記輝度画像に含まれる各画素の輝度値の度数分布を取得し、前記度数分布に基づいて輝度閾値を決定する輝度閾値決定部１２０と、前記輝度画像に所定の輝度より高い部分を強調するための処理を行うことで高輝度部分強調画像を生成する強調画像生成部１３０と、前記高輝度部分強調画像に含まれる画素のそれぞれについて、当該画素の輝度が前記輝度閾値を超えるか否かについて判定し、前記判定の結果に基づいて、前記輝度閾値を超える輝度を有する画素を高輝度画素と特定する高輝度画素特定部１４０とを備える。また、この画像評価装置１０においては、撮影によって取得された撮影画像に含まれる各画素の輝度値を示す輝度画像が取得され（ステップＳ１０）、前記輝度画像に含まれる各画素の輝度値の度数分布を取得され（ステップＳ２０）、この度数分布に基づいて輝度閾値が決定され（ステップＳ３０）、前記輝度画像に所定の輝度より高い部分を強調するための処理が行われることで高輝度部分強調画像が生成され（ステップＳ４０）、前記高輝度部分強調画像に含まれる画素のそれぞれについて、当該画素の輝度が前記輝度閾値を超えるか否かについて判定され、前記判定の結果に基づいて、前記輝度閾値を超える輝度を有する画素が高輝度画素と特定される（ステップＳ５０）。

これにより、所定の処理に必要な情報の取得に利用可能な画素の特定は、撮影画像に基づく輝度画像そのものではなく、高い輝度値を持つ画素間の輝度差を強調し、低い方から中程度までの輝度値の画素間の輝度差は低い輝度値域で圧縮された画像に対して輝度閾値を用いて実行される。また、この輝度閾値は、当該輝度画像からダイナミックに決定される。そのため、表示媒体や照明状態等の点で不特定の撮影条件で撮影して取得されるさまざまな撮影画像に対して、この撮影画像内の各画素が、文字の読取等の所定の処理に必要な情報の取得に利用可能な画素であるか否かを、輝度値に基づいて適切に判定することができる。

また、本実施の形態において、前記撮影画像又は前記輝度画像の画素のうち、前記高輝度画素と特定された画素に対応する画素の少なくとも一部の画素の色が変更されている評価画像が生成され、前記評価画像が出力されてもよい（ステップＳ６０）。より具体的には、前記色が変更された後の少なくとも一部の画素の色は、前記高輝度画素と特定された画素に対応する画素以外のいずれの画素の色とも異なる色であってもよい（ステップ６０５）。

これにより、撮影画像（又は輝度画像）中の、輝度が過度に高く所定の処理に必要な情報の取得に利用できない画素の位置や大きさをユーザに提示して、撮影画像（又は輝度画像）が上記の所定の処理に適した画像であるか否かを、ユーザに確認又は評価させることができる。

また、本実施の形態においては、さらに、前記撮影画像又は前記輝度画像の総画素数に対する前記高輝度画素の数の割合が算出され（ステップＳ７０）、前記割合が所定の閾値以下の場合、前記撮影画像又は前記輝度画像の少なくとも一方について所定の処理に適していると評価されてもよい（ステップＳ８０）。より具体的には、前記割合が所定の閾値以下の場合、前記撮影画像又は前記輝度画像の少なくとも一方について所定の処理に適していると評価されてもよい（ステップＳ８０１）。

これにより、撮影画像（又は輝度画像）が上記の所定の処理に適しているか否かを、画像全体に占める、輝度飽和している画素以外の画素も含み得る高輝度画素の割合に基づいて評価することができる。

例えば、本実施の形態において、前記輝度閾値は、前記度数分布にｐタイル法を用いて決定されてもよい（ステップＳ３１１）。より具体的には、前記ｐタイル法を用いて決定される前記輝度閾値は、前記度数分布で輝度値の昇順での累積相対度数が０．９８５以上である最小の輝度値であってもよい（ステップＳ３０８）。

これにより、上記の輝度閾値は、撮影画像に基づく輝度画像からダイナミックに決定される。

また、例えば、本実施の形態において、前記輝度画像において所定の輝度より高い部分を強調するための処理は、前記輝度画像に対するガンマ変換に基づく処理であってもよい（ステップＳ４０５）。より具体的には、前記ガンマ変換は、前記輝度画像の各画素の輝度値を入力値ｘとし、前記ガンマ変換の結果として出力される輝度値をｙとすると、
の式で表される計算による変換であってもよい。

これにより、上記の輝度閾値を用いる高輝度画素の判定を適切に実施することができる。

（実施の形態の変形例等）
以上、一実施の形態における画像評価装置１０について説明したが、本発明はこれに限定されない。取得されるデータや、実行環境等に応じて、種々の変形が可能である。

例えば上記の説明では、撮影によって取得された画像である撮影画像からの文字情報の抽出が想定されているが、文字情報の抽出対象である画像は画像評価装置１０の撮像部２００による撮影によって取得される画像でなくてもよい。携帯情報端末である画像評価装置１０が通信を介して取得した別の端末で撮影された画像であってよい。

また例えば、上記では撮影画像のＲＧＢ色情報を用いて輝度画像が生成されているが、撮影画像のデータが各画素の輝度値を直接示す情報を持つ場合は、輝度値の算出は不要であり、この輝度値を示す情報を含む画像が輝度画像として用いられてもよい。

また、上述の実施の形態で、携帯情報端末である画像評価装置１０で実行されている処理の手順はすべてが画像評価装置１０で実行されなくてもよい。つまり、一部の手順のみが画像評価装置１０で行われてもよい。例えば画像内の文字認識サービスを提供する一台又は複数のサーバ装置がインターネット上にあり、撮像部２００を用いて撮影された画像が、画像評価装置１０が備える図示しない通信モジュールを介してインターネット経由でこのサーバ装置に送られ、このサーバ装置で文字認識の実行前に画像の評価（ステップＳ１０からＳ８０）が行われてもよい。そして画像の評価の結果はインターネット経由で画像評価装置１０に返され、表示部４００に表示されてもよい（ステップＳ９０）。

また、演算処理部１００による上述の処理（図３Ａ、図４〜図６Ｂ、図８、図１０、図１３、図１５、及び図１６に示される各処理）、及びこれらの処理に含まれる各手順の実行順序は、必ずしも、上述の順序に制限されるものではなく、発明の要旨を逸脱しない範囲で入れ替えられたり、その一部が省略されたりしてもよい。また、これらの処理の全体又は一部は、ハードウェアによって実現されてもよいし、ソフトウェアを用いて実現されてもよい。ソフトウェアによる実現は、例えば画像評価装置１０が備える演算処理部１００が、記憶部３００に記憶されたアプリケーション３１０を読み出して実行することによりなされる。また、そのソフトウェアは、記録媒体又はインターネット等の通信網を介して頒布されてもよい。頒布されたソフトウェアが携帯情報端末等の各種の情報処理装置で実行されることで、上記の画像評価装置１０が実現される。

また、演算処理部１００による上述の各機能的構成要素の間の機能分担は一例であり、その分担は変更されてもよい。また、一の機能的構成要素が複数の機能構成要素の機能を担ったり、一の機能的構成要素の機能が複数の機能構成要素によって分担されたりしてもよい。

また、上記の実施の形態で用いられた数値のうち、ステップＳ３０８の「０．９８５」、ガンマ変換に用いられる式４の「７」、ステップＳ８０１の「０．２％」は、撮影画像又は輝度画像が文字認識の処理に適しているか否かの評価を適切に行うことができる数値として発明者が経験的に得た組み合わせのひとつを例示として挙げたものである。この評価に上記とは異なる数値の組み合わせが用いられてもよいし、別の評価、例えば文字認識ではなく、バーコードやＱＲコード（登録商標）等の図形の読取、又は顔認識等の画像から情報を抽出する処理に適しているか否かの評価のためには、適宜数値が変更されてもよい。また、これらの数値の設定が、ユーザによって利用環境や撮影画像に対する処理内容に応じて調整されてもよい。

また、上記では高輝度部分強調画像は式４によるガンマ変換の結果に基づいて生成されているが、入力値に対応する出力値の調整によって高輝度部分を強調することができる他の手法が用いられてもよい。上述のとおり式４中の値の「７」を変えたガンマ変換に基づく変換であってもよいし、ガンマ変換の数式に基づかない変換テーブルが参照されてもよい。例えば画像のコントラストを高めるか、所定の閾値以下の入力値に対してのみ出力値を下げるトーンカーブに基づく変換テーブルが用いられてもよい。

また、評価画像の生成に用いられるデータ及び処理の手順も、上記の実施の形態の説明に限定されない。上記の説明では、図１１に示されるような画像のデータである高輝度画像情報の画素のうち、高輝度画素でない画素を撮影画像又は輝度画像の対応する画素に置き換えて評価画像が生成されている。これに代えて、例えば高輝度画像情報に含まれる高輝度画素の位置情報を取得して、撮影画像又は輝度画像で当該取得された位置にある画素の色が元の色から所定の色に変更されてもよい。

また、上記の実施の形態及び変形例で示した構成要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。

すなわち、本発明の包括的又は具体的な各種態様は上記の実施の形態及びその変形例における画像評価装置に限定されず、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。

例えば方法は、上述した画像評価装置において実行される各処理の手順の全部又は一部からなる方法である。例えば撮影によって取得された撮影画像に含まれる各画素の輝度値を示す輝度画像を取得し、前記輝度画像に含まれる各画素の輝度値の度数分布を取得し、前記度数分布に基づいて輝度閾値を決定し、前記輝度画像に所定の輝度より高い部分を強調するための処理を行うで高輝度部分強調画像を生成し、前記高輝度部分強調画像に含まれる画素のそれぞれについて、当該画素の輝度が前記輝度閾値を超えるか否かについて判定し、前記判定の結果に基づいて、前記輝度閾値を超える輝度を有する画素を高輝度画素と特定する方法である。

また、この方法を情報端末等に実行させるためのコンピュータプログラムとは、例えば演算処理部と、記憶部とを備える情報端末において前記記憶部に記憶される画像評価プログラムであって、前記演算処理部で実行されることで撮影によって取得された撮影画像に含まれる各画素の輝度値示す輝度画像を取得させ、前記輝度画像に含まれる各画素の輝度値の度数分布を取得させ、前記度数分布に基づいて輝度閾値を決定させ、前記輝度画像に所定の輝度より高い部分を強調するための処理を行うことで高輝度部分強調画像を生成させ、前記高輝度部分強調画像に含まれる画素のそれぞれについて、当該画素の輝度が前記輝度閾値を超えるか否かについて判定し、前記判定の結果に基づいて、前記輝度閾値を超える輝度を有する画素を高輝度画素と特定させる画像評価プログラムである。

これらの態様においても、上述した画像評価装置と同様の効果が得られる。

また、上記のコンピュータプログラムは、単体で実行又は頒布されるものでなくてもよい。例えばＯＣＲ、ＯＭＲ等のアプリケーション、文字データの入力を受けるウェブブラウザ、辞書、翻訳、地図等のアプリケーションの一部として実行され、頒布されるものであってもよい。

以上のように、本開示における技術の例示として実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、撮影によって取得される画像から文字や記号等の情報を取得する装置に適用可能である。具体的には、スマートフォン、カメラ機能付き携帯電話機、タブレット型コンピュータ等の情報端末機器、デジタルカメラ等に本開示は適用可能である。

１０ 画像評価装置
１００ 演算処理部
１１０ 輝度画像生成部
１２０ 輝度閾値決定部
１３０ 強調画像生成部
１４０ 高輝度画素特定部
１５０ 評価画像生成部
１６０ 画像評価部
２００ 撮像部
３００ 記憶部
３１０ アプリケーション
３２０ 制御プログラム
４００ 表示部
５００ 入力部

Claims (11)

1. 撮影によって取得された撮影画像に含まれる各画素の輝度値を示す輝度画像を取得し、
   前記輝度画像に含まれる各画素の輝度値の度数分布を取得し、前記度数分布に基づいて輝度閾値を決定し、
   前記輝度画像に所定の輝度より高い部分を強調するための処理を行うで高輝度部分強調画像を生成し、
   前記高輝度部分強調画像に含まれる画素のそれぞれについて、当該画素の輝度が前記輝度閾値を超えるか否かについて判定し、前記判定の結果に基づいて、前記輝度閾値を超える輝度を有する画素を高輝度画素と特定する
   画像評価方法。
2. さらに、前記撮影画像又は前記輝度画像の画素のうち、前記高輝度画素と特定された画素に対応する画素の少なくとも一部の画素の色が変更されている評価画像を生成し、
   前記評価画像を出力する
   請求項１に記載の画像評価方法。
3. 前記色が変更された後の少なくとも一部の画素の色は、前記高輝度画素と特定された画素に対応する画素以外のいずれの画素の色とも異なる色である
   請求項２に記載の画像評価方法。
4. さらに、前記撮影画像又は前記輝度画像の総画素数に対する前記高輝度画素の数の割合を算出し、
   前記割合が所定の閾値以下の場合、前記撮影画像又は前記輝度画像の少なくとも一方について所定の処理に適していると評価する
   請求項１から３のいずれか１項に記載の画像評価方法。
5. 前記所定の閾値は０．２％であり、
   前記所定の処理は文字認識である、
   請求項４に記載の画像評価方法。
6. 前記輝度閾値は、前記度数分布にｐタイル法を用いて決定される
   請求項１から５のいずれか１項に記載の画像評価方法。
7. 前記ｐタイル法を用いて決定される前記輝度閾値は、前記度数分布で輝度値の昇順での累積相対度数が０．９８５以上である最小の輝度値である
   請求項６に記載の画像評価方法。
8. 前記輝度画像において所定の輝度より高い部分を強調するための処理は、前記輝度画像に対するガンマ変換に基づく処理である
   請求項１から７のいずれか１項に記載の画像評価方法。
9. 前記ガンマ変換は、前記輝度画像の各画素の輝度値を入力値ｘとし、前記ガンマ変換の結果として出力される輝度値をｙとすると、
   の式で表される計算による変換である、
   請求項８に記載の画像評価方法。
10. 演算処理部と、
    記憶部とを備える情報端末において前記記憶部に記憶される画像評価プログラムであって、
    前記演算処理部で実行されることで、
    撮影によって取得された撮影画像に含まれる各画素の輝度値示す輝度画像を取得させ、
    前記輝度画像に含まれる各画素の輝度値の度数分布を取得させ、
    前記度数分布に基づいて輝度閾値を決定させ、
    前記輝度画像に所定の輝度より高い部分を強調するための処理を行うことで高輝度部分強調画像を生成させ、
    前記高輝度部分強調画像に含まれる画素のそれぞれについて、当該画素の輝度が前記輝度閾値を超えるか否かについて判定し、前記判定の結果に基づいて、前記輝度閾値を超える輝度を有する画素を高輝度画素と特定させる
    画像評価プログラム。
11. 撮影による撮影画像の取得に用いられる、撮像素子を含む撮像部と、
    前記撮影画像に含まれる各画素の輝度値を示す輝度画像を取得する輝度画像生成部と、
    前記輝度画像に含まれる各画素の輝度値の度数分布を取得し、前記度数分布に基づいて輝度閾値を決定する輝度閾値決定部と、
    前記輝度画像に所定の輝度より高い部分を強調するための処理を行うことで高輝度部分強調画像を生成する強調画像生成部と、
    前記高輝度部分強調画像に含まれる画素のそれぞれについて、当該画素の輝度が前記輝度閾値を超えるか否かについて判定し、前記判定の結果に基づいて、前記輝度閾値を超える輝度を有する画素を高輝度画素と特定する高輝度画素特定部とを備える
    画像評価装置。