JP2008287702A - 携帯型電子機器、指紋読み取り方法及びバーコード読み取り方法 - Google Patents

Abstract

【課題】携帯型電子機器において、簡単かつ確実に指紋認証やバーコード判別が行えるようにする。
【解決手段】指紋画像データを記憶する指紋データメモリから指パターン画像を作成し、光センサを備えるＬＣＤパネルに、この指パターン画像の濃度を調節しつつ、表示する。そして、光センサから得られる画像情報と指紋画像データとの特徴量を照合し、照合結果を出力する。また、バーコードを判別する際にも、同様に画像の表示による照明状態を調整して、適正なＳ／Ｎで読み取って、バーコードをデコードする。
【選択図】図２

Description

本発明は、液晶表示パネル（ＬＣＤパネル）などの画像表示パネルを備える携帯型電子機器、及びその携帯型電子機器に適用して好適な指紋読み取り方法及びバーコード読み取り方法に関する。
より詳細には、撮像機能を備える画像表示パネルを用いて、指紋認証やバーコード読み取りを行う技術に関する。

携帯電話端末やゲーム機など、携帯型電子機器が広く普及している。
これら携帯型電子機器は高価であるが故に、常に盗難の危機に晒されている。
また、特に携帯電話端末においては、記憶されている電話番号等の情報が盗難に伴って流出してしまうと、元の持ち主に留まらず、多くの人々が社会的に無視できない被害を被ることとなってしまう。

このような、携帯型電子機器の盗難の危機に対応すべく、液晶表示素子に撮像機能を組み込み、指紋を読み取ることで、指紋認証を実現する技術開発が進められている。

この、撮像機能付液晶表示素子に関する先行技術を、特許文献１に示す。
特開２００６−３３０５７８号公報

実際に指を見るとわかるように、指紋の濃淡は極めて薄い。分解能の低い撮像素子では、指紋を正しく画像化することは難しい。
また、このような被写体の場合は、最適な光量或は露出にて読み取りを行わないと、光量が多すぎる（露出過多）場合はハレーションを起こし、逆に光量が少なすぎる（露出不足）場合は画像全体が暗く潰れてしまう。

ここでは、指紋を読み取る際の問題について説明したが、指紋以外の画像を読み取る際にも、同様の問題がある。
例えば、携帯電話端末が備える撮像部で、印刷物に印刷されたバーコード（一次元バーコードや二次元バーコードなど）を、撮像して読み取らせる機能を備えたものが普及している。ところが、バーコードの場合には、コードとして印刷された微細な模様を正確に読み取る必要があり、撮像時の撮影条件を最適に設定しないと、そのバーコードの正確な検出は不可能である。通常、携帯電話端末が備える撮像部でバーコードを撮像して、その撮像画像からバーコードを正確に判別するまでには、例えばバーコードを認識する枠内に入るようにして、本体を完全に静止させて撮像するなどの処理が必要であり、非常に手間がかかると共に、バーコードが認識されるまでにある程度の時間を必要とし、手軽にバーコード読み取りが行えているとは言えなかった。

本発明はかかる点に鑑みてなされたものであり、指紋やバーコードの如き読み取りに手間がかかるものを、携帯型電子機器で簡単に読み取れるようにすることを目的とする。

第１の発明は、指紋画像データを記憶する指紋データメモリから指パターン画像を作成し、光センサを備える画像表示パネルに、この指パターン画像の濃度を調節しつつ、表示する。そして、光センサから得られる画像情報と指紋画像データとの特徴量を照合し、照合結果を出力して、指紋認証を行うものである。

第１の発明によると、指紋認証時に画像表示パネルの発光状態で、指紋を読み取らせる指を照明することになり、その照明状態が調節されながら、指紋画像データの照合が適正に行われる。

第２の発明は、表示面に近接又は接触した画像の読み取りが可能な光センサを有した画像表示パネルを発光させ、光センサが読み取った画像から、一次元又は二次元のバーコードを判別し、その判別したバーコードをデコードしてデータを得る。そして、バーコードの判別状態に応じて、画像表示パネルの発光輝度を調節するようにしたものである。

第２の発明によると、バーコード読み取り時に画像表示パネルの発光状態で、バーコードが印刷などされた箇所を照明することになり、その照明状態が調節されながら、バーコードの読み取り及びデコードが適正に行われる。

第１の発明によると、表示面に近接又は接触した画像の読み取りが可能な光センサを有する画像表示パネルを使用して、指紋画像の読み取りと、その読み取った指紋画像からの指紋の認証処理とが適正に行える効果を有する。

第２の本発明によると、表示面に近接又は接触した画像の読み取りが可能な光センサを有する画像表示パネルを使用して、バーコード画像の読み取りと、その読み取ったバーコード画像からのバーコードの認証処理とが適正に行える効果を有する。

以下、本発明の第１の実施の形態を、図１〜図９を参照して説明する。

図１は、本実施の形態の例である、携帯型無線通信端末、すなわち携帯電話端末の内部構成を示すブロック図である。
携帯電話端末１０１は、マイクロプロセッサとしての中央制御ユニット（ＣＰＵ）よりなる制御部１０２を備え、制御部１０２はバス１０３を介して携帯電話端末１０１内の各部と通信を行って、各部の動作制御を行う。なお、図１では説明を簡単にするためにバス１０３を１つで示してあるが、実際には制御用の制御ラインと、データ用のデータラインとを備える。
バス１０３には、通信処理部１０４と、表示部１０８と、操作パネル１０９と、ＲＯＭ１１０と、ＲＡＭ１１１と、音声処理部１２１とが接続されている。
通信処理部１０４には、アンテナ１０５が接続してあり、無線信号の送信処理及び受信処理を行う。
表示部１０８は、液晶画像表示パネルと、その表示パネルの駆動部とで構成され、表示パネル上の各画素に対応して光センサが配置されて、表示面に近接又は接触した画像の読み取りが可能なパネルである。この光センサ付き表示部１０８の詳細については後述する。
操作パネル１０９は、ユーザが操作する操作キーなどの操作手段で構成される。
音声処理部１２１にはスピーカ１０６とマイクロフォン１０７とが接続してあり、スピーカ１０６からの音声の出力処理及びマイクロフォン１０７からの入力された音声処理が行われる。
このように構成されることで、例えば操作パネル１０９を操作して電話番号を入力し、電話をかける、一般的な携帯電話端末として使用が可能である。

ＲＯＭ１１０には、携帯電話端末１０１を制御するに必要なソフトウェア、或はユーザに音楽プレーヤ機能やゲーム等の娯楽を提供する様々なアプリケーションソフトウェアが格納されている。後述する光センサを使用した画像読み取りに必要なソフトウェアについても、このＲＯＭ１１０に記憶される。ＲＯＭ１１０に格納されるアプリケーションソフトウェアの一部は、通信処理部１０４を通じて外部のサーバからダウンロードして利用可能にすることもできる。したがって、ＲＯＭ１１０はその一部又は全部がフラッシュメモリであることが好ましい。

なお、本発明は携帯電話端末１０１に限られず、ゲーム機器やデジタルカメラ等、携帯可能な電子機器であって、液晶等の画像表示体を備えるものであれば、何にでも適用可能である。
したがって、「電子機器」という括りで見ると、通信処理部１０４、スピーカ１０６及びマイクロフォン１０７は、携帯電話端末１０１の構成要件としては必須であるものの、本発明の必須構成要件ではない。

図２は、表示部１０８の内部を示すブロック図である。
表示部１０８は、ＬＣＤパネル２０２とＬＣＤコントローラ２１０とバックライト２１８よりなる。
ＬＣＤパネル２０２は、縦横にマトリクス状に画素が配置されて、画像を表示できる構成としてある。ＬＣＤパネル２０２の一つの画素を構成する部分に、画素トランジスタよりなる三つの発色制御体２０３と、三つの光センサ２０４よりなり、それぞれの色の画素に隣接して光センサが配置してある。この光センサ２０４は、ＬＣＤパネル２０２の表示面に近接又は接触した画像を読み取るセンサである。ここでの光センサ２０４による画像の読み取りは、基本的には、ＬＣＤパネル２０２の表示面に読み取り対象物を接触させて読み取るものであるが、例えば表示面の表面から数ｍｍ程度に近接させた状態でも読み取りが可能な場合もある。従って、読み取り可能な画像の最大のサイズは、ＬＣＤパネル２０２の表示面のサイズである。
発色制御体２０３の真上には赤、青及び緑の図示しないカラーフィルタが覆っている。発色制御体２０３は、オフ状態では透明であり、通電すると透明度が低下する。この透明度を制御することにより、三原色から所望の色を表示する。
光センサ２０４の真上にも、発色制御体２０３と同様に図示しないカラーフィルタが設けられており、それぞれの色に応じた光の強度を電気信号に変換して、カラー画像を読み取る処理が行われる。

ＬＣＤパネル２０２には、ＬＣＤコントローラ２１０が接続される。
ＬＣＤコントローラ２１０には、ＬＣＤパネル２０２を構成する発色制御体２０３と、光センサ２０４が接続してある。
ＬＣＤパネル発色制御部２１１は、インターフェース２１２から入力される画像データに基づいて、ＬＣＤパネル２０２を発色させる制御を行う。また、後述の画像処理部２１５から制御を受けて発色制御を行うこともある。
ＬＣＤパネル出力駆動部２１３は、ＬＣＤパネル２０２の各画素を構成する発色制御体２０３を駆動するための増幅回路よりなる。

光センサ入力信号処理部２１４は、多数の微弱なアナログ信号である、光センサ２０４の出力信号を所定の電圧に増幅し、アナログ−デジタル変換（以下「Ａ／Ｄ変換」）した後、後続の画像処理部２１５に出力する。
画像処理部２１５はマイクロコンピュータを構成し、フラッシュメモリよりなるプログラムメモリ２１６に格納されているプログラムを読み込んで、指紋照合処理を実行する。その処理の詳細は、フラッシュメモリよりなる指紋データメモリ２１７に予め保存されている指紋データを読み込み、光センサ入力信号処理部２１４から得られる指紋スキャンデータと照合し、一致／不一致の判定結果を出力する。
インターフェース２１２はバス１０３に接続される。

バックライト２１８は、例えば白色ＬＥＤよるなる光源と、その光源からの光をＬＣＤパネル２０２の背面に均一に導く導光材とを備える。バッテリ２２０の電力が制御部１０２によって制御されるスイッチ２１９にてオン／オフ制御されることで、バックライト２１８を構成する白色ＬＥＤの点灯／消灯が制御される。

図３は、本実施形態の携帯電話端末１０１における、電源オン時の動作を説明するフローチャートである。
電源スイッチを一秒以上押し続けると、携帯電話１０１は電源オン状態となる。これに呼応して、制御部１０２はブート処理として、ＲＯＭ１１０からプログラムを読み込み、各機能を司る部分の初期化等の処理を開始する（ステップＳ３０１）。
次に、制御部１０２はＬＣＤコントローラ２１０に対し、既に指紋データが指紋データメモリ２１７内に存在するか、問い合わせを行う（ステップＳ３０２）。
もしなければ（ステップＳ３０２のＮ）、携帯電話１０１の店舗販売時に設定されているパスワードを入力するための画面を表示し（ステップＳ３０３）、入力されたパスワードの合致を判定する（ステップＳ３０４）。合致していれば、読み込んだ指紋データをＬＣＤコントローラ２１０内の指紋データメモリ２１７に保存する、指紋登録処理を行い（ステップＳ３０５）、携帯電話１０１が所有者に使える状態になる（ステップＳ３０６）。
なお、パスワードが合致していなければ、その旨のエラー表示をＬＣＤ画面に表示し（ステップＳ３０７）、電源をオフする（ステップＳ３０８）。

既に、指紋データメモリ２１７内に指紋データが存在していれば（ステップＳ３０２のＹ）、制御部１０２はＬＣＤコントローラ２１０に対し、指紋の照合を行うべく命ずる（ステップＳ３０９）。
ＬＣＤコントローラ２１０が指紋の一致／不一致を制御部１０２に報告すると（ステップＳ３１０）、一致していれば携帯電話１０１としての機能が利用可能になり（ステップＳ３０６）、一致していなければエラー表示（ステップＳ３０７）の後、電源オフされる（ステップＳ３０８）。
つまり、指紋照合処理自体はＬＣＤコントローラ２１０の内部によって行われ、それ以外の処理は制御部１０２が司る。

図４は、指紋照合処理の流れを示すフローチャートである。図３のステップＳ３０９に相当し、ＬＣＤコントローラ２１０の内部で行われる処理である。
制御部１０２の指令によってＬＣＤコントローラ２１０が処理を開始すると（ステップＳ４０１）、プログラムメモリ２１６からプログラムを読み込んだ画像処理部２１５は、最初に図示しないＬＣＤのバックライト２１８を点灯させるべく、制御部１０２に依頼する（ステップＳ４０２）。なお、この処理は必ずしも必要ではなく、制御部１０２がＬＣＤコントローラ２１０に指紋照合を命ずる際に、自発的にバックライト２１８の点灯を実行してもよい。
次に、画像処理部２１５はＬＣＤパネル発色制御部２１１に対し、指パターン画像を表示させるべく命ずる。ＬＣＤパネル発色制御部２１１はこの命令を受け、指紋データメモリ２１７に保存されている指紋データを読み込み、指パターン画像を作成し、表示する（ステップＳ４０３）。
図７に示す指パターン画像７０２とは、ＬＣＤパネル２０２に表示する、所定の濃さの灰色或は白色の、指の形の画像である。指パターン画像７０２の詳細は後述する。
次に、画像処理部２１５は光センサ２０４から入力されるデータを検証する。具体的には、光センサ２０４のうち、幾つかの光センサ２０４から得られるデータの色情報を解析し、それらデータがほぼ全て肌色に属するか否かを見る（ステップＳ４０４）。つまり、この処理は入力範囲内における肌色検出処理であり、入力範囲において満遍なくサンプルが取れればよく、検出に必要なサンプル数は少なくてよいのである。
肌色が入力されるまで、つまり指が液晶表示部１０８のパネル上に置かれるまで、このポーリング処理は続く。
肌色のデータが検出された、つまり指が液晶表示部１０８のパネル上に置かれたら、指紋入力処理を行う（ステップＳ４０５）。そして、得られた指紋データを、指紋データメモリ２１７内の指紋データと照合し、一致している特徴量が所定量以上あるか否か、つまり指紋が合致しているか否かを判定し、その結果を出力し（ステップＳ４０６）、終了する（ステップＳ４０７）。

図５は、指紋入力処理の流れを示すフローチャートである。図４のステップＳ４０５に相当する。
処理を開始すると（ステップＳ５０１）、ＬＣＤパネル発色制御部２１１は、予め指紋データメモリ２１７に保存してあったＬＣＤ濃度値を読み出し、ＬＣＤパネル２０２の指紋パターン部分に相当する箇所の濃度を設定する。つまり、所定の濃さの灰色の指の形のパターンを画像として生成する。これが指パターン画像７０２である。
次に、画像処理部２１５は、光センサ２０４からデータを読み出す。つまり、指紋をスキャンする（ステップＳ５０３）。
そして、画像処理部２１５は、得られた指紋データを構成する、各ピクセルのデータを基に、平均コントラストを算出する処理を行う（ステップＳ５０４）。なお、この時点で得られた平均コントラスト値は、後の処理のために一時的に保持しておく。
画像処理部２１５は、得られた平均コントラスト値が十分であるか否かを検証し（ステップＳ５０５）、十分な平均コントラスト値が得られているのであれば、ステップＳ５０３において得られた指紋データを採用し（ステップＳ５０６）、処理を終了する（ステップＳ５０７）。

ステップＳ５０５において、得られた平均コントラスト値が十分でない場合には、画像処理部２１５は、画像処理部２１５の内部でプログラムの変数として設けている調節方向フラグを、「明るい方」に設定する。そして、反転フラグを下ろす（ステップＳ５０８）。
ここで、図５にて開示する指紋入力処理では、動作制御のために二つのフラグを用いている。
調節方向フラグは、ＬＣＤに表示する指パターン画像７０２の濃度の調整方向を示すフラグである。これはビットの１または０で表現される。どちらが「明るい方」であっても「暗い方」であってもよい。
反転フラグは、後述する処理で調節方向フラグが反転されたことを受けて、上げられるフラグ変数である。これもビットの１または０で表現される。

次に、画像処理部２１５は調節方向フラグの中身を確認する（ステップＳ５０９）。「明るい方」に設定されているのであれば、画像処理部２１５は、ＬＣＤパネル発色制御部２１１に、ＬＣＤに表示する指パターン画像７０２の濃度を薄くするように命じ、バックライト２１８が発する光がより多く指に照射されるようにする（ステップＳ５１０）。
逆に、ステップＳ５０９において調節方向フラグが「暗い方」に設定されているのであれば、画像処理部２１５は、ＬＣＤパネル発色制御部２１１に、ＬＣＤに表示する指パターン画像７０２の濃度を濃くするように命じ、バックライト２１８が発する光の量を絞って指に照射されるようにする（ステップＳ５１１）。
そして、改めて指紋をスキャンし直し（ステップＳ５１２）、再度平均コントラスト値を算出する（ステップＳ５１３）。ここでも得られた平均コントラスト値は一時的に保持する。

次に、画像処理部２１５は、算出して得られた平均コントラスト値が直前に得られた平均コントラスト値よりも良くなっているか否か、確認する（ステップＳ５１４）。
もし、現在の平均コントラスト値が直前に得た平均コントラスト値よりも良くなっているのであれば、指パターン画像７０２の濃度変化処理の方向は正しいと判断できる。つまり、調節方向フラグは正しい調節方向を向いていると判断できる。そこで、そのままの状態で指パターン画像７０２の濃度変換処理を繰り返し（ステップＳ５１０或はＳ５１１）、平均コントラスト算出処理（ステップＳ５１３）を繰り返す。

逆に、もしも平均コントラスト値が直前値より悪化しているのであれば、指パターン画像７０２の濃度変化処理の方向は誤っていると判断できる。つまり、調節方向フラグは誤った調節方向を向いていると判断できる。そこで、次に反転フラグが上がっているか否かを確認する（ステップＳ５１５）。
反転フラグが上がっていない場合は、調節方向フラグを反転し（ステップＳ５１６）、反転フラグを上げる（ステップＳ５１７）。そして、再度指パターン画像７０２の濃度を調節した上で（ステップＳ５０９、Ｓ５１０またはＳ５１１）、指紋スキャン（ステップＳ５１２）と平均コントラスト算出処理（ステップＳ５１３）を繰り返す。
反転フラグが上がっている場合は、ステップＳ５１６にて調節方向フラグが既に反転されて、更に平均コントラスト値が直前値よりも悪くなったことを意味する。すなわち、一旦は指パターン画像７０２の濃度調節が良い方向に行ったものの、調節動作が行き過ぎたために再び悪くなったことを意味する。そこで、この時点では直前の指紋データが最良のデータであるので、これを採用し（ステップＳ５１８）、処理を終了する（ステップＳ５１９）。

図６は、平均コントラスト算出処理の流れを示すフローチャートである。図５のステップＳ５０４及びＳ５１３に相当する。
処理を開始すると（ステップＳ６０１）、画像処理部２１５は、光センサ２０４から得られる全ピクセルのデータを取得する（ステップＳ６０２）。なお、ここで得る「全ピクセルのデータ」とは、指パターン画像７０２に相当するピクセルのデータのみであることに注意されたい。
次に、画像処理部２１５は、得られた全ピクセルのデータについて、それらピクセルの明るさ（明度）の平均値を算出し、これを閾値として設定する（ステップＳ６０３）。
次に、各ピクセルの明度を、設定した閾値と比較して、明るい方と暗い方とで分類する（Ｓ６０４）。
更に、分類したピクセルについて、明度の平均値をそれぞれ算出する（ステップＳ６０５）。この時点で、「閾値より明るい方のピクセルの明度の平均値」と、「閾値より暗い方のピクセルの明度の平均値」が得られる。
そして、算出した「閾値より明るい方のピクセルの明度の平均値」と「閾値より暗い方のピクセルの明度の平均値」の比を算出して（ステップＳ６０６）、上位ルーチンに演算結果を返して終了する（ステップＳ６０７）。これが平均コントラスト値となる。

図７は、携帯電話端末が指紋を読み取る状態を示す概略図である。
図８は、携帯電話端末に指紋を読み込ませる状態を示す概略図である。
画像処理部２１５の命令により、ＬＣＤパネル発色制御部２１１は、ＬＣＤパネル２０２に、指パターン画像７０２と、マスク領域７０３を表示する。
指パターン画像７０２は、指の形をした灰色或は白色の画像である。これは図３の指紋登録処理Ｓ３０５にて登録し、指紋データメモリ２１７に保持されている指紋データによって形成される、指の形そのものである。
この指パターン画像７０２に沿って、図８に示すように、指を乗せる。つまり、図４のステップＳ４０３にて表示する指パターン画像７０２は、指を乗せるガイドとしての役割を担っている。
マスク領域７０３は指パターン画像７０２以外の部分であり、黒色或は黒に準じる濃い色を表示する。つまり、ここに指を乗せても指紋を読み取らない、という指標である。また、これは指パターン画像７０２の領域（指紋読み取り領域）以外の領域からバックライト２１８の光が漏れ込んで、撮像に悪影響を及ぼす可能性を排除するためでもある。

図９（ａ）、（ｂ）及び（ｃ）は、指パターン画像７０２の変化を示す概略図である。
図５に示した指紋入力処理において、ステップＳ５１０或はＳ５１１の処理によって、指パターン画像７０２の濃度が変化する。つまり、ＬＣＤパネル２０２に乗せられた指に照射される、バックライト２１８の光量が変化する。
図９（ａ）の状態は、指パターン画像７０２は白色である。つまり、指に照射されるバックライト２１８の光量が最も多い。
図９（ｂ）の状態は、指パターン画像７０２はやや薄い灰色である。つまり、（ａ）に比べると、指に照射されるバックライト２１８の光量がやや少なくなっている。
図９（ｃ）の状態は、指パターン画像７０２は（ｂ）よりも更に濃い灰色である。つまり、（ｂ）に比べると、指に照射されるバックライト２１８の光量が一層少なくなっている。

以上に説明したように、指パターン画像７０２の濃度を調節することで、被写体である指に照射するバックライト２１８の光量が調節される。本実施形態は、最適な指パターン画像７０２の濃度にて指をスキャンして、指紋照合処理を確実に遂行するものである。

本実施形態には、以下のような応用例が考えられる。
（１）図５にて開示した、光量を調節するアルゴリズムは様々な方法が考えられる。一例としては、周知の二分検索法等が利用可能である。
（２）ステップＳ６０６で平均コントラスト値を演算する代わりに、平均輝度の差を演算しても良い。
（３）指パターン画像７０２の代わりに、バックライト２１８の輝度を調節することでも同様の効果を得ることができる。この場合は、バックライト２１８に投入する電力をチョッパ制御する等の方法が考えられる。

本実施形態においては、指紋認証機能を備える携帯型電子機器を開示した。
液晶に表示する指パターン画像７０２の濃度を調節することで、被写体である指に照射するバックライト２１８の光量が調節される。本実施形態は、最適な指パターン画像７０２の濃度にて指をスキャンすることにより、指紋画像を取得する際に最適な光量状態を設定できるので、指紋照合処理を確実に遂行できる。

次に、本発明の第２の実施の形態を、図１０〜図１３を参照して説明する。この図１０〜図１３において、第１の実施の形態で説明した図１〜図９と同一部分には同一符号を付す。

本実施の形態においても、携帯型無線通信端末、すなわち携帯電話端末に適用した例である。携帯電話端末の内部の基本的な構成は、第１の実施の形態で説明した図１に示した携帯電話端末１０１と同じである。
図１０は、本実施の形態で特徴となる構成要素である、表示部１０８の内部を示すブロック図である。
表示部１０８は、ＬＣＤパネル２０２とＬＣＤコントローラ３１０とバックライト２１８よりなる。
ＬＣＤパネル２０２の構成は、既に図２を参照して説明した構成と同じである。即ち、ＬＣＤパネル２０２は、縦横にマトリクス状に画素が配置されて、画像を表示できる構成としてある。ＬＣＤパネル２０２の一つの画素を構成する部分に、画素トランジスタよりなる三つの発色制御体２０３と、三つの光センサ２０４よりなり、それぞれの色の画素に隣接して光センサが配置してある。この光センサ２０４は、ＬＣＤパネル２０２の表示面に近接又は接触した画像を読み取るセンサである。
発色制御体２０３の真上には赤、青及び緑の図示しないカラーフィルタが覆っている。発色制御体２０３は、オフ状態では透明であり、通電すると透明度が低下する。この透明度を制御することにより、三原色から所望の色を表示する。
光センサ２０４の真上にも、発色制御体２０３と同様に図示しないカラーフィルタが設けられており、それぞれの色に応じた光の強度を電気信号に変換して、カラー画像を読み取る処理が行われる。ここまでは図２で説明した構成と同じである。

そして本実施の形態においては、ＬＣＤパネル２０２が、ＬＣＤコントローラ３１０に接続してある。
ＬＣＤコントローラ３１０には、ＬＣＤパネル２０２を構成する発色制御体２０３と、光センサ２０４が接続してある。
ＬＣＤパネル発色制御部３１１は、インターフェース３１２から入力される画像データに基づいて、ＬＣＤパネル２０２を発色させる制御を行う。また、後述の画像処理部３１５から制御を受けて発色制御および発光輝度の制御を行うこともある。本例の場合には、バーコード読み取り時に、ＬＣＤパネル２０２の発光輝度を適正に制御する処理が行われる。
ＬＣＤパネル出力駆動部３１３は、ＬＣＤパネル２０２の各画素を構成する発色制御体２０３を駆動するための増幅回路よりなる。

光センサ入力信号処理部３１４は、多数の微弱なアナログ信号である、光センサ２０４の出力信号を所定の電圧に増幅し、アナログ−デジタル変換（以下「Ａ／Ｄ変換」）した後、画像処理部３１５に出力する。
画像処理部３１５はマイクロコンピュータを構成し、フラッシュメモリよりなるプログラムメモリ３１６に格納されているプログラムを読み込んで、バーコードの判別処理を実行する。この判別処理時には、画像処理部３１５で光センサからのデータを読み出して二値化した後、その二値化したデータをバーコードデコード部３１７に供給して、バーコードとしてコード化されたデータのデコード処理を行う。ここでのデコード処理としては、例えば二次元バーコードのデコードを行う。或いは、一次元バーコードのデコードを行うようにしてもよい。デコードされたデータは、画像処理部３１５に戻し、画像処理部３１５からインターフェース３１２を介して、図１に示したＲＡＭ１１１に転送して格納させる。
インターフェース３１２は、図１に示したバス１０３に接続される。

バックライト２１８は、例えば白色ＬＥＤよるなる光源と、その光源からの光をＬＣＤパネル２０２の背面に均一に導く導光材とを備える。バッテリ２２０の電力が制御部１０２によって制御されるスイッチ２１９にてオン／オフ制御されることで、バックライト２１８を構成する白色ＬＥＤの点灯／消灯が制御される。

図１１は、本実施形態の携帯電話端末１０１における、バーコード読み取り時の動作を説明するフローチャートである。
まず、携帯電話端末１０１を、バーコード読み取りモードにする操作があったか否か、制御部１０２が判断する（ステップＳ７０１）。バーコード読み取り時には、ユーザが操作パネル１０９を操作して、バーコード読み取りモードにする。このバーコード読み取りモードにする操作があったことを制御部１０２が判別すると、制御部１０２が該当するバーコード読み取りモードを設定する。そして、ＬＣＤパネル２０２上の光センサ２０４の出力のＬＣＤコントローラ３１０での処理を開始させる。なお、バーコード読み取りモード時には、後述するようにＬＣＤパネル２０２上に、バーコード読み取りモードである点と、バーコードを読み取らせる範囲を示す枠などを表示させる。

ＬＣＤコントローラ３１０での処理としては、光センサ２０４の出力を画像処理部３１５で処理させて、その出力信号が最適なノイズ比であるＳ／Ｎとなるように、ＬＣＤ発色制御部３１１に指令を送る。その指令を送ることで、パネル上の発光輝度が、実際のバーコードの読み取り状態に応じてフィードバックされる制御が行われることになる（ステップＳ７０２）。この発光輝度の制御は、液晶素子である発色制御体２０３を制御して行うが、バックライト２１８を構成する発光素子（ＬＥＤなど）を制御してもよい。そして、光センサ２０４の出力信号のＳ／Ｎが適正な範囲内になったか否か判断し（ステップＳ７０３）、適正な範囲でない場合には、ステップＳ７０２の処理に戻る。

Ｓ／Ｎが適正な範囲内であると画像処理部３１５が判断した場合には、光センサ２０４の出力を読み出して、画像処理部３１５で画像認識処理する（ステップＳ７０４）。そして、読み出した画像データを二値化し（ステップＳ７０５）、その二値化されたデータをバーコードデコード部３１７に供給して、バーコードとしてコード化されたデータのデコード処理を行う（ステップＳ７０６）。デコードされたデータは、ＲＡＭ１１１（図１）に格納させる。

ＲＡＭ１１１に格納されたデータは、制御部１０２が読み出し（ステップＳ７０７）、読み取ったバーコードのデータを使用するモードに応じたデータ処理が行われる（ステップＳ７０８）。例えば、インターネットに接続するアドレスがコード化されたバーコードの場合には、そのアドレスへのアクセスが行われる。メールアドレスがコード化されたバーコードの場合には、そのアドレスの電話帳への登録などが行われる。或いは、その他の処理を指示するデータである場合には、それぞれのデータに適した処理が行われる。

図１２は、バーコード読み取りモードを設定した際の、携帯電話端末１０１のＬＣＤパネル２０２の表示状態の例を示した図である。この例では、ＬＣＤパネル２０２の表示範囲内に、「バーコード読み取り」と表示させて、バーコード読み取りモード表示８０１を行ってある。また、「下の枠内にバーコードを近づけてください」と表示させて、バーコードが印刷などされた箇所を近づける注意事項の表示８０２を行ってある。さらに、バーコードを読み取る範囲の目安となる枠表示８０３を行ってある。

このように表示させることで、読み取り操作を行うユーザは、簡単かつ確実にバーコード読み取りを行うことができる。
図１３は、バーコードの読み取り状態の例を示した図である。この例では、図１３（ａ）に示すように、二次元バーコード９１が印刷された印刷物９０に、携帯電話端末１０１のＬＣＤパネル２０２を近づけさせる。そして、図１３（ｂ）に示すように、二次元バーコード９１が印刷された箇所に、ＬＣＤパネル２０２を接触又は非常に近くに近接させた状態として、しばらく静止させる。
このようにすることで、ＬＣＤパネル２０２から印刷物９０の表面を照明する状態が最適に自動的に調整されて、最もＳ／Ｎが少ない状態となって、光センサ２０４でバーコードの画像が読み取られて、バーコードが判別される。この場合、従来の携帯電話端末が備えるカメラ部でバーコードを撮影して判別する場合と異なり、バーコードが印刷された箇所に直接接触させて読み込ませることができる。従って、端末を静止した状態とすることが簡単に行え、短時間に簡単かつ確実にバーコードの読み取りが完了し、従来の携帯電話端末よりも簡単に精度良くバーコード読み取りが行える。

以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことは言うまでもない。例えば、上述した各実施の形態では、携帯電話端末に適用した例としたが、同様な光センサ付きの画像表示パネルを備えた、その他の電子機器にも適用可能である。
また、光センサ付きの画像表示パネルとして、バックライトを備えて液晶表示パネルを適用した例について説明したが、その他の表示方式の画像表示パネルにも適用可能である。例えば、有機ＥＬ（electroluminescence）表示パネルを適用してもよい。有機ＥＬ表示パネルの場合にも、表示パネル上に発光素子とは別に受光素子を光センサとして配置して、同様の構成とすることができる。或いは、有機ＥＬ表示パネル上の発光素子を、光センサとしても機能させ、画像の表示と受光を時分割で交互に行う構成とすることも可能である。

本発明の第１の実施の形態による携帯電話端末の内部構成例を示すブロック図である。 本発明の第１の実施の形態による表示部の内部例を示すブロック図である。 本発明の第１の実施の形態携帯電話端末における、電源オン時の動作例を説明するフローチャートである。 指紋照合処理例の流れを示すフローチャートである。 指紋入力処理例の流れを示すフローチャートである。 平均コントラスト算出処理例の流れを示すフローチャートである。 携帯電話が指紋を読み取る状態の例を示す概略図である。 携帯電話に指紋を読み込ませる状態の例を示す概略図である。 指パターン画像の変化例を示す概略図である。 本発明の第２の実施の形態による表示部の内部例を示すブロック図である。 本発明の第２の実施の形態携帯電話端末における、バーコード読み取り時の動作例を説明するフローチャートである。 本発明の第２の実施の形態携帯電話端末における、バーコード読み取り時のパネル表示例を示す概略図である。 本発明の第２の実施の形態携帯電話端末における、バーコード読み取り状態の例を示す概略図である。

符号の説明

１０１…携帯電話端末、１０２…制御部、１０３…バス、１０４…通信処理部、１０５…アンテナ、１０６…スピーカ、１０７…マイクロフォン、１０８…表示部、１０９…操作パネル、１１０…ＲＯＭ、１１１…ＲＡＭ、２０２…ＬＣＤパネル、２０３…発色制御体、２０４…光センサ、２１０…ＬＣＤコントローラ、２１１…ＬＣＤパネル発色制御部、２１２…インターフェース、２１３…ＬＣＤパネル出力駆動部、２１４…光センサ入力信号処理部、２１５…画像処理部、２１６…プログラムメモリ、２１７…指紋データメモリ、２１８…バックライト、２１９…スイッチ、２２０…バッテリ、３１０…ＬＣＤコントローラ、３１１…ＬＣＤパネル発色制御部、３１２…インターフェース、３１３…ＬＣＤパネル出力駆動部、３１４…光センサ入力信号処理部、３１５…画像処理部、３１６…プログラムメモリ、３１７…バーコードデコード部、７０２…指パターン画像、７０３…マスク領域

Claims (6)

1. 表示面に近接又は接触した画像の読み取りが可能な光センサを有する画像表示パネルと、
   前記画像表示パネルの表示を制御するパネル制御部と、
   指紋画像データを記憶する指紋データメモリと、
   前記指紋画像データから指パターン画像を作成して前記画像表示パネルに表示すべく前記パネル制御部に命ずると共に、前記指パターン画像の濃度を調節しつつ、前記光センサから得られる画像情報と前記指紋画像データとの特徴量を照合し、照合結果を出力する画像処理部と、
   前記照合結果に応じて動作制御を行う制御部とを備える
   携帯型電子機器。
2. 前記画像処理部は、前記画像表示パネルに前記指パターン画像を表示する際に、前記指パターン画像以外の領域を前記指パターン画像よりも暗い色にて表示するべく、前記パネル制御部に命ずるようにした
   請求項１記載の携帯型電子機器。
3. 表示面に近接又は接触した画像の読み取りが可能な光センサを有する画像表示パネルと、
   前記画像表示パネルの表示を制御するパネル制御部と、
   前記光センサが読み取った画像から、一次元又は二次元のバーコードを判別し、その判別したバーコードをデコードしてデータを得る画像処理部と、
   前記画像処理部で得たデータに基づいた処理の制御を行う制御部とを備える
   携帯型電子機器。
4. 前記画像処理部でバーコードを判別した際に、前記画像表示パネルでの表示画像の発光輝度を、バーコードが最適に判別できる輝度に前記パネル制御部が制御する
   請求項３記載の携帯型電子機器。
5. 表示面に近接又は接触した画像の読み取りが可能な光センサを有した画像表示パネルを発光させるステップと、
   指紋データメモリに指紋画像データから指パターン画像を作成して前記画像表示パネルに表示するステップと、
   前記光センサから得られる信号から画像データを生成して、平均コントラスト値を算出するステップと、
   前記平均コントラスト値が最適な値になるように、前記指紋画像データの濃度を調節するステップとを含む
   指紋読み取り方法。
6. 表示面に近接又は接触した画像の読み取りが可能な光センサを有した画像表示パネルを発光させるステップと、
   前記光センサが読み取った画像から、一次元又は二次元のバーコードを判別し、その判別したバーコードをデコードしてデータを得るステップと、
   前記バーコードの判別状態に応じて、前記画像表示パネルの発光輝度を調節するステップとを含む
   バーコード読み取り方法。

Images