[第1実施形態のスマートフォンの構成]
図1は、本発明の携帯端末に相当する第1実施形態のスマートフォン10の正面図である。図2は、第1実施形態のスマートフォン10の一部の概略断面図である。このスマートフォン10は、被検者であるユーザの被検眼Eの前眼部Efの角膜表面を覆う涙液層を検査する機能を有する。
図1及び図2に示すように、スマートフォン10は、平板状に形成されており且つユーザに把持される携帯型の筐体12を備える。この筐体12のユーザに対向する一面側には、表示入力部14と、スピーカ16と、マイクロホン18と、所謂インカメラであるカメラ部20と、が設けられている。また、筐体12の一面側とは反対面側には、図示は省略するが所謂アウトカメラが設けられている。
表示入力部14は、各種の画像(静止画像及び動画像)及び文字情報などを表示する。また、表示入力部14は、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネル構造を有する。この表示入力部14は、表示パネル22と、操作パネル24(図2では図示を省略)とにより構成されている。
表示パネル22は、本発明の発光部、指示部、及び表示装置に相当するものであり、液晶ディスプレイ(LCD:Liquid Crystal Display)及び有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)などの各種表示装置が用いられる。
表示パネル22は、涙液層検査時において、表示面の少なくとも一部の領域に白色のパターン28を表示する。これにより、表示パネル22からパターン28に基づく白色のパターン光28Lが発光され、さらにこのパターン光28Lが前眼部Efに投影される。なお、図2中の符号R1は、表示パネル22から前眼部Efに投影されるパターン光28Lの投影範囲を指す。
なお、表示パネル22内でのパターン28の表示位置は、後述のカメラ部20の光軸OAと被検眼Eの基準位置とが略一致している場合に、パターン光28Lが前眼部Efの角膜表面上の所定位置に投影されるように予め位置調整されている(図3参照)。また、パターン28(パターン光28L)の色、形状、及び大きさ等は特に限定はされない。
操作パネル24は、光透過性を有しており、表示パネル22の表示面上に設けられている。この操作パネル24は、公知の検出方式によって、ユーザの指又は尖筆等により入力された各種の入力操作を受け付ける。そして、操作パネル24は、入力操作の検出信号を後述の制御部46(図6参照)へ出力する。なお、筐体12の一面側に、押しボタン式のスイッチ及び十字キー等の各種ハードウェアキーを設けてもよい。
スピーカ16は、後述の制御部46(図6参照)の下、各種の音声出力を行う。このスピーカ16は、詳しくは後述するが、本発明の指示部としても機能する。マイクロホン18は、ユーザの音声の入力を受け付ける。
カメラ部20は、本発明の撮影部に相当するものであり、ユーザの顔を電子撮影する。本実施形態では、カメラ部20を、涙液層検査時におけるユーザの被検眼Eの前眼部Ef(角膜表面)の撮影に用いる。このカメラ部20は、フォーカスレンズ等を含むレンズ群30と、レンズ群30の各レンズを駆動する不図示のレンズ駆動機構と、不図示のシャッタ機構と、撮像素子32と、を備える。
レンズ群30は、光軸OAを有し、各種被写体の像光を撮像素子32の撮像面に結像させる。この際に、カメラ部20は公知のオートフォーカス機能を有している。このため、制御部46(図6参照)の下、不図示のレンズ駆動機構によりレンズ群30のフォーカスレンズを光軸OAに沿って移動させることで、カメラ部20の焦点調節が自動で行われる。このようにカメラ部20は、所謂オートフォーカス処理を行うことで、据置型の眼科装置と同様に焦点調整(光軸方向のアライメント)を行うことができる。なお、オートフォーカス処理については公知技術であるため、具体的な説明は省略する。
撮像素子32は、CMOS(Complementary Metal Oxide Semiconductor)型又はCCD(Charge-Coupled Device)型のカラー撮像装置(イメージセンサ)であり、レンズ群30を通して各種被写体の像光の撮像を行う。
カメラ部20は、涙液層検査時に、表示パネル22によりパターン光28Lが投影されている前眼部Efの角膜表面の本撮影(連続撮影)を行って、前眼部Efの撮影画像データ34を出力する。なお、ここでいう本撮影とは、涙液層の状態検出に用いられる撮影画像データ34の撮影である。
また、カメラ部20は、本撮影の開始前に前眼部Efの予備撮影(連続撮影)を行って、前眼部Efの撮影画像データ34を出力する。この予備撮影で得られた撮影画像データ34は、被検眼Eに対する筐体12(スマートフォン10)のアライメント状態の検出と、本撮影開始前の被検眼Eの瞬き検出と、に用いられる。なお、ここでいうアライメント状態の検出とは、光軸OAに対して垂直な光軸垂直方向におけるアライメント状態、すなわち、光軸OAと被検眼Eの基準位置(瞳孔及び角膜頂点等)とのずれ量及びずれ方向の検出である。
なお、本実施形態では、カメラ部20による瞬き検出用の予備撮影と涙液層の状態検出用の本撮影とを区別して説明しているが、両者は一つの連続した撮影であってもよい。
図3は、本撮影により得られた撮影画像データ34の概略図である。図3に示すように、撮影画像データ34には、前眼部Efに対応する前眼部像35と、前眼部Efの角膜表面で反射されたパターン光28Lの反射像36とが含まれている。そして、本実施形態のスマートフォン10は、撮影画像データ34から前眼部像35を検出した結果に基づき、被検眼Eに対するカメラ部20の上下左右方向(略光軸垂直方向)のアライメント状態の検出を行う。また、スマートフォン10は、撮影画像データ34から反射像36を検出して解析することで、前眼部Efの角膜表面上の投影範囲R1を覆う涙液層の状態を検出する。
図4は、本撮影時におけるスマートフォン10の姿勢変更を説明するための説明図である。図5は、スマートフォン10の姿勢変更後の本撮影により得られた撮影画像データ34の概略図である。
図4に示すように、ユーザがスマートフォン10の姿勢を変更、例えば光軸OAの軸周り方向に回転させることで、パターン28も同方向に回転する。これにより、前眼部Efに投影されるパターン光28Lの投影位置及び形状を変化させることができる。そして、図5に示すように、姿勢変更後の撮影画像データ34から反射像36を検出して解析することで、前眼部Efの角膜表面の中で新たな投影範囲R1を覆う涙液層の状態が検出される。これにより、ユーザは、スマートフォン10の姿勢を変更することにより、前眼部Efの角膜表面上の所望の領域の涙液層の状態をスマートフォン10に検出させることができる。
図6は、第1実施形態のスマートフォン10の電気的構成を示すブロック図である。なお、図6中では、図面の煩雑化を防止するため、スマートフォン10の各種機能に係る構成の中で、涙液層検査以外の機能に係る構成については適宜図示を省略している。
図6に示すように、スマートフォン10は、既述の表示入力部14、スピーカ16、及びマイクロホン18の他に、モーションセンサ40と、通信部42と、記憶部44と、制御部46と、を備える。
モーションセンサ40は、例えば3軸の加速度センサなどを備えており、スマートフォン10の物理的な動きを検出して、その検出結果を制御部46へ出力する。
通信部42は、移動通信網に収容された基地局装置或いはルータ装置に対して無線通信(有線通信でも可)を行うものである。これにより、通信部42は、音声データ及び画像データ等の各種データの送受信を行う。
記憶部44には、プログラム48及び涙液層の検査結果(不図示)等が記憶される。プログラム48は、スマートフォン10で涙液層の検査を行うためのアプリケーションソフトウェアである。このプログラム48は、記憶部44に予めインストールされたものであってもよいし、或いはインターネット経由で取得されたものであってもよい。
制御部46は、例えばCPU(Central Processing Unit)又はFPGA(field-programmable gate array)等を含む各種の演算部及びメモリ等から構成された演算回路であり、スマートフォン10の各部を統括制御する。
そして、制御部46は、操作パネル24に対してプログラム48の起動操作が入力された場合、記憶部44からプログラム48を読み出して実行することにより、スマートフォン10を被検眼Eの涙液層の検査装置として機能させる。この場合、制御部46は、スマートフォン10の各部を制御して、予備撮影及びアライメント状態の検出と、前眼部Efへのパターン光28Lの投影と、予備撮影及び被検眼Eの瞬き検出と、本撮影及び涙液層の状態検出と、を順番に実行させる。
制御部46は、プログラム48を実行することで、表示制御部50、音声制御部52、像取得部54、像検出部56、アライメント検出部58、指示決定部60、検査制御部62、及び状態検出部64として機能する。
表示制御部50は、表示パネル22の画像表示を制御する。この表示制御部50は、涙液層検査時に、指示決定部60、検査制御部62、及び状態検出部64等から入力される各種指示又は各種情報に基づき、表示パネル22に各種の画像又は情報を表示させる。
音声制御部52は、スピーカ16及びマイクロホン18の動作を制御する。この音声制御部52は、涙液層検査時に、指示決定部60、検査制御部62、及び状態検出部64から入力される各種指示又は情報をスピーカ16により音声出力させる。
像取得部54は、カメラ部20の撮像素子32に接続されており、撮像素子32から既述の予備撮影又は本撮影により得られた前眼部Efの撮影画像データ34を逐次取得し、取得した撮影画像データ34を像検出部56へ逐次出力する。
像検出部56は、像取得部54から予備撮影の撮影画像データ34が逐次入力された場合、撮影画像データ34ごとに、例えば公知のパターンマッチング法(テンプレートマッチング法)或いは公知の目(瞳)検出方法による解析を行って撮影画像データ34から前眼部像35を検出する。そして、像検出部56は、アライメント検出時には撮影画像データ34内での前眼部像35の位置検出結果をアライメント検出部58へ出力し、被検眼ERの瞬き検出時には撮影画像データ34から検出(抽出)した前眼部像35の画像データを検査制御部62へ出力する。
また、像検出部56は、像取得部54から本撮影の撮影画像データ34が逐次入力された場合、撮影画像データ34ごとに、パターンマッチング法等による解析を行って撮影画像データ34から前眼部像35及び反射像36を検出する。ここで、撮影画像データ34内での反射像36の姿勢は、既述の図1、図3、及び図5に示したように、スマートフォン10の姿勢に応じて変化する。このため、像検出部56は、モーションセンサ40の検出結果に基づき撮影画像データ34内での反射像36の姿勢及び形状を判別し、この判別結果に基づき撮影画像データ34から反射像36を検出する。
そして、像検出部56は、撮影画像データ34から検出した前眼部像35の画像データを検査制御部62へ出力し、撮影画像データ34から検出した反射像36の画像データを状態検出部64へ出力する。なお、前眼部像35の画像データは、後述の検査制御部62による本撮影開始後の被検眼Eの瞬き検出に用いられ、反射像36の画像データは、後述の状態検出部64による涙液層の状態検出に用いられる。
アライメント検出部58は、像検出部56から逐次入力される前眼部像35の位置検出結果に基づき、被検眼Eに対するカメラ部20のアライメント状態を検出する。例えば、アライメント検出部58は、像検出部56の検出結果から撮影画像データ34内での前眼部像35(瞳孔等)の位置を検出する。次いで、アライメント検出部58は、前眼部像35の位置検出結果と、既知のレンズ群30の設定情報とに基づき、光軸OAに対する被検眼Eの基準位置の相対的な位置ずれ方向及び位置ずれ量を検出し、この検出結果をアライメント検出結果として指示決定部60へ出力する。
指示決定部60は、アライメント検出部58から入力されるアライメント検出結果に基づき、被検眼Eとカメラ部20との相対的な位置合わせの指標となるアライメント指示を決定する。例えば、指示決定部60は、アライメント検出結果に基づき光軸OAに対して被検眼Eの基準位置が相対的に位置ずれしている場合、アライメント指示として、この位置ずれを補正可能な筐体12の位置調整指示を決定する。また、指示決定部60は、アライメント検出結果に基づき光軸OAと被検眼Eの基準位置とが略一致している場合、アライメント指示として、現在の筐体12の位置を維持させる旨の位置維持指示を決定する。
そして、指示決定部60は、決定したアライメント指示(位置調整指示又は位置維持指示)を音声制御部52に出力する。これにより、音声制御部52によるスピーカ16でのアライメント指示の音声出力が実行される。このため、指示決定部60は、スピーカ16及び音声制御部52と共に、本発明の指示部を構成する。
検査制御部62は、表示制御部50を介した表示パネル22の画面表示制御と、音声制御部52を介したスピーカ16の音声出力制御と、カメラ部20による予備撮影及び本撮影の撮影制御と行う。以下、検査制御部62による各制御について具体的に説明する。
検査制御部62は、アライメント検出前には、ユーザに対してカメラ部20を注視させる旨の注視指示を表示制御部50及び音声制御部52の少なくとも一方に出力する。これにより、表示制御部50による表示パネル22での注視指示の画面表示と、音声制御部52によるスピーカ16での注視指示の音声出力との少なくとも一方が実行される。その結果、アライメント検出前にユーザにカメラ部20を注視させることができる。
検査制御部62は、注視指示の出力後、カメラ部20を制御してアライメント検出用の予備撮影を実行させる。これにより、カメラ部20により前眼部Efが連続撮影され、カメラ部20から撮影画像データ34が像取得部54に逐次入力される。その結果、既述の像検出部56による前眼部像35の位置検出と、アライメント検出部58によるアライメント状態の検出と、指示決定部60によるアライメント指示の出力と、スピーカ16等によるアライメント指示の音声出力と、が繰り返し実行される。このため、ユーザによる手動アライメントが可能となる。
検査制御部62は、アライメントが完了した場合、すなわちアライメント検出部58のアライメント検出結果に基づき光軸OAと被検眼Eの基準位置とが略一致した場合に、表示制御部50を制御して、表示パネル22にパターン28を表示させる。これにより、表示パネル22から前眼部Efに対してパターン光28Lが投影される。なお、アライメント中はパターン28とは異なるアライメント用のパターンを表示パネル22に表示出力し、このアライメント用パターンの角膜反射像に基づきアライメントを行ってもよい。
検査制御部62は、表示パネル22にパターン28を表示させた後、ユーザに対して瞬きを行わせる旨の瞬き指示を音声制御部52に出力する。これにより、音声制御部52によるスピーカ16での瞬き指示の音声出力が実行される。その結果、本撮影の開始前にユーザに瞬きを実行させることができる。
また、検査制御部62は、瞬き指示の出力と同時に、カメラ部20を制御して瞬き検出用の予備撮影を実行させる。これにより、カメラ部20にて前眼部Efが連続撮影され、カメラ部20から撮影画像データ34が像取得部54に逐次入力される。その結果、像取得部54に新たな撮影画像データ34が入力されるごとに、像検出部56による前眼部像35の検出と、像検出部56による前眼部像35の画像データの検査制御部62への出力と、が繰り返し実行される。
そして、検査制御部62は、像検出部56から逐次入力される前眼部像35の画像データに基づき、被検眼Eの瞬き検出を行う。例えば、検査制御部62は、像検出部56から前眼部像35の検出結果が入力されるごとに、前眼部像35の画像データから被検眼Eの瞳孔の大きさを算出する。そして、検査制御部62は、瞳孔の大きさに極端な変化が生じた場合には瞬きがあったと判断する。なお、瞬きを検出する方法は各種方法が知られており(特開平9−215662号公報)、公知の任意の方法を用いてもよい。
検査制御部62は、ユーザの瞬きを検出すると、カメラ部20を制御して本撮影を実行させる。これにより、カメラ部20にて前眼部Efが連続撮影され、カメラ部20から撮影画像データ34が像取得部54に逐次入力される。その結果、像取得部54に新たな撮影画像データ34が入力されるごとに、像検出部56による前眼部像35及び反射像36の検出と、検査制御部62への前眼部像35の画像データの出力と、状態検出部64への反射像36の画像データの出力と、が繰り返し実行される。
検査制御部62は、本撮影の開始後、ユーザが再度瞬きするまで、或いは一定時間が経過するまでのいずれかの条件が満たされた場合に、カメラ部20による本撮影を終了させる。このため、検査制御部62は、本撮影開始後も像検出部56から逐次入力される前眼部像35の画像データに基づき瞬き検出を継続して行う。
状態検出部64は、本撮影の間に像検出部56から連続的に入力された反射像36の画像データを解析して前眼部Efの角膜表面を覆う涙液層の状態を検出する。
例えば、前眼部Efの角膜表面上の投影範囲R1では、パターン光28Lが涙液層の油層の表裏面で反射されることにより、角膜表面上に干渉像(干渉縞)が発生する。この干渉像は、投影範囲R1内の各位置における涙液層の油層の厚みに応じた色を有している。このため、反射像36の各位置の色を検出することで、投影範囲R1内の各位置における油層の厚みを検出することができる。従って、状態検出部64は、反射像36の画像データごとに、投影範囲R1内の各位置の色を検出することで、各位置における油層の厚みを検出する。これにより、状態検出部64は、涙液層の状態として、本撮影の開始時点から終了時点までの油層の厚みの経時変化を検出することができる。
また、状態検出部64は、油層の厚みの経時変化の検出結果に基づき、涙液層の状態として、角膜表面上で涙液層が破壊された領域であるドライスポットの形状及び形成位置等を検出することができる。そして、状態検出部64は、涙液層の状態の検出結果を涙液層の検査結果として表示制御部50と記憶部44とに出力する。これにより、涙液層の検査結果が表示制御部50により表示パネル22に表示されると共に、記憶部44に記憶される。なお、涙液層が破壊されると油層の干渉パターンが消失すると共に、水層が破壊されることにより破壊部の反射率が低下するため、反射像36の輝度変化によっても涙液層の破壊を検出することが可能となる。
[第1実施形態のスマートフォンの作用]
図7は、第1実施形態のスマートフォン10による被検眼Eの涙液層の検査の流れを示したフローチャートである(本発明の携帯端末の制御方法に相当)。
図7に示すように、ユーザはスマートフォン10の表示入力部14に対してプログラム48の起動操作を行う(ステップS1)。この操作を受けて、制御部46が記憶部44からプログラム48を読み出して実行することで、スマートフォン10による涙液層の検査が開始される。
最初に検査制御部62が注視指示を表示制御部50及び音声制御部52の少なくとも一方に出力する。これにより、表示制御部50による表示パネル22での注視指示の画面表示と、音声制御部52によるスピーカ16での注視指示の音声出力との少なくとも一方を実行されることで、ユーザ(被検眼E)にカメラ部20を注視させることができる(ステップS2)。
次いで、検査制御部62は、カメラ部20による前眼部Efの予備撮影を開始させる(ステップS3)。これにより、カメラ部20により前眼部Efが連続撮影されて、このカメラ部20から像取得部54に対して前眼部Efの撮影画像データ34が逐次出力される。そして、像取得部54による撮影画像データ34の取得と、像検出部56による前眼部像35の検出と(ステップS4)、アライメント検出部58によるアライメント状態の検出(ステップS5)及び指示決定部60へのアライメント検出結果の出力と、が実行される。
アライメント検出結果の入力を受けた指示決定部60は、光軸OAに対して被検眼Eの基準位置が相対的に位置ずれしている場合、アライメント指示としてその位置ずれを補正可能な位置調整指示を決定し、この位置調整指示を音声制御部52に出力する(ステップS6でNO)。これにより、スピーカ16でのアライメント指示(位置調整指示)の音声出力が実行される(ステップS7)。その結果、ユーザがアライメント指示に従って顔を移動させたり或いはスマートフォン10を移動させたりすることで、被検眼Eとカメラ部20との相対的な位置合わせ(手動アライメント)が実行される。
以下、光軸OAと被検眼Eの基準位置とが略一致するまで、ステップS3からステップS7の各処理が繰り返し実行される(ステップS6でYES)。そして、指示決定部60は、アライメント検出結果に基づき、光軸OAと被検眼Eの基準位置とが略一致した場合、アライメント指示として位置維持指示を決定し、この位置維持指示を音声制御部52に出力する。これにより、スピーカ16による位置維持指示の音声出力が実行されるため、ユーザはアライメントが完了したことを判別できる。
なお、光軸OAの方向における前眼部Efとカメラ部20とのアライメントについては、最初に、前眼部Efの撮像範囲が規定の範囲に収まるように音声指示を出力することで、この音声指示に従ってユーザがスマートフォン10を前後移動させたり、或いはカメラ部20のズーム機能を用いて観察範囲が規定の範囲となるよう撮像倍率を変更したりすることで、粗アライメントを行う。次いで、カメラ部20のオートフォーカス機能を利用して精密アライメントを実行する。
アライメントが完了すると、検査制御部62は、表示制御部50を制御して表示パネル22にパターン28を表示させることにより、表示パネル22にパターン光28Lを発光させる。これにより、表示パネル22から前眼部Efに対してパターン光28Lが投影される(ステップS8、本発明の投影ステップに相当)。
次いで、検査制御部62は、瞬き指示を音声制御部52に出力する。これにより、スピーカ16による瞬き指示の音声出力が実行されるので、ユーザに対して瞬きの実行を促すことができる(ステップS9)。
また、検査制御部62は、瞬き指示の出力と同時に、カメラ部20による前眼部Efの予備撮影を開始させる。これにより、カメラ部20により前眼部Efが連続撮影され、このカメラ部20から像取得部54に対して撮影画像データ34が逐次出力される。さらに、カメラ部20から撮影画像データ34が出力されるごとに、像取得部54による撮影画像データ34の取得と、像検出部56による前眼部像35の検出と、検査制御部62による瞬き検出と、が繰り返し実行される(ステップS10でNO)。
そして、検査制御部62は、被検眼Eの瞬きを検出した場合、カメラ部20による前眼部Efの本撮影を開始させる(ステップS10でYES、ステップS11、本発明の撮影ステップに相当)。これにより、カメラ部20により前眼部Efが連続的に撮影され、このカメラ部20から像取得部54に対して撮影画像データ34が逐次出力される。なお、撮影画像データ34は動画であっても良いし、或いは一定の時間間隔でキャプチャされる静止画であってもよい。
また、カメラ部20から撮影画像データ34が出力されるごとに、像取得部54による撮影画像データ34の取得と、像検出部56による前眼部像35及び反射像36の検出(ステップS12、本発明の像検出ステップに相当)と、検査制御部62による瞬き検出と、状態検出部64への反射像36の画像データの出力と、が繰り返し実行される(ステップS15でNO)。
本撮影の開始後、検査制御部62は、ユーザの再度の瞬きを検出した場合、カメラ部20による本撮影を終了させる(ステップS15でYES)。
本撮影が終了すると、状態検出部64は、像検出部56から連続的に入力された反射像36の画像データを解析して、涙液層(油層)の厚みの経時変化と、ドライスポットの形状及び形成位置と、を含む涙液層の各種状態の検出を行う(ステップS16、本発明の状態検出ステップに相当)。これにより、投影範囲R1内の涙液層の状態が検出される。この涙液層の状態検出結果は、涙液層の検査結果として、状態検出部64から表示制御部50と記憶部44とにそれぞれ出力される。そして、涙液層の検査結果が、表示パネル22に表示されると共に記憶部44に記憶される。
[第1実施形態の効果]
以上のように第1実施形態のスマートフォン10では、スマートフォン10の既存の各部材を用いて前眼部Efへのパターン光28Lの投影と、前眼部Efの撮影と、撮影画像データ34の解析(反射像36の検出及び涙液層の状態検出)とを実行可能である。このため、従来の眼科装置に設けられているようなユーザの顔を固定する装置、被検眼Eに対して照明部及び撮影部をアライメントする機構、及び撮影部の焦点調整機構などの大掛かりな機構が不要となる。その結果、ユーザは、眼科に赴かなくとも涙液層の検査を簡単に行うことができる。
[第2実施形態のスマートフォン]
図8は、第2実施形態のスマートフォン10の電気的構成を示すブロック図である。上記第1実施形態では、本撮影が実行されている間、ユーザとスマートフォン10(カメラ部20)との相対位置関係が一定に保たれていることを前提としているが、ユーザが本撮影中に顔又はスマートフォン10を動かしてしまうおそれがある。この場合、表示パネル22から前眼部Efに投影されるパターン光28Lの投影状態(投影範囲R1、及び明るさ)が変化してしまうので、例えば、前眼部Efの角膜表面上の所望の領域における涙液層の状態の経時変化を正確に検出することができない。
この際に、表示パネル22は、表示するパターン28の表示態様を任意に調整可能であり、すなわちパターン光28Lの発光態様を任意に調整可能である。そこで、第2実施形態のスマートフォン10には、本撮影中(パターン光28Lの投影開始後の予備撮影中でも可)にユーザが顔又はスマートフォン10を誤って動かしてしまった場合でも、前眼部Efに投影されるパターン光28Lの投影状態を予め定めた特定状態に維持させる機能が設けられている。
図8に示すように、第2実施形態のスマートフォン10は、制御部46が投影状態検出部70及び投影制御部72として機能する点を除けば、第1実施形態のスマートフォン10と基本的に同じ構成である。このため、上記第1実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。
第2実施形態の像検出部56は、第1実施形態の像検出部56と基本的に同じである。ただし、第2実施形態の像検出部56は、本撮影中に像取得部54から撮影画像データ34が入力されるごとに、前眼部像35及び反射像36の双方の検出結果(以下、像検出結果と略す)と、撮影画像データ34とを投影状態検出部70へ出力する。
投影状態検出部70は、本撮影中に像検出部56から像検出結果及び撮影画像データ34が入力されるごとに、この像検出結果に基づき、撮影画像データ34から前眼部Efの角膜表面に対するパターン光28Lの投影状態を検出する。このパターン光28Lの投影状態には、パターン光28Lの投影範囲R1(投影位置、大きさ、及び形状等)、及び明るさなどのように、ユーザとスマートフォン10(カメラ部20)との相対位置関係の変化に応じて変化する項目のいずれか一つが含まれている。
例えば投影状態検出部70は、上述の像検出結果に基づき、撮影画像データ34から、前眼部像35に対する反射像36の画像範囲と、反射像36の輝度とをそれぞれ判別する。次いで、投影状態検出部70は、上述の反射像36の画像範囲に基づき前眼部Efに対するパターン光28Lの投影範囲R1を検出すると共に、上述の反射像36の画素の輝度に基づきパターン光28Lの明るさを検出する。
そして、投影状態検出部70は、像検出部56から像検出結果及び撮影画像データ34が入力されるごとに、パターン光28Lの投影状態(投影範囲R1及び明るさ)の検出結果を投影制御部72へ出力する。
投影制御部72は、本撮影時中に投影状態検出部70から逐次入力されるパターン光28Lの投影状態の検出結果に基づき、このパターン光28Lの投影状態が特定の状態に維持されるように、表示パネル22から前眼部Efに投影されるパターン光28Lの投影制御を行う。なお、この特定の状態としては、メーカ等により予め定められた投影状態でもよいし、或いは本撮影の開始時に投影状態検出部70から最初に入力されたパターン光28Lの投影状態でもよく、特に限定はされない。
投影制御部72は、本撮影中に投影状態検出部70からパターン光28Lの投影状態の検出結果が入力されるごとに、投影状態と特定の状態との差分を検出する。そして、投影制御部72は、投影状態と特定の状態との差分に基づき、表示制御部50を介して表示パネル22によるパターン28の表示態様(表示範囲及び輝度)、すなわち表示パネル22によるパターン光28Lの発光態様(発光範囲及び明るさ)を調整することで、前眼部Efに投影されるパターン光28Lの投影制御を行う。
例えば投影制御部72は、パターン光28Lの投影範囲R1が特定の状態で定められている範囲とは異なる場合、双方の範囲の差分に基づき、表示制御部50を介して表示パネル22に表示されるパターン28の表示範囲(パターン光28Lの発光範囲)を調整する。これにより、表示パネル22から前眼部Efに投影されるパターン光28Lの投影範囲R1が、特定の状態で定められている範囲に調整される。
また、投影制御部72は、パターン光28Lの明るさが特定の状態で定められている明るさとは異なる場合には、双方の明るさの差分に応じて、表示制御部50を制御して表示パネル22に表示されるパターン28の輝度(明るさ)を調整する。これにより、表示パネル22から前眼部Efに投影されるパターン光28Lの明るさが、特定の状態で定められている明るさに調整される。
図9は、投影制御部72によるパターン28の表示態様の調整の第1例を説明するための説明図である。図9の符号9Aに示すように、スマートフォン10に対して被検眼Eが、既述の特定の状態を満たす位置関係から光軸OAの方向に沿ってΔLだけ相対的に位置ずれした際に、投影制御部72による投影制御を行わない場合、表示パネル22から前眼部Efに投影されるパターン光28Lの投影範囲R1が変化してしまう。
そこで、図9の符号9Bに示すように、投影制御部72は、投影状態検出部70から逐次入力されるパターン光28Lの投影状態の検出結果に基づき、パターン光28Lの投影範囲R1が位置ずれの前後で一定に維持されるように、表示制御部50を介して表示パネル22上でのパターン28の表示範囲を範囲W0から範囲W1に変更させる。
図10は、投影制御部72によるパターン28の表示態様の調整の第2例を説明するための説明図である。図10に示すように、第2例では、スマートフォン10に対して被検眼Eが、既述の特定の状態を満たす位置関係(図9の符号9A参照)から光軸垂直方向にΔhだけ相対的に位置ずれしている。この場合に投影制御部72は、投影状態検出部70から逐次入力される投影状態の検出結果に基づき、投影範囲R1が位置ずれの前後で一定に維持されるように、表示制御部50を介して表示パネル22上でのパターン28の表示範囲を範囲W0から範囲W2に変更させる。
図11は、投影制御部72によるパターン28の表示態様の調整の第3例を説明するための説明図である。図11に示すように、第3例では、スマートフォン10に対して被検眼Eが、既述の特定の状態を満たす位置関係(図9の符号9A参照)から角度θだけ相対的に傾いている。この場合に投影制御部72は、投影状態検出部70から逐次入力される投影状態の検出結果に基づき、投影範囲R1が被検眼Eの相対的な傾きの前後で一定に維持されるように、表示制御部50を介して表示パネル22上でのパターン28の表示範囲を範囲W0から範囲W3に変更させる。
また、投影制御部72は、上述の第1例から第3例において、投影状態検出部70から逐次入力される投影状態の検出結果に基づき、ユーザとスマートフォン10との相対位置関係の変化の前後で反射像36の輝度が一定に維持されるように、表示制御部50を介して表示パネル22上でのパターン28の輝度を適宜調整する。
図12は、第2実施形態のスマートフォン10による被検眼Eの涙液層の検査の流れを示したフローチャートである。なお、図9では、ステップS1からステップS12までの処理については、既述の図7に示した第1実施形態と同じであるため、適宜図示を省略している。
図12に示すように、第2実施形態のスマートフォン10では、本撮影の開始後から本撮影の終了までの間、上述の像検出部56による前眼部像35及び反射像36の検出(ステップS12)と、投影状態検出部70による投影状態の検出(ステップS13A)と、投影制御部72による投影制御(ステップS13B)と、が繰り返し実行される。
その結果、第2実施形態のスマートフォン10では、ユーザとスマートフォン10との相対位置関係が変化した場合でも、投影制御部72による投影制御によって、表示パネル22から前眼部Efに投影されるパターン光28Lの投影状態(投影範囲R1及び明るさ)が特定の状態、すなわち一定状態に維持される。これにより、涙液層の各種状態の経時変化を正確に検出することできる。
[第3実施形態のスマートフォン]
図13は、上記各実施形態のスマートフォン10において表示パネル22から前眼部Efに投影されるパターン光28Lの照度分布を説明するための説明図である。
図13に示すように、表示パネル22は一定の面積を有している。このため、表示パネル22の表示面上の各位置P(図中では2点のみ例示)から発光されるパターン光28Lが前眼部Efに入射する入射角度θiが、表示面上の位置Pごとに変化してしまう。そして、各位置Pから前眼部Efに入射するパターン光28Lの強度(光度)は、各位置Pの入射角度θiに応じてCOS(θi)で減ぜられる。これにより、前眼部Efに投影されるパターン光28Lの強度が位置Pごとに変化するため、前眼部Efに投影される反射像36の照度分布が不均一となり、例えば、反射像36の周辺部ほど暗くなってしまう。その結果、反射像36の画像データから涙液層の状態が正確に検出されないおそれがある。
そこで、第3実施形態のスマートフォン10では、本撮影中(パターン光28Lの投影開始後の予備撮影中でも可)に、角膜にて反射されたパターン光28Lの反射像(反射光)の撮像素子32上での照度分布が均一になるように、表示パネル22に表示されるパターン28の表示制御を行う。
図14は、第3実施形態のスマートフォン10の電気的構成を示すブロック図である。図14に示すように、第3実施形態のスマートフォン10は、制御部46が照度分布検出部76として機能する点を除けば、上記第1実施形態のスマートフォン10と基本的に同じ構成である。このため、上記第1実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。
第3実施形態の像検出部56は、第1実施形態の像検出部56と基本的に同じものである。ただし、第3実施形態の像検出部56は、本撮影中に像取得部54から撮影画像データ34が入力されるごとに、撮影画像データ34から検出した反射像36の画像データを照度分布検出部76へ出力する。
照度分布検出部76は、本撮影中に像検出部56から反射像36の画像データが入力されるごとに、反射像36の画像データを解析してその画素ごとの照度を検出することで反射像36の照度分布を検出する。そして、照度分布検出部76は、反射像36の照度分布を検出するごとに、その検出結果を表示制御部50へ出力する。
第3実施形態の表示制御部50は、本撮影中に照度分布検出部76から反射像36の輝度分布の検出結果が入力されるごとに、この反射像36の照度分布が均一になるように、表示パネル22に表示されるパターン28の表示制御を実行して、パターン28の画素ごとの輝度調整を行う。
例えば、表示制御部50は、反射像36の照度分布に基づき、反射像36の中で輝度調整を要する対象画素領域を判別する判別処理と、表示パネル22に表示されているパターン28の各画素の中で対象画素領域に対応する画素の輝度を調整する輝度調整処理と、を行う。なお、輝度調整処理は、表示パネル22が液晶ディスプレイである場合には液晶素子の透過率の調整を行い、表示パネル22が有機ELディスプレイである場合には発光素子の発光強度の調整を行う。
図15は、第3実施形態のスマートフォン10による被検眼Eの涙液層の検査の流れを示したフローチャートである。なお、図15では、ステップS1からステップS12までの処理については、既述の図7に示した第1実施形態と同じであるため、適宜図示を省略している。
図15に示すように、第3実施形態のスマートフォン10では、本撮影の開始後から本撮影の終了までの間、上述の像検出部56による前眼部像35及び反射像36の検出(ステップS12)と、照度分布検出部76による照度分布の検出(ステップS14A)と、表示制御部50による表示制御(ステップS14B)と、が繰り返し実行される。
その結果、第3実施形態のスマートフォン10では、取得する前眼部Efの画像中の反射像36の照度分布を均一化することができる。また、本撮影中にステップS12からステップS14Bの処理を繰り返し実行することで、仮に本撮影中にユーザが顔又はスマートフォン10を動かしてしまった場合でも、反射像36の照度分布が均一化されている状態が維持される。
[第4実施形態のスマートフォン]
図16は、第4実施形態のスマートフォン10の正面図である。上記各実施形態のスマートフォン10では、涙液層検査時にユーザに対してカメラ部20を注視させている。これに対して、図16に示すように、第4実施形態のスマートフォン10では、アライメント検出前から本撮影が終了するまでの間、検査制御部62が表示制御部50を制御して、表示パネル22に固視標78を表示させる。これにより、涙液層の検査中、ユーザに固視標78を固視させることができる。
なお、第4実施形態のスマートフォン10は、表示パネル22で固視標78の表示を行う点を除けば、上記各実施形態のスマートフォン10と基本的に同じ構成である。このため、上記各実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。
また、この際に、第4実施形態の表示制御部50は、アライメント検出部58によるアライメント検出結果(指示決定部60によるアライメント指示)に基づき、表示パネル22に表示出力させる固視標78の表示態様(色又は形状等)を変化させる。この場合、表示パネル22は本発明の指示部として機能する。
例えば、表示制御部50は、被検眼Eに対してカメラ部20がアライメントされている場合には緑色の固視標78を表示パネル22に表示させる。また、表示制御部50は、カメラ部20がアライメント位置から任意の一方向側にずれている場合には青色の固視標78を表示パネル22に表示させ、カメラ部20がアライメント位置から一方向側とは反対の他方向側にずれている場合には赤色の固視標78を表示パネル22に表示させる。なお、緑色、青色、及び赤色の固視標78を表示パネル22に表示させる代わりに、点状、リング状、及びクロス状の固視標78を表示パネル22に表示させてもよい。また、ずれた方向及び移動する方向を示す形状(矢印や三角形)などを固視標78として表示パネル22に表示させてもよい。
このように、第4実施形態では、アライメント検出部58によるアライメント検出結果に応じて、表示パネル22に表示させる固視標78の表示態様を変化させることで、ユーザがアライメント状態を容易に把握することができる。その結果、被検眼Eに対してカメラ部20がアライメントされるようにユーザを誘導することができる。
[第5実施形態のスマートフォン]
図17は、第5実施形態のスマートフォン10の正面図である。図5に示すように、第5実施形態のスマートフォン10は、表示パネル22として液晶ディスプレイ22Aが用いられ、且つカメラ部20の前面に偏光板80が設けられている点を除けば、上記各実施形態のスマートフォン10と基本的に同じ構成である。このため、上記各実施形態と機能又は構成上同一のものについては、同一符号を付してその説明は省略する。
液晶ディスプレイ22Aは、公知のように、多数の液晶素子が二次元配列された液晶パネルを一対の偏光フィルタで挟み込んだ構造を有している。このため、液晶ディスプレイ22Aから前眼部Efに向けて投影されるパターン光28Lは、偏光フィルタを透過することで、特定の偏光方向に偏光された直線偏光となる。
第5実施形態のカメラ部20は、偏光板80を通して前眼部Efの撮影を行う。この偏光板80は、パターン光28Lの偏光方向と同一(略同一を含む)の偏光方向の光のみを透過させる。ここで、前眼部Efの角膜表面で正反射されたパターン光28Lの正反射光は、角膜表面で正反射されているため、その偏光状態は崩れていない。このため、正反射光は、偏光板80を透過してカメラ部20に入射する。
一方、瞼及び前眼部Efの虹彩等によるパターン光28Lの反射は拡散反射となるので、瞼及び虹彩等でのパターン光28Lの反射光はその偏光状態が崩れてしまう。このため、この反射光には、偏光板80を透過することができない偏光成分が含まれる。その結果、カメラ部20に入射する瞼及び虹彩等でのパターン光28Lの反射光の一部を偏光板80により減光させることができるので、この反射光の散乱成分に起因するノイズの発生が軽減される。これにより、高品質な撮影画像データ34が得られるので、涙液層の状態検出の精度が向上する。
[その他]
上記各実施形態で説明したスマートフォン10の機能又は構成を適宜組み合わせてもよい。
図18は、上記各実施形態の制御部46の変形例を示したブロック図である。上記各実施形態では涙液層の状態検出までを実行しているが、例えば図18に示すように、制御部46を判定部82としても機能させてもよい。この判定部82は、状態検出部64により検出された涙液層の状態検出結果と、予め定めたドライアイの診断基準とを比較して、被検眼Eが専門家の診断を要する状態であるか否かを判定する。そして、判定部82は、判定結果を表示制御部50へ出力する。これにより、判定部82による判定結果が、表示制御部50によって表示パネル22に表示される。
また、判定部82は、被検眼Eが専門家の診断を要する状態であると判定した場合、ユーザの承認操作を経た後、撮影画像データ34及び涙液層の検査結果等を、通信部42から所定の医療機関のサーバ等に向けてデータ送信させる。
上記各実施形態では、本発明の発光部として表示パネル22、すなわち表示装置を例に挙げて説明したが、例えば照明光源等の各種発光部を用いてもよい。また、上記各実施形態では、パターン光28Lとして白色光を例に挙げて説明したが、白色以外の各色の光、或いは点滅光(点滅するごとに色が変化してもよい)等の任意の光であってもよい。
上記実施形態では、本発明の撮影部としてカメラ部20(インカメラ)を例に挙げて説明したが、電子撮影機能を有するものであれば特に限定はされない。
上記各実施形態では、例えば図7に示したように状態検出部64による解析(涙液層の条件検出)を本撮影後に実行しているが、本撮影で新たな撮影画像データ34が撮影されるごとに状態検出部64による解析を実行してもよい。
上記各実施形態では、涙液層の状態として、涙液層の厚みと、ドライスポットの形状及び形成位置とを検出する場合を例に挙げて説明したが、例えば、涙液層破壊時間等の涙液層の他の状態を検出してもよい。
上記各実施形態では、本発明の携帯端末としてスマートフォン10を例に挙げて説明したが、携帯電話機、タブレット端末、携帯型のパーソナルコンピュータ、及び自撮り撮影が可能なデジタルカメラ等のような撮影部及び発光部(表示装置)を有する各種の携帯端末に本発明を適用することができる。