JP2005094185A - 画像処理システム、画像処理装置、および撮像制御方法 - Google Patents

Abstract

【課題】遠隔地より人間をはじめとする種々の対象物について詳細な検査を容易に可能とする技術を提供する。
【解決手段】ユーザの爪について、ＲＧＢの３つの波長域のそれぞれにおける分光成分に応じた３波長域画像データを取得する。この３波長域画像データに基づいたＲＧＢの画素値と、健常者の爪の色の平均値である基準値とを比較する。比較の結果、ＲＧＢについて差分が所定値（１５階調）よりも大きな場合は、より詳細な画像情報を得るために、同じ構図で５つの波長域のそれぞれにおける分光成分に応じた５波長域画像データを取得する。そして、５波長域画像データに基づいて爪の分光反射率を算出し、さらに、Ｌａｂ測色値に変換して、健常者の爪の色を示す基準範囲と比較することにより、ユーザの健康状態の検査を実施し、検査結果（診断結果）をユーザに伝える。
【選択図】図９

Description

被写体に係る光学像に基づいて撮影画像を取得する撮像手段を有する画像処理システム、画像処理装置、および撮像制御方法に関する。

近年、高齢化社会などを反映して、老人の在宅医療などの現場において、遠隔地より老人の様子を見守るための手法が種々提案されている。

例えば、老人の体に装着される種々の計測機器より、血圧、体温、および脈拍などといったバイタルサインに関する情報をネットワークを介して受信し、遠隔地より健康診断を行うものが考えられる。そして、このようなバイタルサインを計測する機器の正しい装着状況などを遠隔地より確認するため、日常的にカメラを用いて監視するような技術が提案されている（例えば、特許文献１）。

このような技術に関する先行技術文献としては、以下のようなものがある。

特開平１１−１５５８２３号公報

上記背景技術において提案されている技術では、バイタルサインなどごく簡単な数値に基づいた診断しか行うことができず、通常医者が往診などにおいて患者の種々の部位を視認しつつ行うような診断・検査を行うことができない。

そして、このような問題は、検査対象が老人に代表される人間などの場合に限られず、検査対象が、植物などの種々の生命体や工業的に生産される種々の部品などといった検査対象となり得るものである場合一般に共通する。

本発明は、上記課題に鑑みてなされたものであり、遠隔地より人間をはじめとする種々の対象物について詳細な検査を容易に可能とする技術を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、被写体に係る光学像に基づいて画像データを取得する画像入力装置と、ネットワークを介して前記画像入力装置とデータ送受信可能に接続されるサーバとを備えた画像処理システムであって、前記画像入力装置が、被写体の光学像から、所定数の波長域のそれぞれにおける第１の分光成分に応じた第１の画像データを取得する第１の撮像手段と、前記被写体の光学像から、前記所定数よりも多数の波長域のそれぞれにおける第２の分光成分に応じた第２の画像データを生成するための画像情報を取得可能な第２の撮像手段とを有し、前記サーバが、前記第１の画像データに基づいて得られる第１の対象値と所定の第１の基準値とを比較する比較手段と、前記比較手段による比較結果に応じて前記第２の撮像手段を選択的に能動化させて前記画像情報を得るように制御する制御手段とを有することを特徴とする。

また、請求項２の発明は、請求項１に記載の画像処理システムであって、前記サーバが、前記第２の撮像手段によって取得される前記画像情報から前記第２の画像データを生成する生成手段と、前記第２の画像データに基づいて得られる第２の対象値と所定の第２の基準値とを比較することによって、前記被写体の状況に異状が発生しているか否かを判別する判別手段とを備えることを特徴とする。

また、請求項３の発明は、請求項２に記載の画像処理システムであって、前記サーバが、前記制御手段によって前記第２の撮像手段が能動化された際に、前記第１の対象値と前記判別手段による判別結果とに基づいて、前記第１の基準値を更新する更新手段をさらに備えることを特徴とする。

また、請求項４の発明は、請求項１から請求項３のいずれかに記載の画像処理システムであって、前記被写体が人間の身体の特定部位であり、前記第１の基準値が、前記特定部位の外観に基づく異状判別の基準値として設定されていることを特徴とする。

また、請求項５の発明は、請求項１から請求項４のいずれかに記載の画像処理システムであって、所定のタイミングにおいて、前記第１の撮像手段による前記第１の画像データの取得を行うように警告を発する警告手段をさらに備えることを特徴とする。

また、請求項６の発明は、画像処理装置であって、被写体の光学像から、所定数の波長域のそれぞれにおける第１の分光成分に応じた第１の画像データを取得する第１の撮像手段と、前記被写体の光学像から、前記所定数よりも多数の波長域のそれぞれにおける第２の分光成分に応じた第２の画像データを生成するための画像情報を取得可能な第２の撮像手段とを有し、前記サーバが、前記第１の画像データに基づいて得られる対象値と所定の基準値とを比較する比較手段と、前記比較手段による比較結果に応じて前記第２の撮像手段を選択的に能動化させて前記画像情報を得るように制御する制御手段とを備えることを特徴とする。

また、請求項７の発明は、分光可能な波長域の数が比較的少ない第１の撮像手段と、分光可能な波長域の数が比較的多い第２の撮像手段を備えた画像処理装置を制御する方法であって、前記第１の撮像手段を能動化することによって、被写体の光学像から、比較的少ない数の波長域のそれぞれにおける第１の分光成分に応じた第１の画像データを取得するステップと、前記第１の画像データに基づいて得られる対象値と所定の基準値とを比較するステップと、前記比較手段による比較結果に応じて前記第２の撮像手段を能動化し、それによって、前記被写体の光学像から、比較的多い数の波長域のそれぞれにおける第２の分光成分に応じた第２の画像データを取得するステップとを備えることを特徴とする。

請求項１に記載の発明によれば、第１の撮像手段によって比較的少ない数の波長域のそれぞれにおける分光成分に応じた第１の画像データを取得し、その第１の画像データに基づいた対象値と所定の基準値とを比較し、その比較結果に応じて、第２の撮像手段を能動化させ、比較的数の多い波長域のそれぞれにおける分光成分に応じた第２の画像データを生成するための画像情報を取得することで、遠隔地より人間をはじめとする種々の対象物について詳細な検査を容易に可能とする技術を提供することができる。

特に、請求項２に記載の発明によれば、比較的数の多い波長域のそれぞれにおける分光成分に応じた第２の画像データに基づいて得られる対象値と所定の基準値とを比較することによって、被写体の状況に異状が発生しているか否かを判別するため、詳細な検査を容易に実施できる。

また、請求項３に記載の発明によれば、第２の撮像手段が能動化された際に、第１の画像データに基づいて得られる対象値と、第２の画像データに基づいた異状発生の有無についての判別結果とに基づいて、第１の画像データに基づいて得られる対象値と比較する基準値を更新するため、比較的数の多い波長域のそれぞれにおける分光成分に応じた第２の画像データを取得するための撮影を行うか否か精度良く判断することができる。

また、請求項４に記載の発明によれば、被写体を人間の身体の特定部位とし、第１の画像データに基づいて得られる対象値と比較する基準値が、人間の身体の特定部位の外観に基づく異状判別の基準値として設定されているため、遠隔地より人間の詳細な検査を容易に実施することができる。

また、請求項５に記載の発明によれば、予め決まったタイミングで比較的数の少ない波長域のそれぞれにおける分光成分に応じた第１の画像データを取得するように警告を行うため、検査を正確に実施することができる。

また、請求項６に記載の発明によれば、請求項１に記載の発明と同様な効果を奏することができる。

また、請求項７に記載の発明によれば、請求項１に記載の発明と同様な効果を奏することができる。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．画像処理システムの概要＞
図１は、本発明の実施形態に係る画像処理システム１の概要を例示する図である。

図１に示す画像処理システム１では、デジタルカメラ等によって構成される画像入力装置１００Ａがローカルサーバ２００Ａを介してネットワーク５００に対してデータ送受信可能に接続されている。また、各種画像処理等を行うためのネットワークサーバ６００がネットワーク５００に対してデータ送受信可能に接続されている。つまり、画像入力装置１００Ａとネットワークサーバ６００とがネットワークを介してデータを相互に送受信することができるように接続されている。

ここで、「ネットワーク」とは、データ通信を行う通信回線網であり、具体的には、インターネット、ＬＡＮ、ＷＡＮ、ＣＡＴＶなどの、電気通信回線（光通信回線を含む）により構成される各種の通信回線網である。ネットワークに対する接続形態は、専用回線などを利用した常時接続であってもよいし、アナログ回線あるいはデジタル回線（ＩＳＤＮ）などの電話回線を利用したダイアルアップ接続などの一時的な接続のいずれであってもよい。また、その伝送方式は、無線方式および有線方式のいずれであってもよい。

更に、ネットワーク５００に対して、画像入力装置１００Ａおよびローカルサーバ２００Ａと同様な構成の画像入力装置１００Ｂ〜１００Ｅおよびローカルサーバ２００Ｂ〜２００Ｅがそれぞれデータ送受信可能に接続されている。

図１に示す画像処理システム１は、例えば、独居老人向けの在宅医療などの現場に用いられ、各画像入力装置１００Ａ〜１００Ｅおよびローカルサーバ２００Ａ〜２００Ｅは、それぞれ、一組として各独居老人宅等に設置されている。具体的には、画像入力装置１００Ａおよびローカルサーバ２００Ａがある独居老人宅に設置されている。

画像入力装置１００Ａ〜１００Ｅおよびローカルサーバ２００Ａ〜２００Ｅの各組合せは、各々同様な機能構成等を有するため、以下、画像入力装置１００Ａおよびローカルサーバ２００Ａの一組を例にとって説明する。

画像入力装置１００Ａは、上述したように、独居老人宅において所定の場所に設置されるが、具体的には、一般家庭における画像入力装置１００Ａの設置場所としては、洗面所、リビング、寝室、玄関などの任意の場所でかまわない。但し、後述する健康診断においては、毎日一定時刻など、所定のタイミングで健康状態の検査（診断）を行うことが、健康診断の精度アップに資する。そのため、画像入力装置１００Ａの設置場所は、毎日一定時間帯に行く用事が発生するような場所に設置されることが好ましい。

画像入力装置１００Ａは、静止画像を取得するものであり、監視カメラのように常時監視するような類のものではないため、プライバシーを不必要に侵害するような問題は生じない。なお、画像入力装置１００Ａとしては、後述するようにＲＧＢの３つの色成分（３つの波長域）の画素値からなる画像データを取得する一般的なデジタルカメラとほぼ同様なものとなっている。

また、ネットワークサーバ６００は、ＣＰＵと、各種データやプログラム等を格納するＲＯＭやハードディスクなどを備えて構成される記憶部などとを備えて構成され、記憶部に格納されるプログラムをＣＰＵが読み出して実行することで、各種機能や動作が実現される。

＜２．画像入力装置の概要＞
図２は、本発明の実施形態に係る画像入力装置１００Ａの外観構成を例示する斜視図である。

レンズユニット１１は、複数のレンズを有するレンズ系１１１、レンズ系１１１によって結像される被写体に係る光学像に基づいて画像を取得するＣＣＤ１１２、および被写体からの光（反射光）をレンズ系１１１からＣＣＤ１１２へと導く光路に対して挿入および退避されるフィルタ３２を有する。

レンズ系１１１は、複数のレンズのレンズ位置を変更することにより、一般的なズームやオートフォーカス（ＡＦ）の動作を実現する。

ＣＣＤ１１２は、被写体に係る光学像が結像される受光部を有する。この受光部は、図３に示すようなＲ（赤）．Ｇ（緑），Ｂ（青）の色成分に対応する波長域の光をそれぞれ透過するカラーフィルタが各画素に対応するように市松模様に配列された、いわゆるベイヤ配列を有している。図３では、３つの色成分全てを含む２×２のフィルタ配列（以下、「単位セル」と称する）のみを示しているが、実際には、数百万画素分に対応するフィルタが配列される。なお、以下では、Ｒの光を透過するフィルタを「Ｒフィルタ」、Ｇの光を透過するフィルタを「Ｇフィルタ」、Ｂの光を透過するフィルタを「Ｂフィルタ」と称し、ＲＧＢフィルタが配列された画素をそれぞれ「Ｒ画素」「Ｇ画素」「Ｂ画素」と称する。

そして、ＣＣＤ１１２は、被写体に係る光学像を、ＲＧＢの色成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。つまり、ＣＣＤ１１２は、被写体の光学像を、ＲＧＢの３つの波長域のそれぞれにおける分光成分に応じた画像信号（画像データ）を変換し、出力する。ＣＣＤ１１２から出力される画像信号は本体部１２へと送られる。つまり、画像入力装置１００Ａは、ＣＣＤ１１２により、被写体に係る光学像に基づいて画像データを取得する。

また、フィルタ３２は、後述するような所定の光透過特性を有し、その光透過特性により、フィルタ３２が光路に対して挿入されている場合と退避されている場合とで、Ｒ，Ｂ画素で光電変換の対象となる光の波長域が変換する。更に、レンズユニット１１には、操作者が被写体（撮影対象）を捉えるためのファインダ１１３が設けられる。

本体部１２には、シャッタスタートボタン（シャッタボタン）１２２が設けられ、操作者がファインダ１１３を介して被写体を捉え、シャッタボタン１２２を操作することにより、ＣＣＤ１１２にて電気的に画像（画像データ）が取得される。

また、レンズユニット１１には、図４に外観が例示されているような汎用のフラッシュ装置１２１が外部より装着されている。具体的には、レンズ系１１１にフラッシュ装置１２１の円筒状の部分１１１Ａが嵌合されて固定されている。また、フラッシュ装置１２１が有する２つの発光部１２１Ａ，１２１Ｂに対してそれぞれ電力および発光制御信号を伝達するための２つのアダプタＡＡ，ＡＢが本体部１２の図示を省略する端子に着装される。そして、画像データ取得時において、必要に応じてフラッシュ装置１２１が発光する。なお、フラッシュ装置１２１の発光部１２１Ａ，１２１Ｂは、いわゆる標準光源Ｄ₅₀の光を被写体に照射するように設計されている。

また、本体部１２の側面には、本体部１２とローカルサーバ２００Ａとの間でデータの送受信を行うための通信ケーブルを着装するケーブル着装部１２５が設けられる。つまり、ＣＣＤ１１２で取得される画像データは、画像入力装置１００Ａ内で必要な処理が行われた上で、ケーブル着装部１２５、通信ケーブル、ローカルサーバ２００Ａ、およびネットワーク５００を介して、ネットワークサーバ６００に送信可能となっている。

また、一般的なデジタルカメラと同様に、ＣＣＤ１１２からの画像データは本体部１２内部にて後述する処理が行われ、必要に応じて本体部１２に装着されている記録媒体１２３（いわゆる、メモリカード）に記録される。記録媒体１２３は本体部１２下面の蓋を開けて取出ボタン１２４を操作することにより本体部１２から取り出される。

更に、本体部１２の背面には液晶のディスプレイ、操作ボタン等が設けられ、操作者が画面（ライブビュー）を見ながらボタンを操作することにより所望の入力操作が行われる。なお、上述したシャッタボタン１２２および操作ボタンをまとめて、以下、必要に応じて「操作部」と総称する。そして、ここでは、操作者が操作部等を種々操作することにより、後述する健康診断を行うための一連の撮影動作が行われる。

また、画像入力装置１００Ａの前面には、スピーカＳＰとランプＬＰとが設けられている。

＜３．画像入力装置の機能構成＞
図５は、本発明の実施形態に係る画像入力装置１００Ａの機能構成を示すブロック図である。図５では、画像入力装置１００Ａの機能構成のうち、主に健康診断を行うための一連の撮影動作に係る機能構成について示している。

図５に示す構成のうち、レンズ系１１１、ＣＣＤ１１２、Ａ／Ｄ変換部１１５、操作部２６、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３は画像を取得する機能を実現する。すなわち、レンズ系１１１により被写体に係る光学像がＣＣＤ１１２の受光面上に結像され、操作部２６に含まれるシャッタボタン１２２が押下されるとＣＣＤ１１２からの画像データがＡ／Ｄ変換部１１５によりデジタル変換される。なお、Ａ／Ｄ変換部１１５では、例えば、０から１０２３の１０２４階調で各色成分の画素値を示す１０ビットのデジタル画像データに変換される。Ａ／Ｄ変換部１１５で変換されたデジタル画像データは本体部１２のＲＡＭ２３に一時的に記憶される。また、必要に応じ、被写体からの光をレンズ系１１１からＣＣＤ１１２へと導く光路に対して、フィルタ３２が挿入された状態（以下、「フィルタＯＮ状態」と称する）および光路から退避された状態（以下、「フィルタＯＦＦ状態」と称する）に設定することができる。また、レンズ系１１１に含まれる複数のレンズの位置が変更されることで、ズームやＡＦを実現する。なお、これらの動作・処理の制御はＣＰＵ２１がＲＯＭ２２内に記憶されているプログラム２２１に従って動作することにより行われる。

ＲＡＭ２３に一時的に記憶された画像データは、ケーブル着装部１２５などを介して、ローカルサーバ２００Ａに送信される。つまり、画像入力装置１００Ａにおいて取得される画像データが、ローカルサーバ２００Ａ、ネットワーク５００等を介して、ネットワークサーバ６００に送信可能となっている。なお、ネットワークサーバ６００では、画像入力装置１００Ａから送信される画像データを解析することで、後述する健康診断を行うことができる。画像入力装置１００Ａとネットワークサーバ６００等との間におけるデータ送受信は、ＣＰＵ２１で実行されるプログラム２２１などによって制御される。

フィルタ３２が光路に対して挿入および退避される場合については、後述する健康診断の動作において説明するが、フィルタ３２の挿入時および退避時にそれぞれ取得されるＲＧＢの３つの波長域ごとのデータからなる画像データ（すなわち、ＲＧＢの３つの波長域のそれぞれにおける分光成分に応じた画像データ）（以下、「３波長域画像データ」と称する）を、ネットワークサーバ６００が受信し、ネットワークサーバ６００において、例えば５つの異なる光の波長域ごとのデータからなる画像データ（すなわち、５つの波長域のそれぞれにおける分光成分に応じた画像データ）（以下、「５波長域画像データ」と称する）を生成することができる。つまり、フィルタ３２の挿入、退避によって、単にフィルタ３２の退避時（通常撮影時）において取得される画像データよりも比較的数の多い波長域のそれぞれにおける分光成分に応じた画像データを取得することができる。

なお、以下では、３および５波長域画像データを取得する撮影をそれぞれ「３波長域撮影」および「５波長域撮影」と称する。

よって、ＣＣＤ１１２などが、人間の身体の特定部位等といった被写体の光学像から、所定数（ここでは、ＲＧＢの３つ）の波長域のそれぞれにおける分光成分に応じた第１の画像データ（ここでは、３波長域画像データ）を取得する手段として機能するとともに、所定数（ここでは、ＲＧＢの３つ）よりも多数（ここでは、５つ）のそれぞれにおける分光成分に応じた第２の画像データ（ここでは、５波長域画像データ）を生成するための画像情報（ここでは、３および５波長域画像データ）を取得する手段として機能する。言い換えれば、画像処理システム１は、分光可能な波長域の数が比較的少ない３波長域撮影と、分光可能な波長域の数が比較的多い５波長域撮影を実施可能な機能を有する。

なお、「特定被写体（または、被写体）」という文言は、撮影対象となる特定ユーザの身体の特定部位を示す場合と、世間一般の身体の特定部位を示す場合とがある。

また、ネットワークサーバ６００では、例えば、５波長域画像データより、被写体の正しい色（照明条件に左右されない物体色、すなわち分光反射率）を算出することができる。５波長域画像データの生成および分光反射率の算出方法などについては後述する。

また、必要に応じ、一般的なデジタルカメラと同様に、本体部１２のＣＰＵ２１において、取得された画像データに対し、色バランス補正処理や圧縮処理等の各種画像処理を行い、記録媒体１２３に記録することもできる。なお、健康診断を行うための撮影動作においては、フラッシュ装置１２１からの標準光によって照射される被写体の色を正確に認識するために、色バランス補正処理は行われない。

また、本体部１２は、記録媒体１２３に記録される画像データを読出して生成される再生画像やライブビュー画像などを表示するディスプレイ２５を有している。また、本体部１２には、スピーカＳＰおよびランプＬＰが設けられており、ＣＰＵ２１で実行されるプログラム２２１にしたがって、その動作が制御される。ここでは、健康診断の精度アップのために、スピーカＳＰから音声によるお知らせアラームを発生させたり、ランプＬＰを点滅させたりして、毎日所定のタイミングで健康診断用の撮影を行うように促す。つまり、スピーカＳＰやランプＬＰなどが、所定のタイミングにおいて、３波長域撮影によって３波長域画像データの取得を行うように警告を発する。このような警告を発することで、予め決まったタイミングで３波長域画像データを取得することができるため、健康状態などの検査を正確に実施することができる。なお、所定タイミングは、本体部１２内に内臓されるリアルタイムクロック（不図示）とＣＰＵ２１などが協働することで管理、計測することができる。

＜４．５波長域画像データの生成方法＞
ここでは、５波長域画像データを生成するために、フィルタＯＮ状態における３波長域画像データ（以下、「フィルタＯＮ画像データ」と称する）とフィルタＯＦＦ状態における３波長域画像データ（以下、「フィルタＯＦＦ画像データ」と称する）とを取得する。そして、２つの３波長域画像データ（フィルタＯＮ／ＯＦＦ画像データ）から分光する波長域数を増加させた５波長域画像データを生成する。

図６は、５波長域画像データの生成方法を説明するための図である。図６では、ある単位セルに着目し、フィルタＯＦＦ状態においてＲ，Ｇ，Ｂ画素で受光される光の強度と光の波長との関係をそれぞれ曲線Ｒ０，Ｇ０，Ｂ０で示し、フィルタＯＮ状態においてＲ，Ｂ画素で受光される光の強度と光の波長との関係をそれぞれ曲線Ｒ１，Ｂ１で示し、併せて、フィルタ３２の光透過率特性（フィルタ３２を透過する光の強度と光の波長との関係）が曲線Ｆ０で示されている。

曲線Ｆ０は、曲線Ｒ０，Ｂ０をそれぞれ２つに分断するようなものとなっている。よって、Ｒ画素については、フィルタＯＮ状態でフィルタ３２およびＲフィルタを透過して受光される光の強度と波長との関係は、曲線Ｒ０とはピーク位置が異なる曲線Ｒ１で示されるようなものとなる。同様に、Ｂ画素については、フィルタＯＮ状態でフィルタ３２およびＢフィルタを透過して受光される光の強度と波長との関係は、曲線Ｂ０とはピーク位置が異なる曲線Ｂ１で示されるようなものとなる。そして、ＲおよびＢ画素について、フィルタＯＦＦ状態とフィルタＯＮ状態とにおける受光強度の差分は、それぞれ曲線Ｒ１，Ｂ１とはピーク位置が異なる曲線Ｒ２，Ｂ２で示されるようなものとなる。

しがたって、あるセルのＲ，Ｂ画素について、フィルタＯＦＦ画像データからフィルタＯＮ画像データを減算することで、曲線Ｂ２，Ｒ２に対応する画像データ（画素値）を得ることができる。すなわち、２つの３波長域画像データであるフィルタＯＦＦおよびＯＮ（ＯＦＦ／ＯＮ）画像データに基づいて、曲線Ｒ１，Ｒ２，Ｇ０，Ｂ１，Ｂ２に対応する５つの波長域のそれぞれにおける分光成分に応じた画像データ（５波長域画像データ）を生成することができる。つまり、１つのセルで捉えられる略同一の位置について、５種類の異なる波長域に関する画像データを得ることができる。

以下、フィルタ３２とＲフィルタの双方を光が透過する際の光の透過率を「Ｒ１分光透過率」と称し、Ｒフィルタの光の透過率（以下「Ｒ０分光透過率」）とＲ１分光透過率との差分を「Ｒ２分光透過率」と称し、フィルタ３２とＢフィルタの双方を光が透過する際の光の透過率を「Ｂ１分光透過率」と称し、Ｂフィルタの光の透過率（以下「Ｂ０分光透過率」）とＢ１分光透過率との差分を「Ｂ２分光透過率」と称し、Ｇフィルタの光の透過率を「Ｇ０分光透過率」と称する。なお、これらＲ１，Ｒ２，Ｇ０，Ｂ１，Ｂ２分光透過率は、フィルタ３２，ＲＧＢフィルタの特性の初期設定によって一義的に定まる。

そうすると、ここでは、ＣＣＤ１１２内の各セルは、被写体からの反射光のうち、異なる波長域に対応するＲ１，Ｒ２，Ｇ０，Ｂ１，Ｂ２分光透過率を有する５つのフィルタを透過する透過光の強度を、それぞれ測定したのと同じ結果を得ることができ、その結果、５つの異なる波長域にそれぞれ対応する分光成分、すなわち、５つの画像データ（撮影画像）を得ることができる。このように、画像入力装置１００Ａでは、一般的なデジタルカメラにフィルタ３２を光路に対して挿入／退避させることができる機構を単純に付加するだけで、例えば、５波長域画像データなどのように、比較的多数の波長域のそれぞれにおける分光成分に応じた画像データを生成することができる。

なお、ここでは、ネットワークサーバ６００において、２つの３波長域画像データから５波長域画像データが生成されるが、この動作についてはさらに後述する。

＜５．分光反射率の算出方法＞
上述した５波長域画像データに基づいて、一般的な手法によって、分光反射率を算出することができるが、ここで、一般的な分光反射率の算出方法の一例について説明する。

上述したように、画像処理システム１では、５つの異なる波長域に対応する５つの画像データを得ることができる。言い換えれば、第１〜第５番目の異なる波長域に対応する撮影画像を得ることができる。なお、以下では、より一般化した形で、ｍ個の異なる波長域に対応するｍ個の画像データを取得した場合について説明する。

ＣＣＤ１１２の各セルでは、第１〜第ｍ番目（ここでは、ｍ＝５）の波長域に対応する受光強度（センサ応答）ｖ_i（ｉ＝１，...，ｍ）が測定される。なお、以下では、各セルを１つの画素として考え、１つの画素について受光強度ｖ_i（ｉ＝１，...，ｍ）が測定されるものとして説明する。

受光強度ｖ_iは、各画像内の各画素位置（ｘ，ｙ）における画素値として取得されるため、各座標値ｘ，ｙの関数となる。

第ｉ番目の波長域（ｉ＝１，...，ｍ）に対応する撮影画像内の位置（ｘ，ｙ）における画素値ｖ_i（ｘ，ｙ）は、「光学第２７巻７号」（社団法人応用物理学会分科会日本光学会発行）の３８４頁〜３９１頁（津村徳道、羽石秀昭、三宅洋一著）によれば、次の数１で表される。

ここで、ｒ（ｘ，ｙ，λ）は撮影対象物（被写体）の画像位置（ｘ，ｙ）における波長λごとの反射率（すなわち分光反射率）を表し、Ｓ（λ）は撮像系の総合分光感度（以下、「撮像系総合分光感度」とも称する）を表す。撮像系総合分光感度は、ＣＣＤ１１２のＲＧＢフィルタを除く分光感度だけでなく、レンズ系の分光感度をも考慮した、総合的な分光感度である。言い換えれば、撮像系総合分光感度は、ＲＧＢフィルタを除くＣＣＤ１１２およびレンズ系を含む撮像系に関する分光感度である。また、Ｅ（λ）は照明の分光放射輝度を表し、ｔ_i（λ）は、第１〜第ｍ番目の波長域に対応する分光透過率（ここでは、Ｒ１，Ｒ２，Ｇ０，Ｂ１，Ｂ２分光透過率）を示す。なお、λ１，λ２は、それぞれ、積分範囲の下限の波長および上限の波長である。

次に数学的な取り扱いを簡略化するため、分光分布を離散化し、数１で表現されるｍ個の関係をベクトルおよび行列を用いてまとめると、数２のように表現できる。ただし、数２およびそれ以降の数式においては、位置（ｘ，ｙ）に関する表記は適宜省略するものとする。

ここで、列（縦）ベクトルｖは、その要素として、複数（ｍ個）のフィルタを透過した透過光の強度を表す上記のセンサ応答ｖ_i（ｉ＝１，...，ｍ）を縦に並べたｍ次元のベクトルである。このベクトルｖは「センサ応答ベクトル」とも称することができる。たとえば、５種類のフィルタ透過画像を得る場合には、このセンサ応答ベクトルｖは、各フィルタに対応する５種類のセンサ応答（画素値）で構成される５次元の列ベクトル（ｍ＝５）となる。

また、列ベクトルｒは、物体色の分光反射率（分光分布）を表すｈ次元のベクトルである。ベクトルｒは、物体色を表すベクトルであり、「分光反射率ベクトル」とも称することができる。たとえば、可視光線の４００ｎｍ〜７００ｎｍの波長領域における１０ｎｍ刻みの３１の代表値で離散化を図る場合には、この分光反射率ベクトルｒは、各代表値に対応する３１の感度で構成される３１次元の列ベクトル（ｈ＝３１）となる。

さらに、行列Ｅは、照明の分光放射輝度を表すｈ×ｈの対角行列であり、照明輝度行列とも称することができる。行列Ｓは、撮像系の総合分光感度を表すｈ×ｈの対角行列であり、撮像系感度行列とも称することができる。

また、行列Ｔは、数３に示すように、ｍ個の列ベクトルｔ_i（ｈ×１）の転置ベクトル（すなわち行ベクトルｔ_i ^t）を縦方向に配列した行列であり、ｍ行ｈ列（ｍ×ｈとも表記する）のサイズを有している。ｍ個の列ベクトルｔ_i（ｈ×１）のそれぞれは、各フィルタの分光特性（ここでは、Ｒ１，Ｒ２，Ｇ０，Ｂ１，Ｂ２分光透過率）を示すベクトルである。そのため、この行列Ｔは、フィルタ分光特性行列とも称することができる。なお、この明細書において、記号（＊）^tは、転置ベクトルあるいは転置行列を意味するものとする。

上記の行列Ｔ，Ｅ，Ｓを数４に示すように行列Ｆとしてまとめて表記すると、数２に示す分光反射率ベクトルｒとセンサ応答ベクトルｖとの関係は、数５のように表すことができる。なお、行列Ｆは、ｍ×ｈのサイズを有している（（ｍ，ｈ）型の行列であるとも表現できる）。

この画像処理システム１において「分光画像」を求めるということは、各画素に関して、センサ応答ベクトルｖに基づいて分光反射率ベクトルｒを求めることに相当する。すなわち、この数５を、分光反射率ベクトルｒについて解くことと等価である。

しかしながら、この画像処理システム１において、分光反射率ベクトルｒの次元数ｈはセンサ応答ベクトルｖの次元数ｍよりも大きい（ｈ＞ｍ）ため、ｍ×ｈ型の行列Ｆは正方行列ではなく正則でない。したがって、逆行列が存在しないため、数５を分光反射率ベクトルｒについて解くことができない。

そこで、分光反射率ベクトルｒは、各種の推定手法に基づく推定により近似的に求められる。

分光画像撮影に関する近似手法としては、たとえば、次の２つの手法が挙げられる。

１つは、１）比較的少数の基底関数を主成分分析法により求め、分光分布をそれらの基底関数の線形結合として近似する手法（以下、「低次元線形近似法」とも略称する）である。また、もう１つは、２）重回帰分析を用いる手法（以下、「重回帰分析法」とも略称する）である。

これらの近似手法によれば、比較的少数のフィルタ透過光強度に基づいて分光分布を近似的に求めること（言い換えれば、推定すること）ができる。

ここでは、前者の手法（低次元線形近似法）を例にとって説明し、後者の手法（重回帰分析法）については、説明を省略する。

前者の手法においては、後述する数１１に基づいて、センサ応答ベクトルｖから、分光反射率ベクトルｒの推定値ｒ_eを求める。以下では、その概要を説明する。

一般に、分光反射率ベクトルｒ（ｈ次元ベクトル）は、主成分ベクトルｂ_j（ｈ次元ベクトル）と各主成分ベクトルｂ_jに対する係数ｗ_j（スカラー）とを用いた線形結合として、数６のように表現できる。

このように、分光反射率ベクトルｒは、基底関数に相当する主成分ベクトルｂ_j（ｊ＝１，...，Ｋ）を用いて表現される。

なお、主成分ベクトルｂ_jは、統計的手法（主成分分析法）により求められる。具体的には、主成分ベクトルｂ_jは、複数（Ｋ個）のサンプルの分光反射率ベクトルに関する共分散行列の固有分解を用いて求められる。また、求められた複数の固有ベクトルのうち、固有値の大きいものから順に第１主成分ベクトル，第２主成分ベクトル，...，第ｊ主成分ベクトル，...の名称が付される。

ここでは、数６における全ての主成分ベクトルｂ_j（基底関数）を用いるのではなく、第１主成分ベクトルから第ｋ主成分ベクトルまでのｋ個（ただし、ｋ＜Ｋ）の主成分ベクトルｂ_j（ｊ＝１，...，ｋ）を用いることによって、分光反射率ベクトルｒを近似的に表現する。すなわち、数７のように、分光反射率ベクトルｒを近似分光反射率ベクトル（言い換えれば推定分光反射率ベクトル）ｒ_eで近似するものとする。

また、この近似分光反射率ベクトルｒ_eは、数８で表現される。

なお、行列Ｂは、ｋ個の主成分ベクトル（縦ベクトル）ｂ_jを横方向に並べた行列であり、ｈ×ｋのサイズを有している。また、係数ベクトルｗは、その要素としてｋ個の係数ｗ_j（ｊ＝１，...，ｋ）を縦に並べたｋ次元のベクトルである。ただし、次元数ｋは、後述の計算の便宜上、センサ応答ベクトルｖの次元数ｍと同一（ｋ＝ｍ）とする。すなわち、主成分ベクトルの数ｋを、フィルタ数（波長域数とも称する）ｍと等しくなるように設定する。

このとき、数５、数７および数８を用いて数９の関係が導かれる。

ここで、（ｍ×ｋ）の行列（ＦＢ）は、ｋ＝ｍであるので（ｍ×ｍ）の正方行列である。そして、行列（ＦＢ）が正則であるとすれば、行列（ＦＢ）は逆行列を有する。このとき、係数ベクトルｗは、行列（ＦＢ）の逆行列（ＦＢ）^-1を用いて、数１０で表現される。

したがって、近似分光反射率ベクトルｒ_eは、数１１のように表現される。なお、数１１は、数１０を数８に代入すること等によって得られる。

行列Ｆ（＝ＴＥＳ）および行列Ｂの各要素は既知（各部の初期設定によって決定される）であるので、数１１を用いれば、分光反射率ベクトルｒの推定値である近似分光反射率ベクトルｒ_eを、センサ応答ベクトルｖに基づいて求めることができる。

なお、以下では、近似分光反射率ベクトルｒ_eを、被写体（撮影対象物）の分光反射率ｒとして、説明を行う。

＜６．健康診断＞
以下、画像処理システム１における健康診断について説明する。

＜撮影部位と構図＞
画像処理システム１における健康診断では、色や形状が健康状態を反映する身体の部位（例えば、顔、舌、口腔、耳、うなじ、瞼の裏、白眼、爪、手の甲、手の平など）のうちいずれか１箇所、または複数箇所を選択し、その特定部位を継続的に撮影して、健康診断を行う。以下、手の甲と爪を撮影する場合を例にとって説明する。

ここで、継続的に特定部位を撮影して健康診断を行うためには、特定部位を毎回同一の構図（撮影角度、撮影距離、画角など）で撮影する必要がある。よって、所定のガイドを用いて構図を規定することが望まれる。例えば、画像入力装置１００Ａの正面方向（撮影方向）に、複数のガイドのうち任意のガイドが引き出し可能に設置され、順次任意のガイドを引き出し、設定して、特定部位の位置、角度などをガイドに合わせて規定することで、構図を一定とすることができる。

図７は、手の甲を撮影する状態を例示する図であり、図８は、手の爪を側面より撮影する状態を例示する図である。図７および図８は、画像入力装置１００Ａのレンズ系１１１の方向から見た図である。

例えば、Ｌ字型アングルＬ１が平板ＨＢ１上に設けられたガイドを画像入力装置１００Ａの正面に引き出し、図７に示すように、手ＨＤをＬ字型アングルＬ１に沿わせ、手ＨＤの平を平板ＨＢ１に密着させた状態とすることで、手の甲を特定の構図で撮影することができる。また、Ｌ字型アングルＬ２が平板ＨＢ２上に設けられたガイドを画像入力装置１００Ａの正面に引き出し、図８に示すように、指（例えば、人差し指）ＦＧをＬ字型アングルＬ２に沿わせ、指ＦＧの特定の側面（例えば、人差し指の中指側の側面）を平板ＨＢ２に密着させた状態とすることで、手の爪を特定の構図で撮影することができる。平板ＨＢ１，ＨＢ２は、手ＨＤの甲や爪の肌色と色を区別し易いように、黒など肌色と著しく異なる色で構成される。

なお、手の甲や爪以外の部位が撮影対象であっても、その部位の形状などを考慮したガイドを適用することで、同様に特定の構図を規定、維持することができる。

＜照明方法＞
一般的なデジタルカメラでは、照明光源の違いをホワイトバランス（ＷＢ）の補正によって補完する。しかし、通常、ＷＢ補正により、同じ被写体を撮影しても、照明条件の差によって被写体の色が大きく異なるものとして画像データが取得されることが頻繁に起こる。このような照明光源の変化は、被写体の色を正しく把握する上で、阻害要因となり得るため、健康診断の実施時には、撮影時には常にフラッシュ装置１２１を発光させ、照明光源を一定とする。

フラッシュ装置１２１は、被写体をよりよい状態で撮影するために、被写体に対して左右４５度方向から２つの発光部１２１Ａ，１２１Ｂで照明する。そうすると、正反射光がレンズ系１１１に入射するのを防ぎ、被写体に影ができず、被写体の色などを把握する上で好ましい撮影が可能となる。なお、一般的なデジタルカメラに内蔵されているような内蔵フラッシュを照明光源として採用することによっても照明光源を一定のものとすることができる。

＜健康診断の動作フローと原理説明＞
図９および図１０は、健康診断の動作フローを例示するフローチャートである。図９および図１０に示す動作フローでは、所定のタイミングにおける１回分の健康診断の動作フローを示している。なお、この動作フローは、画像入力装置１００ＡのＣＰＵ２１とネットワークサーバ６００とが協働することにより、実現される。

この健康診断の動作フローでは、一般的なＲＧＢの３波長域画像データに基づいて、簡易的な診断を行い、健康状態に異状が発生している可能性がある場合は、５波長域画像データに基づいたより詳細な診断（詳細診断）を行う。

なお、上述したように、本実施形態では、５波長域画像データに基づいて分光反射率を算出するが、３波長域画像データに基づいて分光反射率を算出することも可能である。つまり、上述した分光反射率の算出方法において、ｍ＝３とすることもできる。しかし、分光反射率の算出精度などを考慮すると、一般的に、ｍはなるべく大きな数であることが望ましいことが知られている。よって、ここでは、単に３波長域画像データから分光反射率を算出するよりも、５波長域画像データから分光反射率を算出する方が精度良く分光反射率を求めることができ、ひいては、精度良い検査が実施可能となる。したがって、本実施形態では、簡易診断では３波長域撮影を行い、詳細診断では５波長域撮影を行うように設定されている。

健康診断の動作では、まず、所定のタイミング（例えば、毎日の所定時刻）となると、健康診断用の撮影を行うように、画像入力装置１００Ａから音声やランプの点滅などによって警告が行われる。

そして、画像入力装置１００Ａから発せられる音声ガイドに従って、ユーザーが操作部２６を種々操作しつつ、図７に示すような状態で、手ＨＤの甲を撮影することで、手の甲の全体を捉えた画像データ（以下、「画像データＡ」と称する）を取得して、ネットワークサーバ６００に送信する（ステップＳ１）。さらに、画像入力装置１００Ａから発せられる音声ガイドに従って、ユーザーが操作部２６を種々操作しつつ、図８に示すような状態で、指ＦＧの側面側より爪を捉えた画像データ（以下、「画像データＢ」と称する）を取得して、ネットワークサーバ６００に送信する（ステップＳ２）。ステップＳ１およびＳ２における画像データＡ，Ｂの取得が完了すると、ステップＳ３に進む。

ステップＳ３では、ネットワークサーバ６００において、画像データＡより爪の部分のデータを抽出し、各指ごとに、爪に係る画素値（ＲＧＢ値）を記憶し、ステップＳ４に進む。ここでは、例えば、まず、画像データＡから背景色との違いを利用して手（例えば、肌色）の部分のデータを検出・抽出する。次に、エッジ抽出等によって、手の爪とそれ以外の部分とを区別して、各指ごとに手の爪の部分に係る画像データを抽出する。

ステップＳ４では、ネットワークサーバ６００において、画像データＢより爪と指の形状を認識し、爪の反り具合と指先の角度を検出して記憶し、ステップＳ５に進む。ここでは、例えば、まず、エッジ抽出等によって、指の爪とそれ以外の部分とを区別する。そして、爪の付け根の点Ｐ０を検出する。更に、その付け根の点Ｐ０から爪側とその逆側に一定距離だけ進んだ点Ｐ１，Ｐ２と点Ｐ０とを結ぶ直線（点Ｐ０とＰ１とを結ぶ直線と、点Ｐ０とＰ２とを結ぶ直線）のなす角度を検出することにより、図１１に示すような爪と爪の付け根側の皮膚の部分とのなす角度（指先の角度）を検出することができる。具体的には、図１１（ａ），（ｂ）で示すような指先の角度θ１およびθ２を検出することができる。

また、ここでは、例えば、爪の付け根の点Ｐ０から爪側に一定距離だけ進んだ点Ｐ３における爪の外形（曲線）に対する接線と、点Ｐ３と爪の先端ＰＥとを結んだ直線とのなす角度を爪の反り具合を示す角度（以下、「爪の反り角度」と称する）として検出することができる。具体的には、図１２に示すように、爪の反り角度θ３を検出することができる。なお、以下では、図１２に示すように、爪が指の外側に凸の形状となっている場合は、角度θ３は負の値を示すものとし、逆に爪が指の外側に凹の形状、すなわち、爪が反り返って中央が凹んだ状態になっている場合は、角度θ３は正の値を示すものとする。

ステップＳ５では、ネットワークサーバ６００において、ステップＳ３で検出した爪の色を示す画素値と基準値とを比較する。そして、基準値との差が所定値（例えば、１５階調）より大きな場合は、ネットワークサーバ６００から送信される信号に基づいて、画像入力装置１００Ａから音声などの警告が発せられ、ステップＳ６に進む。ここで、基準値としては、人間の身体の特定部位の外観に基づく異状判別の基準値、例えば、ユーザーの初期における爪の色を示す画素値（初期値）や、健常者の爪の色を示す画素値の平均値（統計値）を用いることができる。つまり、ネットワークサーバ６００が、内蔵するＣＰＵによって、３波長域画像データに基づいて得られる色情報に係る対象値（ここでは、画素値）と、特定被写体（ここでは、爪）の反射光の色情報に係る所定の基準値とを比較する。そして、ここでは、基準値との差が１５階調よりも大きな爪を有する指が存在する場合は、健康状態に異状が発生している可能性があることを示す警告を発する。

このステップＳ５における異状の有無の判別は、より詳しい診断をするか否かを決定するための簡易診断にあたるため、所定値（ここでは、１５階調）は、正確を期すような値ではない。そこで、所定値としては少し厳し目の値（ここでは、より小さな値）に初期設定しておき、５波長域画像データに基づいたより詳細な診断の機会を逃さないようにすることが好ましい。なお、ここでは、画素値（すなわち、各色成分に係る輝度値）について比較を行ったが、色度などの他の種類の値などに変換して、比較を行っても良い。

ステップＳ６では、ネットワークサーバ６００において、ステップＳ４で検出した爪の反り角度、および指先の角度と所定の閾値とを比較し、それぞれ所定の閾値よりも大きな場合は、ネットワークサーバ６００から送信される信号に基づいて、画像入力装置１００Ａから音声などの警告が発せられ、ステップＳ７に進む。ここで、所定の閾値としては、健康状態に異状が発生している可能性が考えられる場合とそうでない場合との境界を示す統計的な値を設定することができる。例えば、図１１（ａ）に示すように指先の角度θ１が１６０度程度の場合は、何の異状もなく正常な場合であり、図１１（ｂ）に示すように指先の角度θ２が２００度以上となる場合は、肺ガンや心臓疾患の疑いがあるため、その旨の警告を発する。つまり、指先の角度については、所定の閾値として２００度を設定することができる。一方、爪の反り角度については、例えば、負の角度となったような場合は、鉄欠乏性貧血などの疑いがあるため、その旨の警告を発する。

ここでは、ステップＳ５およびＳ６における処理がネットワークサーバ６００内で数分以内に行われることにより、簡易診断が行われ、ユーザに対して、その場で結果を伝える。そして、音声によって、例えば、「健康でした」「異状は認められません」「異状が認められましたので、引き続き５波長域撮影を行って下さい」などの結果を伝えることができる。また、ランプＬＰによって、異状なしを示すグリーンのランプの点灯、および５波長域撮影が必要な場合を示す赤のランプ点滅などで結果を伝えることができる。

ステップＳ７では、ステップＳ５において爪の色について警告が出ているか否かを判別する。ここでは、ステップＳ５において爪の色について警告が出ていればステップＳ８に進み、出ていなければ健康診断の動作フローを終了し、次回の所定のタイミングを待つ。

ステップＳ８では、５波長域撮影が行われ、被写体の正しい色（照明条件に左右されない物体色、すなわち分光反射率）を算出し、ステップＳ９に進む。つまり、ネットワークサーバ６００は、内蔵するＣＰＵにより、ステップＳ５における爪の色情報の比較結果に応じて、５波長域撮影を行う機能（手段）を選択的に能動化させて５波長域画像データを生成するための画像情報を得るように制御する。

このステップＳ８では、図１０に示すステップＳ８１からＳ８４の処理が行われる。上述した３波長域撮影による簡易診断では、比較対象となった各指の爪の部分のＲＧＢ値は絶対的な色（いわゆる物体色）ではない。よって、ステップＳ８では、簡易診断で健康状態に異状が発生している可能性が高いと判別された場合には、５波長域撮影を行うことで、画素毎の分光反射率を取得し、絶対的な物体色に基づいて、より正確な診断を行う。

ステップＳ８１では、自動的にフィルタＯＮ状態となっており、その状態でユーザが画像入力装置１００Ａの音声ガイドに従って操作部２６を種々操作することで、被写体（ここでは、手の甲）を撮影する。そして、手の甲の全体を捉えたフィルタＯＮ画像データを取得し、ネットワーク５００等を介してネットワークサーバ６００にフィルタＯＮ画像データが送信される。また、フィルタＯＮ状態における撮影の直後に、自動的にフィルタＯＦＦ状態となり、自動的に被写体（ここでは、手の甲）を撮影して、手の甲の全体を捉えたフィルタＯＦＦ画像データを取得し、ネットワーク５００等を介してネットワークサーバ６００にフィルタＯＦＦ画像データが送信される（ステップＳ８２）。そして、引き続いてステップＳ８３に進む。

ステップＳ８３では、サーバ６００のＣＰＵにおいて、爪に関し、ステップＳ８１およびＳ８２で取得されたフィルタＯＦＦ／ＯＮ画像データを減算することで、新たに２つの波長域に係る画像データを生成して、５波長域画像データを生成・取得し、ステップＳ８４に進む。つまり、サーバ６００のＣＰＵにより、５波長域撮影によって取得される画像情報（フィルタＯＦＦ／ＯＮ画像データ）から５波長域画像データを生成する。ここでは、まず、上述したステップＳ３と同様に、フィルタＯＦＦ／ＯＮ画像データから爪の部分を抽出し、爪の部分について、上述した手法によって５波長域画像データを取得する。

ステップＳ８４では、一般的な手法を用いて分光反射率を計算することで、５波長域撮影、および分光反射率の算出処理を終了し、図９のステップＳ９に進む。なお、一般的な分光反射率の計算手法については、例えば、上述したような手法がある。

ステップＳ９では、ネットワークサーバ６００が、ステップＳ８において算出された画素毎の分光反射率に基づいて、より詳細な診断を行う。そして、診断結果が、ネットワーク５００を介して画像入力装置１００Ａに送信され、ディスプレイ２５へ表示されたり、スピーカＳＰから音声として発せられたりすることなどにより、ユーザ（被験者）に対して報告される。

ここでは、爪の部分のうちの一定面積分（例えば、１０画素四方）について、各画素毎の分光反射率をＬａｂ表色系の値に変換し、その平均値を、爪の部分をＬａｂ表色系で表色した正確な測色値（以下、「Ｌａｂ測色値」と称する）として算出する。なお、分光反射率からＬａｂ値への変換は、一般的に公知の方法によって行うことができる。例えば、分光反射率からＬａｂ値への変換式は、数１２および数１３のように表すことができる。

また、ネットワークサーバ６００の記憶部には、予め爪の色についてのデータベースが格納されており、そのデータベースによって、健康な爪の色の基準範囲を規定しておく。この基準範囲は、健康な人の爪の色の統計値から予め求めることができ、等色色空間であるＬａｂ空間では、ある閉鎖的な三次元空間（範囲）で表すことできる。図１３は、Ｌａｂ空間上における健康な爪の色の基準範囲を例示する図である。

ネットワークサーバ６００では、算出されたＬａｂ測色値ＵＶをＬ，ａ，ｂが直交するＬａｂ三次元色空間上にプロットし、Ｌａｂ測色値ＵＶが基準範囲外であれば、ユーザの健康状態に何らかの異状が発生している可能性が高いと判断し、Ｌａｂ測色値（例えば、図１３に示すような基準範囲とＬａｂ測色値との関係が解る図と数値）等とともに直ちに医療機関での診断を受けるように勧める旨の診断結果を報告する。一方、Ｌａｂ測色値が基準範囲内の場合には、Ｌａｂ測色値等とともにユーザの健康状態には異状が無い可能性が高い旨を診断結果として報告する。つまり、ここでは、５波長域撮影による詳細診断で、異状が認められれば、その診断結果と共に医療機関への受診を強く促す。つまり、ネットワークサーバ６００が、内蔵するＣＰＵにおいて、５波長域画像データに基づいて得られる対象値（特定被写体の分光反射率を変換したＬａｂ測色値）と、特定被写体（ここでは、爪）からの反射光に係る所定の基準値（ここでは、基準範囲）とを比較することによって、特定被写体の状況に異状が発生しているか否かを判別することで、ユーザの健康状態に異状が発生しているか否かを判別する。

このように、画像処理システム１が、身体の所定の部位に係る画像を入力することによって、医者が問診で行っているような診断を代行し、病気のチェックのみならず、健康度の目安を診断結果として報告する。そのため、各人の健康に対する意識を高め、健康増進を図ることができる。そして、必要な場合にのみ医療機関へ行けば済むようになる。

なお、上述したように、ネットワーク５００を介してデータの送受信をすることにより、ネットワークサーバ６００で診断を実施するには、転送時間等も必要となるため、ユーザが診断結果を得られるまで若干の時間を要する。しかし、現状の各種転送・処理速度等を考慮すると、１０分以内には、ユーザの元へ診断結果が報告（伝達）されるものと考えられ、ユーザは自分の家に居ながらにして、その場で診断結果を受け取ることができる。つまり、５波長域撮影による詳細な診断が時を置かずにその場で実行されるため、病院へ行って検診を受けようと思いながらもズルズルとそのままになってしまうといった有りがちな状態を回避することができる。

そして、ステップＳ９での処理が完了すると、健康診断の動作フローを終了し、次回の所定のタイミングを待つ。

以上のように、本発明の実施形態に係る画像処理システム１では、特定被写体（ここでは、人間の指の爪）について、簡易的に比較的少数（ここでは、ＲＧＢの３つ）の波長域のそれぞれにおける分光成分に応じた画像データ（ここでは、３波長域画像データ）を取得する。そして、その取得した画像データに基づいた対象値と所定の基準値とを比較する。さらに、その比較結果に応じて、より詳細な画像情報を得るために比較的多数（ここでは、５つ）の波長域のそれぞれにおける分光成分に応じた画像データ（ここでは、５波長域画像データ）を取得するような撮像制御を行う。その結果、遠隔地より人間をはじめとする種々の対象物について詳細な診断や検査などを容易に行うことができる。

そして、特定被写体について、５波長域画像データに基づく値（ここでは、分光反射率をＬａｂ測色値に変換した値）と基準値（ここでは、基準範囲）とを比較して、被写体の状況について異状の発生の有無を判別する。この５波長域画像データによって求められる分光反射率は、特定被写体の正しい物体色を表すため、詳細かつ正確な診断や検査などを容易に実施することができる。また、３波長域撮影による簡易診断と、５波長域撮影による詳細診断との２段階を経ることにより、医療機関への受診が必要か否かの判断を正確かつ容易に行うことができるため、ユーザは早期の対処が可能となる。

なお、上述のように５波長域撮影による詳細診断をある程度短時間で行うことが可能であるが、３波長域撮影による簡易診断に要する時間と比べるとかなりの長時間を要してしまう。よって、ここでは、日常的には、３波長域撮影による簡易診断のみを継続的に行い、簡易診断の結果、健康状態に異状が発生している可能性がある場合にのみ、同じ部位について５波長域撮影による詳細診断を行う。その結果、ユーザは健康診断に要する時間をそれほど気にすることなく、手間を掛けずに気軽に健康診断を継続的に受けることができ、必要に応じて、より詳細かつ正確な診断を受けることができる。

＜７．その他＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

◎例えば、上述した実施形態では、詳細診断を５波長域画像データに基づいて行ったが、これに限られるものではなく、例えば、４つ以上の波長域のそれぞれにおける分光成分に応じた画像データに基づいて詳細診断を行うようにしても良い。なお、フィルタ３２の光透過特性を適宜変更することにより、例えば、フィルタＯＮ状態において、４〜６つの波長域のそれぞれにおける分光成分に応じた画像データを取得することが可能である。

◎また、上述した実施形態では、簡易診断を３波長域画像データに基づいて行い、詳細診断を５波長域画像データに基づいて行ったが、これに限られるものではなく、例えば、簡易診断を１つの波長域についての画像データ（例えば、モノクロ画像データ）に基づいて行い、詳細診断を３つの波長域のそれぞれにおける分光成分に応じた３波長域画像データに基づいて行うようにしても良い。つまり、通常は比較的少数の波長域のそれぞれにおける分光成分に応じた画像データに基づいて簡易診断を行い、必要に応じて、比較的多数の波長域のそれぞれにおける分光成分に応じた画像データに基づいて詳細診断を行うようにしても良い。

◎また、上述した実施形態では、特定被写体として手の爪を例にとって説明したが、特定被写体としては、これに限られず、例えば、顔、舌、口腔、耳、うなじ、瞼の裏、手の甲、手の平、白眼など、その部位の色や形状などが健康状態を反映する身体の部位のうち、いずれか一箇所または複数の箇所を特定被写体としても良い。

そして、例えば、舌や瞼の裏などの撮影が困難な部位を特定被写体とする場合は、毎回５波長域撮影を行うと仮定すると、２フレーム分の撮影時間において無理な姿勢をとらざるを得ない。これに対して、上述した実施形態のように、通常は３波長域撮影を行い、必要に応じて５波長域撮影を行うような構成とすることにより、毎回の健康診断時には、１フレーム分の撮影時間だけ無理な姿勢をとるだけで済む。そのため、楽に健康診断を受けることが可能となる。なお、舌を特定被写体とすると、東洋医学などにおける健康診断にも活用することができる。

◎また、上述した実施形態では、特定被写体は、人間の身体の部位であったが、これに限られるものではなく、例えば、植物や工業的生産過程における工業生産物などの色情報に基づいて、植物や工業生産物などにおける異状の発生の有無を判断するようにしても良い。つまり、特定被写体は、異状の発生の有無を、形状や色情報などの外観に関する情報から判別することができるような対象物であれば何でも良い。

なお、例えば、特定被写体が人間の身体に含まれる特定部位である場合は、比較的少数の波長域のそれぞれにおける分光成分に応じた画像データに基づいて得られる対象値と比較する基準値が、人間の身体の特定部位の外観に基づく異状判別の基準値として設定されるため、遠隔地より人間の詳細な健康診断すなわち検査を容易に実施することができる。一方、特定被写体が工業生産物の特定部位などである場合は、遠隔地より工業生産物の品質異状などの検査を容易に実施することができる。

◎また、ネットワークサーバ６００内などに、特定ユーザの過去の診断結果（例えば、簡易診断の結果）を継続的に蓄積していき、個人個人の爪の色などの変化の特徴などをつかむようにするようにしても良い。このような構成とすることで、統計値などを基準とした絶対的な診断ではなく、いつもとは様子が違う、などといった変化をつかむことができる。また、その日のみなど一定期間の診断結果は、画像入力装置１００Ａ内に記録されるようにしても良く、一週間に一度など定期的に診断結果をローカルサーバ２００Ａやネットワークサーバ６００へ転送し、各サーバにおいて長期間記録するようにしても良い。なお、診断結果の保存については、画像処理システム１による健康診断のサービス開始時において、ユーザが料金や希望するサービス内容によって、種々選択できるようにしても良い。

◎また、上述した実施形態では、簡易診断において、爪の色を示す画素値と基準値とを比較して、基準値との差が所定値より大きな場合には、５波長域撮影による詳細診断を行うように制御したが、これに限られるものではなく、例えば、ネットワークサーバ６００内などに、特定ユーザの過去の診断結果を蓄積しておき、特定のユーザに係る爪などの色が、その人の過去の傾向から外れていれば、健康状態に異状が発生しているものとして判別するようにしても良い。具体的には、特定ユーザの爪の色を示す画素値が、その人の初期の爪の色を示す画素値から所定の閾値以上外れるような場合や、時間に対する画素値の変化の割合（傾き）が通常よりも大きな場合などに、５波長域撮影による詳細診断を行うようにしても良い。このような構成とすることで、個々人の特徴に即した健康診断を行うことが可能となる。

◎また、３波長域撮影による簡易診断によって５波長域撮影が必要であると判断された場合であっても、５波長域撮影による詳細診断によって異状が認められない場合がある。そのような場合は、その結果をフィードバックして、その後の３波長域撮影による健康診断の判断基準を変更するようにしても良い。例えば、５波長域撮影によって異状が認められないとされた際における３波長域画像データの値を健常者の爪の色を示す画素値として、健常者の爪の色を示す画素値の平均値（統計値）に反映させるようにしても良い。つまり、ネットワークサーバ６００内のＣＰＵにおいて、５波長域撮影に係る機能が能動化された際に、基準値との比較対象となった３波長域画像データに基づいて得られる対象値と、５波長域撮影による詳細診断の異状の有無の判別結果とに基づいて、簡易診断における基準値を更新するようにしても良い。

このような構成とすることによって、比較的多数の波長域のそれぞれにおける分光成分に応じた画像データ（ここでは、５波長域画像データ）を取得するための撮影を行うか否かを判別するための閾値をより信頼性のある値とすることができる。つまり、５波長画像データを取得するための５波長域撮影を実施するか否かの判断精度を向上させることができる。すなわち、より精度良く判断することができる。

◎また、例えば、ステップＳ５において、基準値との差が１６階調であった場合であっても、５波長域撮影による詳細診断により異状が認められない場合がある。そのような場合は、その結果をフィードバックして、その後の３波長域撮影による健康診断の判断基準を変更するようにしても良い。例えば、その後の３波長域撮影による簡易診断においては、基準値との差が１６階調の場合は、異状が発生している可能性がないものとして、５波長域撮影による詳細診断を行う必要がないものとして判断するようにしても良い。つまり、その後の３波長域撮影による簡易診断においては、基準値との差が１６階調よりも大きな場合にのみ５波長域撮影による詳細診断を行うように判断するようにしても良い。

◎また、上述した実施形態では、画像入力装置１００Ａ〜１００Ｅがローカルサーバ２００Ａ〜２００Ｅを介してネットワーク５００にデータ送受信可能に接続されていたが、これに限られるものではなく、図１４に示すように画像入力装置１００Ａ〜１００Ｅが直接ネットワーク５００に対してデータ送受信可能に接続されているものでも良い。また、図１５に示すように、各家庭等において、ネットワークサーバ６００をローカルサーバとして保有し、そのネットワークサーバ６００と画像入力装置１００Ａとが単なる通信ケーブル等によって構成されるローカルエリアネットワーク等でデータ送受信可能に接続されるようなものであっても良い。また、ネットワークサーバ６００内における健康診断に関する機能の一部または全部を画像入力装置１００Ａ内に有するようにして、画像入力装置１００Ａを種々の画像処理を行う画像処理装置などとするようにしても良い。このような構成とすることによっても上述した実施形態と同様な効果を得ることができる。

但し、５波長域画像データから分光反射率を算出して、より詳細な診断を行うには、かなりの計算負荷がかかる。そのため、画像入力装置１００Ａ内のみで健康診断を行うには、画像入力装置１００Ａ内に大容量のメモリなどが必要となり、画像入力装置１００Ａ自体の大型化および高価格化などのデメリットを生じる。また、計算時間が長くなり、診断結果を得られるまでに長時間を要するなどのデメリットも生じる。よって、画像入力装置１００Ａのみで健康診断の動作すべてを行うのは現実的ではなく、詳細な診断など計算負荷が大きな処理は、画像入力装置１００Ａとネットワーク５００を介して接続されるネットワークサーバ６００等で行うか、または、ローカルサーバ２００Ａ等で行うことが望ましい。

◎また、上述した実施形態では、画像入力装置１００Ａ内で、フィルタ３２が自動的にフィルタＯＮ／ＯＦＦ状態となったが、これに限られるものではなく、例えば、フラッシュ装置１２１の発光部１２１Ａ，１２１Ｂの前面に対してフィルタ３２が挿入および退避されるようなものとしても良い。このような構成とすることで、画像入力装置１００Ａとして一般的なデジタルカメラをそのまま適用することができ、画像入力装置１００Ａの低コスト化に資することができる。

◎また、上述した実施形態では、画像入力装置１００Ａでは、フィルタ３２が自動的にフィルタＯＮ／ＯＦＦ状態となったが、これに限られるものではなく、例えば、フィルタ３２が画像入力装置内に内臓されるものではなく、音声ガイドなどを含む警告などに従って、ユーザが手動でフィルタ３２をレンズ系１１１の前面に装着／脱着することで、５波長域撮影をするようにしても良い。このような構成とすることで、特に高価な専用機器を使用しなくとも、一般的なデジタルカメラで、比較的多数の波長域のそれぞれにおける分光成分に応じた画像データを生成することができる。

◎また、上述した実施形態では、ＣＣＤ１１２からの画像データが、Ａ／Ｄ変換部１１５において、０から１０２３の１０２４階調で各色成分の画素値を示す１０ビットのデジタル画像データに変換されたが、これに限られるものではなく、例えば、０から４０９５の４０９６階調で各色成分の画素値を示す１２ビットのデジタル画像データに変換されるなど、他の階調数で各色成分の画素値を示すデジタル画像データに変換されても良い。

本発明の実施形態に係る画像処理システムの概要を例示する図である。 本発明の実施形態に係る画像入力装置の外観構成を示す斜視図である。 ＣＣＤのベイヤ配列を説明するための図である。 画像入力装置に装着されるフラッシュ装置の外観を示す図である。 本発明の実施形態に係る画像入力装置の機能構成を示すブロック図である。 ５波長域画像データの生成方法を説明するための図である。 手の甲を撮影する状態を例示する図である。 手の爪を側面より撮影する状態を例示する図である。 健康診断の動作フローを示すフローチャートである。 健康診断の動作フローを示すフローチャートである。 指先の角度を例示する図である。 爪の反りを例示する図である。 Ｌａｂ空間上における健康な爪の色の基準範囲を例示する図である。 本発明の変形例に係る画像処理システムの概要を例示する図である。 本発明の変形例に係る画像処理システムの概要を例示する図である。

符号の説明

１ 画像処理システム
１１ レンズユニット
１２ 本体部
２１ ＣＰＵ
２５ ディスプレイ
２６ 操作部
３２ フィルタ
１００Ａ〜１００Ｅ 画像入力装置
１１２ ＣＣＤ
２００Ａ〜２００Ｅ ローカルサーバ
５００ ネットワーク
６００ ネットワークサーバ
ＬＰ ランプ
ＳＰ スピーカ

Claims (7)

1. 被写体に係る光学像に基づいて画像データを取得する画像入力装置と、ネットワークを介して前記画像入力装置とデータ送受信可能に接続されるサーバとを備えた画像処理システムであって、
   前記画像入力装置が、
   被写体の光学像から、所定数の波長域のそれぞれにおける第１の分光成分に応じた第１の画像データを取得する第１の撮像手段と、
   前記被写体の光学像から、前記所定数よりも多数の波長域のそれぞれにおける第２の分光成分に応じた第２の画像データを生成するための画像情報を取得可能な第２の撮像手段と、
   を有し、
   前記サーバが、
   前記第１の画像データに基づいて得られる第１の対象値と所定の第１の基準値とを比較する比較手段と、
   前記比較手段による比較結果に応じて前記第２の撮像手段を選択的に能動化させて前記画像情報を得るように制御する制御手段と、
   を有することを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムであって、
   前記サーバが、
   前記第２の撮像手段によって取得される前記画像情報から前記第２の画像データを生成する生成手段と、
   前記第２の画像データに基づいて得られる第２の対象値と所定の第２の基準値とを比較することによって、前記被写体の状況に異状が発生しているか否かを判別する判別手段と、
   を備えることを特徴とする画像処理システム。
3. 請求項２に記載の画像処理システムであって、
   前記サーバが、
   前記制御手段によって前記第２の撮像手段が能動化された際に、前記第１の対象値と前記判別手段による判別結果とに基づいて、前記第１の基準値を更新する更新手段、
   をさらに備えることを特徴とする画像処理システム。
4. 請求項１から請求項３のいずれかに記載の画像処理システムであって、
   前記被写体が人間の身体の特定部位であり、
   前記第１の基準値が、前記特定部位の外観に基づく異状判別の基準値として設定されていることを特徴とする画像処理システム。
5. 請求項１から請求項４のいずれかに記載の画像処理システムであって、
   所定のタイミングにおいて、前記第１の撮像手段による前記第１の画像データの取得を行うように警告を発する警告手段、
   をさらに備えることを特徴とする画像処理システム。
6. 画像処理装置であって、
   被写体の光学像から、所定数の波長域のそれぞれにおける第１の分光成分に応じた第１の画像データを取得する第１の撮像手段と、
   前記被写体の光学像から、前記所定数よりも多数の波長域のそれぞれにおける第２の分光成分に応じた第２の画像データを生成するための画像情報を取得可能な第２の撮像手段と、
   を有し、
   前記サーバが、
   前記第１の画像データに基づいて得られる対象値と所定の基準値とを比較する比較手段と、
   前記比較手段による比較結果に応じて前記第２の撮像手段を選択的に能動化させて前記画像情報を得るように制御する制御手段と、
   を備えることを特徴とする画像処理装置。
7. 分光可能な波長域の数が比較的少ない第１の撮像手段と、分光可能な波長域の数が比較的多い第２の撮像手段を備えた画像処理装置を制御する方法であって、
   前記第１の撮像手段を能動化することによって、被写体の光学像から、比較的少ない数の波長域のそれぞれにおける第１の分光成分に応じた第１の画像データを取得するステップと、
   前記第１の画像データに基づいて得られる対象値と所定の基準値とを比較するステップと、
   前記比較手段による比較結果に応じて前記第２の撮像手段を能動化し、それによって、前記被写体の光学像から、比較的多い数の波長域のそれぞれにおける第２の分光成分に応じた第２の画像データを取得するステップと、
   を備えることを特徴とする撮像制御方法。

Images