以下、図面を参照しながら本発明の実施の形態について説明する。
図1は、本発明を適用した情報処理装置としての車載装置1のハードウェアの構成の例を示すブロック図である。
車載装置1は、例えば、乗用車、バス、電車、その他の車両に搭載されており、乗車している人(搭乗者)の個人情報が登録されたり、乗車(搭乗)する人(ユーザ)の認証処理を実行することが可能なようにされている。なお、本実施の形態では、本発明を適用した情報処理装置の一例として車載装置1について説明するが、それに限らず、例えば、防犯装置、パーソナルコンピュータ、デジタルスチルカメラ、携帯電話機、PDA(Personal Digital Assistance)、家庭用電気製品(家電)、または画像印刷装置など、顔画像を利用する機器に適用することができる。
車載装置1は、CPU11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、CCDカメラ15、画像入力部16、フラッシュメモリ17、LCD(Liquid Crystal Display)表示部18、タッチパネル操作部19、および外部状態入力部20を含むように構成される。また、これらはCPUバス14を介して相互に接続されている。
CPU11は、車載装置1の各部を制御する。車載装置1において、CPU11は、ROM12に記録されているプログラム、またはフラッシュメモリ17などの記録部からRAM13にロードされたプログラムにしたがって各種の処理を実行する。RAM13にはまた、CPU11が各種の処理を実行する上において必要なデータなども適宜記憶される。
CCDカメラ15および画像入力部16は、CPU11の制御の基に、ユーザの操作に応じた各種撮像に関する処理を行う。CCDカメラ15は、例えば、レンズなどの光学系、CCDなどの撮像素子、映像信号の処理を行う映像信号回路などから構成される。CCDカメラ15は、撮像した画像を画像データに変換し、変換した画像データを画像入力部16に供給する。
画像入力部16は、CCDカメラ15から供給される画像データを、フラッシュメモリ17に記録するのに適した方式に変換するなどの処理を行い、CPUバス14を介してフラッシュメモリ17に供給して、記録させる。また、画像入力部16は、CCDカメラ15から供給される画像データを、LCD表示部18の画面に表示するのに適した方式に変換するなどの処理を行い、CPUバス14を介してLCD表示部18に供給して、撮像された画像データに対応する画像をLCD表示部18の画面に表示させる。
フラッシュメモリ17は、書き換え可能で、電源を切ってもデータが消えない不揮発性半導体メモリであり、画像入力部16から供給される画像データを記憶する。これにより、例えば、CCDカメラ15により撮像された被写体の画像が、フラッシュメモリ17に記憶される。
LCD表示部18は、CPU11の制御の基に、画像入力部16から供給される画像データに応じた画像を表示する。これにより、例えば、CCDカメラ15により撮像された被写体の画像が、LCD表示部18の画面に表示される。タッチパネル操作部19は、LCD表示部18を透過するようになされており、LCD表示部18の画面に表示された操作画面のボタンなどを選択するユーザの操作を受け付けて、その操作位置の位置を示す信号(以下、操作信号と称する)をCPU11に供給する。CPU11は、タッチパネル操作部19から供給される操作信号を基に、各種の処理を実行する。
外部状態入力部20は、他の外部の機器と接続され、その接続された外部の機器から入力されてくる情報をCPU11に供給する。具体的には、外部状態入力部20は、例えば、車載装置1が搭載されている乗用車などに接続された他の機器から入力されてくる情報をCPU11に供給する。CPU11は、外部状態入力部20から供給される情報を基に、例えば、各座席における人の存在の有無、着座の状態、運転の状態などの状態を判定し、判定結果に応じた処理を各部に実行させる。
CPUバス14にはまた、必要に応じてドライブ21が接続され、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア22が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、例えば、ROM12やフラッシュメモリ17などにインストールされる。
なお、車載装置1のハードウェアの構成は、図1の例に限定されず、後述する図2の機能的構成を少なくとも有していればよい。
図2は、図1の車載装置1の機能的構成例を示すブロック図である。
車載装置1は、画像取得部51、顔画像検出部52、顔画像登録制御部53、画像記憶部54、顔画像利用部55、不適切画像検出部56、表示制御部57、表示部58、対象状態検出部59、操作部60、および制御部61を含むようにして構成される。
なお、本実施の形態では、車載装置1は、上述した図1のハードウェア構成を有しているので、顔画像検出部52、顔画像登録制御部53、顔画像利用部55、不適切画像検出部56、および表示制御部57は、例えば、ソフトウェア(コンピュータプログラム)を実行する図1のCPU11によって実現される。また、画像取得部51は、例えば、図1のCCDカメラ15および画像入力部16に相当し、画像記憶部54は、例えば、図1のフラッシュメモリ17に相当し、表示部58は、図1のLCD表示部18に相当する。さらにまた、対象状態検出部59は、各種のセンサが接続されている図1の外部状態入力部20に相当し、操作部60は、例えば、図1のタッチパネル操作部19に相当し、制御部61は、図1のCPU11に相当する。
ただし、顔画像検出部52、顔画像登録制御部53、顔画像利用部55、不適切画像検出部56、または表示制御部57は、ハードウェアとして構成することもできるし、ソフトウェアとハードウェアとの組み合わせとして構成することもできる。
画像取得部51は、制御部61を介して操作部60から供給される操作信号を基に、被写体の画像に対応する画像データを生成することで、画像を取得する。画像取得部51は、生成した画像データを、顔画像検出部52および顔画像登録制御部53に供給する。
顔画像検出部52は、画像取得部51から供給される画像データに対応する画像から、顔画像を検出する。顔画像検出部52は、顔画像の検出結果を顔画像登録制御部53に供給する。
顔画像登録制御部53は、顔画像検出部52から供給される検出結果を基に、画像取得部51から供給される画像データのうち、顔画像が検出された画像に対応する画像データが画像記憶部54に記憶されるように、画像データの登録を制御する。
顔画像利用部55は、制御部61を介して操作部60から供給される操作信号を基に、画像記憶部54に記憶されている画像データを取得する。顔画像利用部55は、取得した画像データを基に、例えば、顔画像認証などの各種の処理を実行する。また、顔画像利用部55は、例えば、顔画像認証などの各種の処理を実行することにより生成された画像データを画像記憶部54に記憶させる。
不適切画像検出部56および表示制御部57は、制御部61を介して操作部60から供給される操作信号を基に、画像記憶部54に記憶されている画像データを取得する。不適切画像検出部56は、取得した画像データに対応する画像から、不適切な画像を検出する。不適切画像検出部56は、不適切な画像の検出結果を表示制御部57に供給する。
ここで、詳細は後述するが、不適切な画像とは、ユーザが他の人に見られるのを望んでいない顔を含んでいる画像である。具体的には、例えば、不適切な画像は、白目になったとき、目を閉じたとき、口を大きく開けたとき、顔をゆがめたとき、変な表情をしたときなどの他人には見られたくない表情を含んでいる画像である。なお、以下、不適切な画像に対応するデータを、不適切な画像データと称して説明する。
表示制御部57は、不適切画像検出部56から供給される検出結果を基に、取得した画像データに対応する画像を表示部58の画面に表示させるとともに、取得した画像データのうち、不適切な画像を、他の人が直接確認できないように表示部58の画面に表示させる。
対象状態検出部59は、対象状態を検出する。対象状態検出部59は、検出した対象状態を顔画像登録制御部53に供給する。
ここで、対象状態とは、例えば、乗用車の座席に人が座っている状態や、座席に物が置かれている状態などの、ある特定の対象に注目したときのその対象の状態である。例えば、顔画像登録制御部53は、対象状態検出部59から供給される対象状態を基に、乗用車の座席に人が座っていないとき、画像取得部51から取得した画像データに対応する画像には、顔画像は含まれていないので、画像データが画像記憶部54に記憶されないように、画像データの登録を制御する。
以上のように、車載装置1では、画像取得部51が取得した画像データに対して、顔画像検出部52および顔画像登録制御部53が各種の処理を行うことにより(以下、この処理を登録の処理と称する)、顔画像を含んでいる画像に対応する画像データが画像記憶部54に記憶され、その記憶されている画像データに対して、顔画像利用部55が各種の処理を行うことにより(以下、この処理を利用の処理と称する)、顔画像認証などが行われ、さらに、その記憶されている画像データに対して、不適切画像検出部56および表示制御部57が各種の処理を行うことにより(以下、この処理を確認の処理と称する)、不適切な画像の、表示部58の画面への表示が制御される。
なお、例えば、顔画像検出部52、顔画像登録制御部53、顔画像利用部55、不適切画像検出部56、および表示制御部57を、それぞれ、顔画像検出プログラム、登録プログラム、顔画像利用プログラム、不適切画像検出プログラム、および確認表示プログラムとして、ソフトウェアにより提供してROM12に記録させた場合、顔画像検出プログラムおよび登録プログラムは、登録の処理を実行し、顔画像利用プログラムは、利用の処理を実行し、不適切画像検出プログラムおよび確認表示プログラムは、確認の処理を実行することになる。
また、例えば、ネットワークを介して画像を他の機器に表示させる場合など、画像の表示が別の機器で行われるとき、表示制御部57と表示部58の代わりに、出力制御部(図示せず)と出力部(図示せず)を設ける構成にして、画像を他の機器に出力し、他の機器で画像を表示させるようにしてもよい。
次に、図1の車載装置1の動作について説明する。例えば、乗用車に設けられた車載装置1が運転者(ユーザ)を認証する機能(運転者認証システム)を備えている場合、まず、ユーザは、自分の顔の情報(顔画像)を登録する操作を行う。そして、車載装置1は、ユーザが運転を開始するとき、あらかじめ登録されている顔画像と、運転する直前に撮像された顔画像とが一致するかを判定することにより、そのユーザが正当であるかの認証を行う。また、それらの顔画像が一致しないとき、撮像された顔画像に問題がある可能性があるので、ユーザは、車載装置1が正常に動作しているかを確認してもらうために、車載装置1が搭載された乗用車をカーディーラに持ち込むことになる。そして、カーディーラのセールスマンや整備担当者などは、撮像された顔画像を画面に表示して確認し、原因を解明する必要がある。
したがって、以下、ユーザにより顔画像が登録されてから、顔画像認証を行って、顔画像認証に失敗したときに顔画像を表示させるまでの処理(すなわち、登録の処理、利用の処理、および確認の処理)の一例として、図3のフローチャートを参照して、車載装置1による、運転者認証の処理について説明する。
制御部61は、操作部60を介してユーザにより所定の操作が指示されたとき、図3のフローチャートに示される処理を各部に実行させる。
ステップS11において、制御部61は、操作部60からの操作信号に基づいて、ユーザにより登録操作が行われたか否かを判定する。
例えば、表示制御部57は、制御部61の制御の基に、ユーザにより所定の操作が指示され、運転者認証システムの使用を開始するとき、表示部58の画面に、図4に示すような、初期設定用の画面101を表示させる。このとき、画面101には、例えば、まだ、ユーザが顔画像の登録する操作を行っていないので、「ご利用頂きましてありがとうございます。現在、登録済みの利用者はありません。利用を開始する前に、顔画像の登録を行ってください。利用を開始するとサービス画面が表示されます。」であるメッセージが表示される。また、画面101には、顔画像の登録の動作を指示するためのボタン102a、運転者の認証の動作を指示するためのボタン102b、および登録されている顔画像の確認の動作を指示するためのボタン102cもそれぞれ表示される。
図3のフローチャートに戻り、例えば、ステップS11において、制御部61は、ユーザによりボタン102aが押圧操作されたか否かを判定する。
ステップS11において、例えば、ユーザによりボタン102aが押圧操作されるなど、ユーザにより登録操作が行われたと判定された場合、ステップS12に進み、画像取得部51、顔画像検出部52、顔画像登録制御部53、および画像記憶部54は、ユーザ(運転者)の顔画像を登録する登録の処理を行う。
ここで、ステップS11における、画像取得部51、顔画像検出部52、顔画像登録制御部53、および画像記憶部54による登録の処理の詳細について、図5のフローチャートを参照して説明する。
ステップS31において、画像取得部51は、被写体であるユーザの画像に対応した画像データを生成して取得し、取得した画像データを顔画像検出部52および顔画像登録制御部53に供給する。
ステップS32において、顔画像検出部52は、画像取得部51から供給される画像データに対応する画像から、顔画像を検出する顔画像検出の処理を行って、検出結果を顔画像登録制御部53に供給する。
ここで、ステップS32における、顔画像検出部52による顔画像検出の処理の詳細について、図6のフローチャートを参照して説明する。
ステップS41において、顔画像検出部52は、画像取得部51からの画像データに対応する画像から、ユーザの頭部の画像を検出する。具体的には、顔画像検出部52は、例えば、頭部は楕円状の形状をしているので、画像取得部51からの画像データに対応する画像から、楕円状となる画像を検出することにより、その楕円状の画像を頭部とすることで、頭部の画像を検出する。
なお、頭部の検出方法であるが、楕円状の形状をしている画像を検出する以外に、例えば、顔の下側の輪郭線と類似した形状の画像を検出したり、濃淡のパターンを用いて画像を検出する方法など、画像取得部51からの画像データに対応する画像から、頭部の画像を検出できる方法であればよい。
ステップS42において、顔画像検出部52は、検出された頭部の画像から器官の画像を検出する。具体的には、顔画像検出部52は、頭部の画像から、ユーザの、例えば、目、鼻、口、眉、耳、髪などの画像を検出することにより、器官の画像を検出する。
なお、器官の検出方法であるが、全ての器官の画像を検出する必要はなく、頭部の画像から、例えば、目と口の画像のみを検出するなど、器官の画像の一部を検出するようにしてもよい。
ステップS43において、顔画像検出部52は、顔画像の検出結果を顔画像登録制御部53に出力する。具体的には、例えば、顔画像検出部52は、画像取得部51からの画像データに対応する画像から検出される、頭部と器官の画像の検出結果を顔画像登録制御部53に供給する。
図5のフローチャートに戻り、ステップS33において、顔画像登録制御部53は、顔画像検出部52からの検出結果を基に、画像取得部51からの画像データに対応する画像から、顔画像が検出されたか否かを判定する。具体的には、顔画像登録制御部53は、画像取得部51から供給された画像データに対応する画像についての顔画像の検出結果が、例えば、複数の器官の画像のうち、一部の器官の画像が検出されていないことを示している場合、器官の一部が隠れている顔画像であると判定する。
なお、顔画像であるかの判定基準は、上述した例に限らず、器官が隠れている顔画像であると判定する基準(閾値)を、器官の画像に応じて決定することができる。例えば、目と口の画像が検出されたとき、器官の画像の一部が隠れている顔画像であると判定させたり、器官の画像の1つまたは2つが欠けているとき、器官の画像の一部が隠れている顔画像であると判定させたりする閾値を用いるようにしてもよい。また、同様に、顔画像ではないと判定する基準(閾値)を、器官の画像に応じて決定することができる。例えば、器官の画像が1つしか検出されないときなど、器官の画像の一部が検出されても顔画像でないと判定させる閾値を用いるようにしてもよい。すなわち、顔画像であるかの判定基準となる閾値は、状況に応じて適宜変更することが可能となる。
また、顔画像検出の処理であるが、あらかじめ顔画像を検出する範囲を絞り込んで、画像取得部51から供給される画像データに対応する画像のうち、ある所定の範囲の画像においてのみ顔画像検出の処理を行うようにしてもよい。
ステップS33において、顔画像が検出されていないと判定された場合、画像データを登録する必要がないので、ステップS34の処理をスキップして、図3のステップS12に戻り、ステップS13以降の処理が実行される。例えば、顔画像登録制御部53は、器官の画像が全く検出されない場合、画像データに対応する画像には顔画像が含まれていないと判定されるので、画像データを画像記憶部54に登録せずに、登録の処理を終了する。
一方、ステップS33において、顔画像が検出されたと判定された場合、ステップS34に進み、顔画像登録制御部53は、画像取得部51からの画像データを画像記憶部54に記憶させて、処理は、図3のステップS12に戻り、ステップS13以降の処理が実行される。
具体的には、例えば、図7に示すように、画像取得部51が取得した画像データに対応する画像111には、顔画像が含まれているので、顔画像検出部52は、画像101から頭部と器官の画像を検出し、その検出結果を顔画像登録制御部53に供給する。そして、顔画像登録制御部53は、顔画像検出部52からの検出結果を基に、画像111には、顔画像が含まれていると判定し、画像111に対応する画像データを画像記憶部54に記憶させる。
なお、画像記憶部54が記憶する画像データ、すなわち、登録される画像データは、例えば、高解像度などの品質の高い画像であることが望ましい。例えば、画像取得部51、顔画像検出部52、および顔画像登録制御部53は、登録の処理を行う同じユーザに対して、繰り返し取得した画像(顔画像)の類似度を算出することで、類似度が所定の閾値を超える画像となったときに、その画像に対応する画像データを画像記憶部54に記憶させるようにすることで、品質の高い画像を登録することが可能となる。また、例えば、画像取得部51、顔画像検出部52、および顔画像登録制御部53は、登録の処理を行う同じユーザに対して、繰り返し取得した画像(顔画像)そのもののダイナミックレンジや明るさ、ノイズレベルなどを検出して、品質の低い画像を除くようにすることで、品質の高い画像を登録することが可能となる。
さらにまた、不適切画像検出部56は、登録の処理において、顔画像登録制御部53が画像記憶部54に記憶させる画像データに対応する画像から不適切な画像を検出し、その検出したことを示す情報を不適切な画像データに対応させて画像記憶部54に記憶させるようにしてもよい。
図3のフローチャートに戻り、一方、ステップS11において、ユーザにより登録操作が行われていないと判定された場合、ステップS13に進み、制御部61は、操作部60からの操作信号に基づいて、利用操作が行われたか否かを判定する。例えば、ステップS13において、制御部61は、ユーザにより、図4のボタン102bが押圧操作されたか否かを判定する。
ステップS13において、例えば、ユーザによりボタン102bが押圧操作されるなど、ユーザにより利用操作が行われたと判定された場合、ステップS14に進み、顔画像利用部55は、利用の処理を行う。
なお、利用の処理を行うための条件は、上述した、ユーザにより利用を指示するための操作が行われたかを判定する条件に限定されず、例えば、顔画像検出部52が画像取得部51より取得した画像データに対応する画像から顔画像を検出したとき、ある時間から所定の時間が経過したとき、対象状態検出部59が所定の状態を検出したとき、または不適切画像検出部56が画像記憶部54より取得した画像データに対応する画像から不適切な画像を検出したときなど、他の条件とすることも可能である。
ここで、ステップS14における、顔画像利用部55による利用の処理の詳細について、図8のフローチャートを参照して説明する。
ステップS51において、顔画像利用部55は、顔画像認証の処理などの顔画像を利用した各種の処理を行う。具体的には、例えば、乗用車を利用するユーザの顔画像と利用者IDをあらかじめ登録しておくことにより(例えば、上述したステップS12の処理)、顔画像利用部55は、ユーザに対して顔画像認証の処理を行って、顔画像認証に成功した場合、登録されているユーザが乗用車を使用できるようにする。
なお、顔画像利用部55は、顔画像認証に成功した場合、例えば、ユーザが搭乗するとき、そのユーザに応じたシートポジションやエアコンの設定をしたり、ユーザに応じた情報提供サービスをしたり、ユーザの情報を外部の他の機器に通知したり、ユーザの状態を監視したりするなどの各種の処理を行うようにしてもよい。
すなわち、利用の処理とは、例えば、顔画像が登録されているユーザを、顔画像認証の処理などにより識別した結果を用いた処理、または顔画像若しくは顔画像を含んでいる画像を用いた処理などの顔画像を利用した各種の処理のことをいう。
なお、本発明を車載装置1と同様に、例えば、デジタルスチルカメラに適用した場合、顔画像利用部55は、画像があらかじめ登録されているユーザの画像を撮像させることにより、登録されている画像と撮像された画像とを比較することで行う認証処理などの、利用の処理を実行する。そして、認証に成功した場合、顔画像利用部55は、例えば、そのデジタルスチルカメラの各種の機能をユーザに操作させることを許可するとともに、その許可されたユーザの名前を表示させるようにするなどの利用の処理を実行する。
また、同様に、例えば、本発明を携帯電話機に適用した場合、顔画像利用部55は、通話の相手の携帯電話機に顔画像を記憶させておくことにより、着信時に顔画像を表示させる処理、通信相手の顔画像をあらかじめ登録しておき、その登録された顔画像がユーザにより選択された場合、その選択された相手に発信する処理、または通信相手に発信者の顔がわかるように、発信と同時に自分の顔画像を通信相手に送信する処理などの、利用の処理を実行する。
ステップS52において、顔画像利用部55は、制御部61を介して操作部60からの操作信号に基づいて、ユーザにより利用終了が指示されたか否かを判定する。
ステップS52において、ユーザにより利用終了が指示されていないと判定された場合、利用処理を継続するので、ステップS51に戻り、ステップS52において、ユーザにより利用終了が指示されるまで、顔画像利用部55により各種の処理が実行される。
なお、顔画像利用部55は、利用の処理において生成された画像データを、画像記憶部54に適宜記憶させることもできる。その場合、後述する確認の処理においては、その顔画像利用部55により画像記憶部54に記憶させられた画像データに対しても処理が実行されることになる。
一方、ステップS52において、ユーザにより利用終了が指示された判定された場合、利用の処理は終了し、図3のステップS14に戻り、ステップS15以降の処理が実行される。
また、ステップS13において、ユーザにより利用操作が行われていないと判定された場合、ステップS15に進み、制御部61は、操作部60からの操作信号に基づいて、確認操作が行われたか否かを判定する。例えば、ステップS15において、制御部61は、ユーザにより、図4のボタン102cが押圧操作されたか否かを判定する。
ステップS15において、例えば、ユーザによりボタン102cが押圧操作されるなど、ユーザにより確認操作が行われたと判定された場合、ステップS16に進み、画像記憶部54、不適切画像検出部56、表示制御部57、および表示部58は、確認の処理を行う。
ここで、ステップS16における、画像記憶部54、不適切画像検出部56、表示制御部57、および表示部58による確認の処理の詳細について、図9のフローチャートを参照して説明する。
なお、上述したように、確認の処理は、例えば、利用の処理(ステップS14の処理)において、乗用車の利用を登録された顔画像による顔画像認証を利用して制御する場合、顔画像の登録を正しく行われないと、ユーザを認証することができない。このように顔画像の登録が正しく行われていない場合、ユーザは、車載装置1が正常に動作しているかを確認してもらうために、車載装置1が搭載された乗用車をカーディーラに持ち込むことになる。カーディーラのセールスマンや整備担当者は、車載装置1のハードウェアの確認を行い、ハードウェアに異常がない場合には、顔画像の登録に問題がある可能性があるので、ユーザの顔画像を画面に表示して確認することになる。
すなわち、例えば、制御部61は、操作部60を介して、カーディーラのセールスマンなどにより所定の操作が指示されたとき、図9のフローチャートに示される処理を各部に実行させる。
ステップS71において、不適切画像検出部56と表示制御部57は、画像記憶部54に記憶されている画像データを取得する。
ステップS72において、不適切画像検出部56は、不適切画像検出の処理を行う。
ここで、ステップS72における、不適切画像検出部56による、不適切画像検出の処理の詳細について、図10のフローチャートを参照して説明する。
ステップS81において、不適切画像検出部56は、画像記憶部54より取得した画像データに対応する画像から、顔画像の状態を検出する。具体的には、例えば、不適切画像検出部56は、普通ではない顔画像、他の人の顔画像、または複数の顔画像などを検出する。
より詳細には、普通ではない顔画像とは、例えば、白目だけになっている顔画像、両目若しくは片目を閉じている顔画像、口を大きく開けている顔画像、顔の前に顔以外の手や指などがある画像である。またそれらの検出と判定方法であるが、白目だけになっている顔画像は、例えば、目の領域において虹彩や瞳孔などの黒目の部分が検出されなかったり、白い色だけが検出されることなどによって判定させる。
また、目を閉じている顔画像は、例えば、目の開閉状態を検出することによって判定させ、口を大きく開けている顔画像は、例えば、口の開閉状態を検出することによって判定させる。さらにまた、口の検出状態は、例えば、上述した器官の画像を検出する場合、口と判定された領域の形状が顔の垂直方向に対して、縦と横との比率がどの程度となっているかにより、縦に大きく伸びているとき、口を大きく開けていると判定させる。また、顔の前に顔以外の手や指などがある顔画像は、例えば、顔に当てている手を検出することによって判定させる。なお、手や指以外のものが顔の前にあることを検出して判定させるようにしてもよい。
さらにまた、例えば、女性のなかには、化粧をする前や化粧をしている途中の顔を他の人に見られるのを望まない人もいる。その場合、例えば、化粧をする前の顔画像をあらかじめ登録しておいて、登録されているその化粧をする前の顔画像と類似度の高い顔画像が検出されたとき、普通ではない顔画像であると判定させたり、化粧をした後の顔画像をあらかじめ登録しておいて、登録されているその化粧をした後の顔画像と類似度が低い顔画像が検出されたとき、普通ではない顔画像であると判定させる。すなわち、男女を問わず、ユーザ本人が望んでいる顔画像と類似度の低い顔画像が検出されたとき、不適切な画像として判定させることができる。
なお、顔画像からユーザの表情を検出して、例えば、怒っている顔、困っている顔、悲しい顔などを不適切な画像として判定させることもできる。また、ユーザが継続的に普通ではない顔を続けていた場合、顔画像の登録時に類似度が正常と判定されていても、普通ではない顔画像が登録される可能性もある。その場合、普通ではない顔画像の判定を、“普通である”と“普通ではない”の2通りにより判定させるのではなく、普通ではない程度を表す値(普通ではない度合い)として出力するようにしてもよい。すなわち、例えば、登録される顔画像と、ユーザが以前に正常であると判定された顔画像と比較して、普通ではない度合いが所定の閾値を超えるとき、普通ではない顔画像であると判定させる。その結果、ある程度の範囲を持って普通でない顔画像を判定させることが可能となるので、各ユーザの個人差に対応させることができる。
また、他の人の顔画像とは、例えば、確認しようとしているユーザとは明らかに異なる人(他の人)を含んでいる画像である。例えば、他の人の顔画像は、あらかじめユーザの顔画像と異なっていると判定できる場合、他の人の顔画像であって、普通ではない顔画像であると判定することが望ましいので、登録されているユーザの顔画像と比較して類似度を算出し、その類似度が極端に低いとき、他の人の顔画像である不適切な画像であると判定させる。また、性別や人種、年齢などを判別する方法を用いることにより、それらの判別結果をさらに加えて、顔画像が登録されているユーザ本人の顔画像と大きく異なる場合、他の人の顔画像である不適切な画像であると判定させるようにしてもよい。
さらにまた、複数の顔画像とは、例えば、確認しようとしているユーザ以外の顔画像を含んでいる画像である。例えば、複数の顔画像は、複数の顔画像が検出される場合、その顔画像のいずれかまたは双方が他の人の顔画像となるので、複数の顔画像が検出されたとき、複数の顔画像である不適切な顔画像であると判定させる。また、複数の顔画像は、ユーザ本人の顔画像を識別し、本人以外の他の人の顔画像を不適切な顔画像であると判定させたり、ユーザ本人の顔画像との類似度を算出し、類似度の低い顔画像を不適切な顔画像であると判定させてもよい。すなわち、確認しようとしているユーザ本人以外の顔画像が画面に表示されるのは望ましくないので、利用の目的や内容に応じて、上述した方法により複数の顔画像を判定させている。
このように、不適切画像検出部56は、画像記憶部54より取得した画像データに対応する画像から、その画像に含まれる普通ではない顔画像、他の人の顔画像、または複数の顔画像などについて、上述した例のような状態を検出する。
なお、不適切画像検出部56は、例えば、画像の撮像された状況などにより、顔画像を正しく検出できないとき、不適切な画像であると判定させるようにしてもよい。
ステップS82において、不適切画像検出部56は、画像記憶部54より取得した画像データに対応する画像から、顔画像以外の要素を検出する。例えば、不適切画像検出部56は、検出されるべきでない物体(状態)のある画像、検出されるべき物体(状態)のない画像、顔画像以外の人の画像、人以外の対象の画像、または顔画像が検出されない画像などを検出する。
具体的には、検出されるべきでない物体(状態)のある画像とは、例えば、眼鏡やサングラス、帽子などの、本来ならばそこにあるはずのない物体の画像である。すなわち、ユーザのなかには、眼鏡やサングラスをしていることを他の人に隠している人もおり、そのような人たちは、眼鏡などをしている自分の顔画像が見られることを望んではいないので、例えば、顔画像の領域に、眼鏡と類似する物体の画像が検出された場合、その顔画像のユーザは、眼鏡をかけているので、不適切な画像であると判定させる。また、同様に、例えば、髪型や帽子の形状をあらかじめ認識しておき、特定の髪型や帽子をかぶっている顔画像が検出された場合、その画像を不適切な画像と判定させるようにしてもよい。
また、検出されるべき物体(状態)のない画像とは、例えば、制服や制帽などの、本来ならばそこにあるはずの物体の画像である。すなわち、ユーザのなかには、例えば、運転中に制服や制帽を着用していることが望ましい場合があり、特定の衣服や帽子、装備などを着用していない顔画像(画像)が検出された場合、その画像を不適切な画像と判定させる。
さらに、顔画像以外の人の画像とは、例えば、ユーザが着用している衣類などの、ユーザの顔以外の画像である。例えば、顔画像の肌の色を基準(閾値)として、首から下の領域において衣類らしい特徴を持っている物体が検出されない場合や、肌の色に近い色が連続して検出された場合、衣類を着用していないので、不適切な画像であると判定させる。また、例えば、指や手を、口や鼻の穴に入れているような画像は、特に恥ずかしく、表示されることを望まない画像である可能性が高いので、それらの画像も不適切な画像であると判定させる。なお、顔画像以外の人の画像は、上述した例に限らす、例えば、片方の目の下に指を当てている仕草など、ユーザが表示されることを望まない画像であればよく、それらが検出された場合には、その画像を不適切な画像と判定させる。
また、人以外の対象の画像とは、例えば、ぬいぐるみや絵などの人以外で顔画像となりうる可能性のある画像である。例えば、助手席のシートカバーにパンダの絵が描かれている場合や、後部座席に常に熊のぬいぐるみが置いてある場合など、車内にいるユーザを検出して登録しようとしたとき、パンダや熊の顔部分が人の顔と誤検出されて、繰り返し画像記憶部54に記憶される可能性がある。このような状態において、顔画像の確認を行うと、パンダや熊の顔の画像が多数表示されてしまい、確認作業に無駄な手間がかかるとともに、画像記憶部54には、不要なパンダや熊の顔の画像データが記憶されるので、必要な画像データを記憶する容量を圧迫することも考えられる。
また、ユーザのなかには、自分の顔として、ぬいぐるみの顔や動物の絵などの画像が表示されることに対して、好ましく思わなかったり、そのようなぬいぐるみの顔や動物の絵などの画像が表示されること自体が好ましくない状況も考えられる。したがって、このような人以外の対象の画像が検出された場合、不適切な画像であると判定させる。なお、例えば、乗用車の座席に人が座っていない状態や、座席に物が置かれている状況を検出し、それらが検出された場合、ユーザはその場所にはいないので、不適切な画像であると判定させるようにしてもよい。
さらにまた、顔画像が検出されない画像とは、ユーザの顔画像が取得できないときに取得された画像である。例えば、顔画像が検出されない画像は、ドアが開いてユーザ(運転者)が乗り込む瞬間や、運転者が降車する瞬間に顔画像の登録が行われると、顔が撮像されなかったり、位置が適切ではなかったり、顔がぶれたりするなどの望ましくない状態となる可能性がある。したがって、このような顔画像が検出されない場合、不適切な画像であると判定させる。
なお、これらの顔画像が検出されない画像は、例えば、対象状態検出部59により検出されるので、顔画像登録制御部53が、画像記憶部54に記憶させる画像データに対応させて、対象状態検出部59からの顔画像の検出結果を記憶させることにより、不適切画像検出部56が、顔画像が検出されない画像を不適切な画像と判定させることができる。
なお、例えば、顔に直接日光や対向車のヘッドライトが当たっていることが検出されたり、高速走行中に窓が開いていて、車内に風が強く吹き込んでいることが検出された場合、顔画像が検出されない画像となる可能性があるので、そのときには、不適切画像検出部57は、不適切な画像と判定させる。さらに、例えば、乗用車の激しい振動が検出されたり、高速移動中で加速度の増減の大きい状態が検出された場合、顔が揺れていたり、ユーザ(運転者)が緊張することで、顔の表情が普通ではない可能性があるので、そのときには、不適切画像検出部57は、不適切な画像と判定させる。
また、対象状態検出部59は、例えば、電波や光、音波などを用いて、物体の存在を3次元で解析することにより、ユーザ(運転者)の、例えば、頭部、首、胴、手、足などの位置を検出することが可能であるので、これらの検出された状態が望ましくない状態であるとき、不適切な画像と判定させる。具体的には、例えば、身体の各部が所定の状態にないときや、頭や身体、手足が大きく揺れているときなどには、検出された状態が望ましくない可能性があるので、不適切画像検出部57は、不適切な画像であると判定させる。
なお、例えば、本発明を(カメラ付き)携帯電話機に適用した場合、対象状態検出部59は、バスルームにおいて携帯電話機の撮像機能を使用しているとき、着衣がない画像が記録される可能性があるので、このような状態にあるとき、不適切な画像であると判定させる。また、例えば、対象状態検出部59は、携帯電話機の撮像部が下方向に向けられて使用されているとき、顔ではなく靴や床の模様などが撮像される可能性があるので、このような状態にあるとき、不適切な画像であると判定させる。
このように、不適切画像検出部56は、画像記憶部54より取得した画像データに対応する画像から、その画像に含まれる顔画像以外の、検出されるべきでない物体(状態)のある画像、検出されるべき物体(状態)のない画像、顔画像以外の人の画像、人以外の対象の画像、または顔画像が検出されない画像などについて、上述した例のような要素を検出する。
ステップS83において、不適切画像検出部56は、検出結果を表示制御部57に供給し、処理は、図9のステップS72に戻り、ステップS73以降の処理が実行される。
具体的には、不適切画像検出部56は、画像記憶部54より取得した画像データに対応する画像から検出される、例えば、顔画像の状態と顔画像以外の要素の検出結果を表示制御部57に供給する。
すなわち、不適切画像検出部56が、上述したステップS81およびステップS82の処理の例で説明したような、顔画像の状態や顔画像以外の要素などを検出することにより、表示制御部57は、それらの検出結果に応じて画像の表示を制御することが可能となる。
なお、不適切画像検出部56による、不適切な画像の検出方法であるが、上述した、顔画像の状態や顔画像以外の要素を用いた検出の方法に限らず、不適切な画像を検出できる方法であればよい。また、不適切画像検出部56による、顔画像の状態や顔画像以外の要素などの検出方法であるが、もちろん、上述した全ての方法を実施する必要はなく、利用の目的や内容に応じて適宜選択して実施するようにすればよい。さらにまた、上述した検出方法の一部を他の方法に置き換えて実施するようにしてもよい。
ステップS73において、表示制御部57は、不適切画像検出部56から供給される検出結果に基づいて、画像記憶部54より取得した画像データに対応する画像が、不適切な画像であるか否かを判定する。
ステップS73において、不適切な画像ではないと判定された場合、ステップS74に進み、表示制御部57は、画像記憶部54より取得した画像データに対応する画像を、そのまま表示部58の画面に表示させる。
一方、ステップS75において、不適切な画像であると判定された場合、ステップS75に進み、表示制御部57は、不適切画像表示の処理を行う。
ここで、ステップS75における、表示制御部57による、不適切画像表示の処理の詳細について、図11のフローチャートを参照して説明する。
ステップS91において、表示制御部57は、不適切な画像の表示を禁止するために、画像記憶部54より取得した画像データに対応した画像が表示部58の画面に表示されないように表示を制御して、図9のステップS75に戻り、ステップS76以降の処理が実行される。
ステップS76において、不適切画像検出部56および表示制御部57は、表示部58の画面に表示させる画像があるか否かを判定する。
ステップS76において、表示させる画像があると判定された場合、まだ表示部58の画面に表示させる画像が残っているので、ステップS71に戻り、ステップS71乃至ステップS76の処理が、表示させる画像がなくなるまで繰り返される。
このように、図9のステップS71乃至ステップS76の処理が繰り返されることにより、例えば、表示制御部57は、図12に示すような画面121を、表示部58の画面に表示させる。具体的には、画面121には、画像122a乃至画像122jが表示されているが、画像122a乃至画像122cは、例えば、暗い状態で撮像されたり、ノイズが多いことなどが原因で、顔画像の類似度が低いだけであるので、そのまま画像が表示されている。
画像122dは、撮像されたユーザの顔画像の位置が下方向にずれているだけであるので、そのまま画像が表示されている。このとき、取得された画像がそのまま表示されているので、例えば、カーディーラのセールスマンなどは、顔画像の内容ではなく、顔画像の位置に問題があることがわかる。また、画像122eは、顔画像が検出されていないので、例えば、運転席のシートやヘッドレストなどの、その顔画像が検出されていない画像がそのまま表示されている。
さらにまた、画像122fおよび画像122gは、例えば、上述したように、白目になっている顔画像などの他の人に見られたくない顔画像の画像であるので、顔画像の表示が禁止されている。また、画像122hは、例えば、上述したように、ユーザ(運転者)がドアを開けて乗用車に乗り込むときにおいて顔画像が検出されないなど、ユーザにとって望ましい状態ではない画像であるので、顔画像の表示が禁止されている。さらに、画像122iは、登録されていないユーザの顔画像の画像であるので、顔画像の表示が禁止されている。また、画像122jは、登録されているユーザと登録されていないユーザの2人の顔画像の画像であるので、登録されているユーザの顔画像がそのまま表示され(画像122jの左側の顔)、登録されていないユーザの顔画像がマスキングされて表示されている(画像122jのマスキングされた右側の顔)。
すなわち、表示制御部57は、不適切画像検出部56からの検出結果を基に、例えば、画像記憶部54より取得した画像データに対応する画像122a乃至画像122jのうち、不適切な画像ではない画像122a乃至画像122eをそのまま表示部58の画面に表示させ、それに対して、不適切な画像である画像122f乃至画像122jをそのまま表示部58の画面に表示させないようにしている(不適切な画像の表示を禁止している)。
このように、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像の表示を禁止することができる。その結果、上述したように、例えば、車載装置1が正常に動作しているかを確認してもらうために、ユーザによって、車載装置1が搭載された乗用車がカーディーラに持ち込まれた場合、セールスマンなどは、顔画像の登録が正しく行われたかを確認するとき、不適切な画像、すなわち、ユーザ本人が意図していない、または他人に見られたくない画像の表示が禁止されているので、それらの不適切な画像を見ることはできない。その結果、ユーザにとっては、他の人には見られたくない自分の顔が見られないこととなり、プライバシーが保護されることになる。
また、画面121には、画像122a乃至画像122jの10個の画像を表示しているが、表示させる画像が10個以上ある場合、表示制御部57は、ユーザによるボタン123aの押圧操作に応じて操作部60から制御部61を介して供給される操作信号を基に、画像122a乃至画像122jよりも前に表示させる10個の画像を表示部58の画面に表示させる。また、同様に、表示制御部は、ユーザによるボタン123bの押圧操作に応じて、画像122a乃至画像122jよりも次に表示させる10個の画像を表示部58の画面に表示させる。
なお、表示制御部57は、不適切画像検出56からの検出結果を基に、表示させる画像の詳細な情報を表示させるようにしてもよい。具体的には、表示制御部57は、表示部58の画面に表示させる画像122a乃至画像122jのうち、例えば、画像122aには“類似度低下”、画像122bには“類似度低下”、画像122cには“類似度低下”、画像122dには“位置不良”、画像122eには“顔非検出”などの文字を画像に対応させて表示させてもよい。また、同様に、表示制御部57は、画像122a乃至画像122jのうち、例えば、画像122fには“顔画像不良”、画像122gには“顔画像不良”、画像122hには“顔非検出”、画像122iには“非登録者”、画像122jには“複数顔検出”などの文字を画像に対応させて表示させてもよい。その結果、例えば、カーディーラのセールスマンなどは、表示されない不適切な画像の不適切な理由を推測することができる。
また、表示制御部57による、不適切画像表示の処理であるが、不適切な画像の表示を禁止する方法に限らず、例えば、不適切な画像に対応する(不適切な画像を抽象化した)アイコンを表示させるようにしてもよい。したがって、図9のステップS75における、表示制御部57による、不適切画像表示の処理の他の例について、図13のフローチャートを参照して説明する。
ステップS101において、表示制御部57は、不適切な画像に対応したアイコンを取得する。具体的には、例えば、表示制御部57は、不適切画像検出部56からの検出結果を基に、画像記憶部54に記憶されているアイコンを取得する。
ステップS102において、表示制御部57は、画像記憶部54より取得した画像データに対応する不適切な画像の代わりに、その不適切な画像に対応したアイコンを表示部58の画面に表示させる。
そして、図9のフローチャートに戻り、ステップS71乃至ステップS76の処理が、表示させる画像がなくなるまで繰り返される。このように、図9のステップS71乃至ステップS76の処理が繰り返されることにより、例えば、表示制御部57は、図14に示すような画面131を、表示部58の画面に表示させる。
具体的には、画面131には、画像132a乃至画像132jが表示されているが、画像132aは、顔画像から目が検出されていない画像であるので、それに対応した目が検出されていないことを示しているアイコンが表示され、画像132bは、顔画像からサングラスが検出された画像であるので、それに対応したサングラスをしていることを示しているアイコンが表示されている。さらにまた、画像132cは、顔画像からあくびをしていることが検出された画像であるので、それに対応したあくびをしていることを示しているアイコンが表示され、画像132dは、顔画像から撮像された顔画像の位置が下方向にずれている画像であるので、それに対応した下方向にずれていることを示しているアイコンが表示されている。
また、画像132eは、撮像された顔画像が上方向を向いている画像であるので、それに対応した上方向を向いていることを示しているアイコンが表示され、画像132fは、顔画像が隠れてしまっている画像であるので、それに対応した顔画像が隠れていることを示しているアイコンが表示され、画像132gは、例えば、上述したように、白目になっている顔画像などの他の人に見られたくない顔画像の画像であるので、それに対応した顔画像とは異なるアイコンが表示されている。
さらにまた、画像132hは、顔画像が検出されなかった画像であるので、それに対応した顔画像が検出されなかったことを示しているアイコンが表示され、画像132iは、登録されていないユーザの顔画像の画像であるので、それに対応した登録されていないユーザの顔画像を示しているアイコンが表示され、画像132jは、登録されているユーザと登録されていないユーザの2人の顔画像の画像であるので、それに対応した2人の顔画像を示しているアイコンが表示されている。
すなわち、表示制御部57は、不適切画像検出部56からの検出結果を基に、例えば、画像記憶部54より取得した画像データに対応する画像132a乃至画像132jを、そのまま画像を表示させるのではなく、それらの画像に対応したアイコンが表示部58の画面に表示されるように表示を制御している。
このように、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像の代わりに、その画像を抽象化したアイコンを表示させることができる。その結果、上述したように、例えば、車載装置1が正常に動作しているかを確認してもらうために、ユーザによって、車載装置1が搭載された乗用車がカーディーラに持ち込まれた場合、セールスマンなどは、顔画像の登録が正しく行われたかを確認するとき、不適切な画像、すなわち、ユーザ本人が意図していない、または他人に見られたくない画像の代わりに、それらの画像に対応したアイコンが表示されているので、それらの不適切な画像を見ることはできない。その結果、ユーザにとっては、アイコンは確認されても、他の人には見られたくない自分の顔が見られないこととなり、プライバシーが保護されることになる。
なお、上述したように、表示制御部57は、表示部58の画面に表示させる画像132a乃至画像132jのうち、例えば、画像132aには“目が検出されない”、画像132bには“サングラス”、画像132cには“あくび”、画像132dには“位置不良”、画像132eには“上を向いている”などの文字を画像に対応させて表示させてもよい。また、同様に、表示制御部57は、画像132a乃至画像132jのうち、例えば、画像132fには“隠れ”、画像132gには“顔画像不良”、画像132hには“顔非検出”、画像132iには“非登録者”、画像132jには“複数顔検出”などの文字を画像に対応させて表示させてもよい。その結果、例えば、カーディーラのセールスマンなどは、表示されているアイコンの不適切な理由を推測することができる。
また、図12の画面121と図14の画面131は、表示方法の一例であり、表示制御部57は、上述したステップS81およびステップS82の処理の例で説明したような、不適切画像検出部56によって検出される、顔画像の状態や顔画像以外の要素などの検出結果に基づいて、表示部58の画面に表示させる画面121と画面131の内容を変更させる。また、表示制御部57は、上述したように、利用の目的や内容に応じて詳細な理由を表示して、不適切な理由を推測し易くしたり、逆に、理由を簡略化して不適切な理由を推測しにくくしてもよい。
さらにまた、図12の画面121の画像122a乃至画像122jと、図14の画面131の画像132a乃至画像132jは、例えば、顔画像認証の初期設定時に登録された画像(顔画像)、または顔画像認証の認証時に撮像された画像(顔画像)となる。
ところで、例えば、画面131の画像132a乃至画像132jのうち、画像132aがユーザの押圧操作により選択された場合、表示制御部57は、図15で示すような、画面131に重なるようにして、画像132aの詳細を示している画面141を表示部58の画面に表示させる。
画面141には、例えば、目が検出されていないことを示しているアイコンの画像132aとともに、その説明文、判定結果、詳細情報が表示される。また、画面141では、ボタン142が表示されており、ユーザによりボタン142が押圧操作された場合、画像132aには、アイコンの代わりにそのアイコンの元となる顔画像、すなわち、アイコンではなく、実際に撮像された目が検出されていないユーザの顔画像の画像が表示部58の画面に表示される。
このとき、新しく開いた画面141では、例えば、表示される画像132aに対して、ぼかしフィルタの画像処理を施すことにより、セールスマンなどが画像132aに含まれる顔画像の細かい表情がわからないように表示させる。その結果、ユーザは、この画像132aが表示されている画面141を確認することで、実際の自分の顔画像を表示してもよいかを判断することが可能となる。
すなわち、上述したように、顔画像の登録が正しく行われたかを確認するために、カーディーラのセールスマンなどの操作により、例えば、画面131が表示部58の画面に表示させた場合、不適切な画像に対応するアイコンが表示されることになるが、顔画像の登録に問題がある原因を解明するために、どうしてもユーザの顔画像を表示させて確認しなければならないこともある。その場合、セールスマンなどは、不適切な画像を表示させることが可能であるかをユーザに確認し、ユーザが表示させてもよいと答えた場合には、上述したように、ボタン142を押圧操作して、アイコンに対応する不適切な画像を表示させることができる。その結果、セールスマンなどは、ユーザのプライバシーを保護するとともに、顔画像を確認して顔画像の登録が正しく行われたかを調査することができる。
また、ユーザ本人の同意を確認する方法は、例えば、パスワードの入力やIDカードの提示などの手段を設けて行うようにしてもよい。
なお、上述した例では、確認の処理の一例として、顔画像認証を行う車載装置1において、顔画像認証が適切に行われない場合に、登録されている画像(顔画像)の内容を確認させる処理を説明したが、確認の処理はこれに限らず、例えば、登録されている特定のユーザの画像(画像)を探すとき、画像(顔画像)と名前やIDとが一致するかを確認するとき、またはネットワークを介して外部の他の機器に送信する画像(顔画像)を選択するときなどに実行される。
図9のフローチャートに戻り、ステップS76において、表示させる画像がないと判定された場合、図3のステップS16に戻り、ステップS17以降の処理が実行される。
ステップS17において、制御部61は、操作部60からの操作信号に基づいて、ユーザにより動作終了が指示されたか否かを判定する。
ステップS17において、ユーザにより動作終了が指示されていなと判定された場合、ステップS11に戻り、ステップS17において、ユーザにより動作終了が指示されるまで、ステップS11乃至ステップS17の処理が繰り返される。
一方、ステップS17において、ユーザにより動作終了が指示されたと判定された場合、運転者認証の処理、すなわち、運転者認証システムは終了する。
このように、不適切な画像については、表示や出力を禁止したり、他の画像で置き換えたりしているので、ユーザにとって望ましくない画像が表示部58の画面に表示されたり、外部の他の機器に出力されたりすることを防止することができる。
以上のように、本発明によれば、ユーザの望んでいない顔画像が、他の人に見られないように表示を制御することができる。
また、本発明によれば、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像を、ユーザ本人による許可なしでは表示されないように、非表示処理やマスキング、画像に対応するアイコンなどの処理を施すことが可能である。その結果、それらの見られたくない画像を他の人に見られないようにすることができるとともに、ユーザのプライバシーを保護することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM,DVD)を含む)、光磁気ディスク(MDを含む)、若しくは半導体メモリなどよりなる図1のリムーバブルメディア22により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている図1のROM12や記録部(図示せず)などで構成される。
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
さらにまた、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。