以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
(第1実施形態)
図1は、第1実施形態に係るカメラシステム1の要部断面図である。本実施形態では、表示装置の一例として、カメラシステム1について説明する。カメラシステム1は、カメラ本体2と交換可能な撮影レンズ3を組み合わせて撮像装置として機能する、レンズ交換式一眼レフカメラである。カメラシステム1は表示装置を内蔵する。
撮影レンズ3は、フォーカスレンズ、ズームレンズおよび防振レンズを含むレンズ群4、絞り5、カメラシステム1の振れを検出する角速度センサ6、レンズ群4を駆動する不図示の駆動装置等を備える。角速度センサ6は、少なくとも光軸に直交する2軸周りの角速度を検出する。駆動装置は、例えば振動波モータ、VCMにより構成される複数のモータを有し、フォーカスレンズを光軸方向に駆動し、防振レンズを光軸方向とは異なる方向に駆動する。
また、撮影レンズ3は、撮影レンズ3の全体を制御すると共に、カメラ本体2と協働するレンズCPU7を有し、撮影者の心拍数、血流量、血圧、発汗量、体温および撮影レンズ3を把持する圧力等を検出するレンズ側生体センサ部8を有する。
カメラ本体2は、撮影レンズ3からの光束を反射してファインダー光学系26に導く反射位置と、撮影レンズ3からの光束がCCDまたはCMOSなどから構成される撮像素子27に入射するように退避する退避位置とで揺動するメインミラー28を備える。メインミラー28の一部の領域は半透過領域となっており、カメラ本体2は、この半透過領域を透過した光束を焦点検出センサ29へ反射するサブミラー30を備える。サブミラー30は、メインミラー28に連動して揺動し、メインミラー28が退避位置をとるときには、サブミラー30も光束から退避する。なお、焦点検出センサ29は、位相差方式により入射する光束の焦点状態を検出する。
反射位置にあるメインミラー28で反射された光束は、焦点板31、ペンタプリズム32を介してファインダー光学系26へ導かれる。ファインダー光学系26は、複数のレンズから構成されており、撮影者はファインダー光学系26により被写界を確認することができる。
ペンタプリズム32を透過する光束の一部は測光センサ40に導かれる。測光センサ40は、撮影レンズ3へ入射する光束を複数の領域ごとに測光することにより、被写界の輝度分布を計測する。また、ペンタプリズム32の上方にはGPS(Global Positioning System:全地球測位システム)モジュール41を備えており、GPS衛星からの信号を受信して、カメラシステム1が存在している位置情報を取得する。さらに、カメラ本体2は、撮影レンズ3のマウント部近傍で撮影レンズ3と干渉しない位置に、被写界の音を取り込むマイク42と、ファインダー光学系26の近傍にスピーカ43を備える。
メインミラー28が退避位置にあるときには、撮影レンズ3からの光束は、ローパスフィルタ33を介して撮像素子27に入射する。撮像素子27の近傍には撮像基板34が設けられており、撮像基板34の後方には外部に面して背面モニタ37が設けられている。背面モニタ37は表示装置を構成する。
カメラ本体2には、撮影者の右の手指が触れる位置に、撮影者の心拍数、血流量、血圧、発汗量、体温およびカメラ本体2を把持する圧力などを検出するカメラ本体側生体センサ部16を有している。カメラ本体側生体センサ部16の具体的な構成および配置につては後述する。
図2は、本実施形態に係るカメラシステム1の上部概観図である。具体的には、操作者が右手でカメラ本体2を把持すると共に左手で撮影レンズ3を把持している状態を示す図である。撮影レンズ3は、上述のように、撮影者の心拍数、血流量、血圧、発汗量、体温および撮影レンズ3を把持する圧力等を検出するレンズ側生体センサ部8を有するが、レンズ側生体センサ部8は、撮影者の左手の指または掌が触れる位置に配設されている。
図においては、レンズ側生体センサ部8の一部として、心拍数検出装置9と脈波検出装置12が設けられている様子を示す。心拍数検出装置9は、基準電極9aと検出電極9bから構成される互いに分離した複数の電極部を有し、撮影者の心拍数を検出する。脈波検出装置12は、複数の発光部12a(12a1〜12a4)とこれらに対応する受光部12b(12b1〜12b4)が交互に配置されて構成され、撮影者の脈派を検出する。脈波検出装置12は、後述するように撮影者の血流量、血圧を測定するために用いられる。
上述のように、カメラ本体2は、撮影者の右の手指が触れる位置にカメラ本体側生体センサ部16を有している。撮影者がカメラ本体2を把持するとき、右手の親指がカメラ本体2の背面に位置し、人差し指がレリーズSW24の近傍に位置するので、グリップ部に位置する他の3本の指と離れてしまう。このため、カメラ本体側生体センサ部16は、右手の親指に対応するカメラ背面位置と、人差し指に対応するレリーズSW24の近傍位置と、他の3本の指に対応するグリップ部近傍のカメラ前面位置とに離間して設けられている。なお、人差し指に対応するカメラ本体側生体センサ部16は、レリーズSW24の表面に設けられていても良い。
なお、カメラ本体2においては、右手の親指と人差し指以外の3本の指がカメラ本体2を把持するカメラ前面位置と、右手の親指に対応したカメラ背面位置との少なくとも一方が、カメラ本体2を把持する把持部である。また、カメラ本体2の背面には、いくつかの操作SWが設けられており、これらの操作SWは右手親指で操作される。また、カメラ本体2の上面には撮影モードを設定する撮影モードSW25が設けられている。
図3は、撮影レンズ3を左手により把持した第1の状態を示す図である。第1の状態は、左手の甲が下側に位置して撮影レンズ3を把持した状態である。図4は、撮影レンズ3を左手により把持した第2の状態を示す図である。第2の状態は、左手の甲が左側に位置して撮影レンズ3を把持した状態である。
撮影者が撮影レンズ3を把持しつつズーム操作、マニュアルフォーカス操作を行う場合においては、左手の親指が他の指とは離れてしまう。また、異なる撮影者、異なる撮影状況(例えば、横位置撮影および縦位置撮影)によっても撮影レンズの把持の仕方は変化する。そこで、撮影レンズ3の円周上には、複数のレンズ側生体センサ部8(8A〜8D)が設けられている。
具体的には、レンズ側生体センサ部8は、ズーム操作位置とマニュアルフォーカス操作位置との少なくとも一方の位置で、かつ、左手の親指に対応する位置と、親指以外の指に対応する位置とに離間して設けられる。より具体的には、レンズ側生体センサ部8は、ズーム操作用ゴム、フォーカス操作用ゴムが設けられた位置であって、左手に接触するように、または、左手と対向するように設けられている。
レンズ側生体センサ部8Aは、上述の心拍数検出装置9、脈波検出装置12の他に、撮影者の発汗量を検出する発汗センサ13、撮影者の体温を検出する温度センサ14、および撮影者が撮影レンズ3を把持する圧力を検出する圧力センサ15を備える。
レンズ側生体センサ部8B〜8Dは、レンズ側生体センサ部8Aと同様に、心拍数検出装置9、脈波検出装置12、発汗センサ13、温度センサ14および圧力センサ15をそれぞれ備える。このように、撮影レンズ3の円周上に複数のレンズ側生体センサ部8(8A〜8D)を設けることにより左手の掌からも生体情報を検出することができる。
なお、本実施形態では、ズーム操作位置、マニュアルフォーカス操作位置等に応じて複数のレンズ側生体センサ部8(8A〜8D)を設けているが、撮影者、撮影状態等に応じて撮影レンズ3の把持の仕方が変った場合においても生体情報を検出できる位置であれば、複数のレンズ側生体センサ部8を上述の位置以外の位置に設けてもよい。また、左手の親指が撮影レンズ3を把持する力はあまり大きくないので、レンズ側生体センサ部8B、8Cにおいては、左手の親指に対応する圧力センサ15を省略してもよい。同様に、レンズ側生体センサ部8に高い検出精度が要求されない場合には、左手の親指に対応する位置のセンサを適宜省略することにより、撮影レンズ3の部品点数を抑えることができる。また、レンズCPU7は、脈波検出装置12の発光部12aに手指がかかっているときだけ発光するように制御してもよい。
図5は、カメラ本体2のレリーズSW24の近傍に設けられたカメラ本体側生体センサ部16を示す図である。図示すように、カメラ本体側生体センサ部16は、心拍数検出装置9と同様の構成を有する心拍数検出装置17と、脈波検出装置12と同様の構成を有する脈波検出装置20とを有している。また、カメラ本体側生体センサ部16は、撮影者の発汗量を検出する発汗センサ21、撮影者の体温を検出する温度センサ22、および撮影者がカメラ本体2を把持する圧力を検出する圧力センサ23を備えている。なお、上述のように、カメラ本体側生体センサ部16は、図示する右手人差し指に対応する位置以外に、親指に対応するカメラ背面位置と、他の3本の指に対応するカメラ前面位置にも設けられているが、それぞれ同様の構成を有する。
図6は、カメラ本体側生体センサ部16が備える心拍数検出装置17と脈波検出装置20の構成を示す図である。図6(a)に示すように、心拍数検出装置17は、基準電極17aと検出電極17bから構成される互いに分離した複数の電極部を有し、撮影者の心拍数を検出する。また、図6(b)に示すように、脈波検出装置20は、複数の発光部20a(20a1〜20a4)とこれらに対応する受光部20b(20b1〜20b4)が交互に配置されて構成され、撮影者の脈派を検出する。
図7は、本実施形態に係るカメラシステム1のブロック図である。撮像基板34は、撮像素子27を駆動する駆動回路10、撮像素子27の出力をデジタル信号に変換するA/D変換回路11、ASICで構成される画像処理制御回路18および撮像素子27からの信号の高周波成分を抽出するコントラストAF回路19などを有している。
画像処理制御回路18は、デジタル信号に変換された画像信号に対してホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を施すと共に、JPEGなどの画像圧縮を行って画像ファイルを生成する。画像ファイルは、画像に関する情報をメタ情報として記憶する領域を有する。例えば、JPEGファイルではEXIF情報として、様々な情報を追加的に付加することができる。具体的には後述するが、本実施形態においては、撮影時の撮影者の生体情報をEXIF情報として記述する。生成された画像ファイルは、画像記録媒体35に記憶される。画像記録媒体35は、カメラ本体2に対して着脱可能なフラッシュメモリなどの記録媒体であっても良いし、カメラ本体2に内蔵されるSSD(Solid State Drive)などの記録媒体であっても良い。
画像処理を施された画像信号は、背面モニタ制御回路36の制御により、背面モニタ37に表示される。撮影直後に撮影された画像信号を所定時間表示すれば、画像記録媒体35に記録された画像ファイルに対応する画像を撮影者に視認させるレックレビュー表示を実現できる。また、撮像素子27が連続的に光電変換する被写界像を、画像記録媒体35に記録することなく背面モニタ37に逐次表示すればライブビュー表示を実現できる。さらに、撮像素子27が連続的に光電変換する被写界像を、例えばMPEG、H.264などの動画圧縮処理を画像処理制御回路18で施して画像記録媒体35に記録すれば、動画撮影を実現することができる。このとき、マイク42で収集した被写界の音声も圧縮処理して、動画データに同期させて記録する。生成される動画像のフレームレートは、例えば30fpsなど、複数のフレームレートから選択されて設定される。
また、撮影者により再生モードが選択されたときには、背面モニタ制御回路36の制御により、撮影後の画像ファイルを背面モニタ37に表示することができる。このとき、画像記録媒体35に記録された画像ファイルは、カメラ本体CPU46により読み出されて画像処理制御回路19により展開される。撮影者が操作部材の操作により別画像ファイルの表示指示を行ったときには、カメラ本体CPU46は、指示された画像ファイルを展開して背面モニタ37に表示する。具体的な表示フローについては後述する。
コントラストAF回路19は、撮像素子27からの撮像信号の高周波成分を抽出してAF評価値信号を生成し、これが最大になるフォーカスレンズ位置を検出する。具体的には、画像処理制御回路18から入力される画像信号から、バンドパスフィルタを用いて所定の高周波成分を抽出し、ピークホールド、積分等の検波処理を行ってAF評価値信号を生成する。生成したAF評価値信号は、カメラ本体CPU46に出力する。
レンズCPU7は、角速度センサ6で検出した手振れをキャンセルするように、撮影レンズ3内の防振レンズを光軸方向とは異なる方向に駆動して光学式手振れ補正を実現している。手振れ補正はこのような光学式手振れ補正に限らず、撮像素子27に駆動機構を付与して、光軸方向とは異なる方向に駆動して手振れをキャンセルする撮像素子駆動式手振れ補正を採用することもできる。さらには、画像処理制御回路18から出力された複数枚の画像間の動きベクトルを算出し、算出した画像間の動きベクトルをキャンセルするように画像読み出し位置を制御して手振れをキャンセルする電子式手振れ補正を採用することもできる。光学式手振れ補正および撮像素子駆動式手振れ補正は特に静止画撮影に好適であり、動画撮影にも適用される。電子式手振れ補正は動画撮影に好適である。これらの方式は、選択的、追加的に採用され得る。
測光センサ40は、上述のように、撮影レンズ3へ入射する光束を複数の領域ごとに測光することにより被写界の輝度分布を計測するが、計測結果はカメラ本体CPU46に出力する。カメラ本体CPU46では、選択された測光モードに応じて露出値を算出する。測光モードとしては、明るい部分と暗い部分のバランスを取る分割測光モード、画面中央を適正露出とする中央重点測光モード、選択したフォーカスポイントの狭領域を適正露出とするスポット測光モードなどが選択され得る。
カレンダー部38は、水晶発振子、計時用集積回路等を有しており、年月日時分秒といったカレンダー情報を保持する。カメラ本体CPU46は、カレンダー部38から時間に関する情報を適宜検出することができる。GPSモジュール41は、GPS衛星からの信号を受信してカメラ本体2が存在している緯度、経度、高度情報を取得する。カメラ本体CPU46は、GPSモジュール41からカメラ本体2が存在している位置に関する情報を適宜検出することができる。
フラッシュROM39は、EEPROM(登録商標)であり、カメラシステム1を動作させるプログラムのほか、各種調整値、設定値を記憶する記憶装置である。具体的には、AF調整データ、AE調整データ、製造時の年月日時間データ、設定SWの設定履歴などを記憶している。また、フラッシュROM39には、撮影者の平常時の生体情報値も記憶されている。本実施形態においては、フラッシュROM39は生体情報値として心拍数、血流量、血圧、体温、カメラ本体2を把持する圧力、撮影レンズ3を把持する圧力を記憶している。
RAM44は、フラッシュROM39に記憶されたプログラムが展開され、カメラ本体CPU46が高速にアクセスできるDRAMなどの高速RAMである。特に頻繁に参照される各種調整値、設定値などもフラッシュROM39からコピーされ、カメラ本体CPU46からのアクセスを容易にする。キャラクタROM45は、背面モニタ37に撮影画像を表示するときに、重畳して表示するキャラクタを複数記憶している。詳細については後述する。
レリーズSW24は、2段式のスイッチである。撮影者がレリーズSW24を半押しすると、カメラ本体CPU46は、オートフォーカス、測光などの撮影準備動作を行う。さらに撮影者がレリーズSW24を全押しすると、カメラ本体CPU46は、レンズ側生体センサ部8およびカメラ本体側生体センサ部16を用いて撮影者の生体情報の検出を開始すると共に、静止画、動画の撮影動作を開始する。
カメラ本体CPU46は、レンズCPU7と協働してカメラシステム1の全体を制御する。特に本実施形態では、カメラ本体CPU46は、撮影モードにおいては、レンズ側生体センサ部8およびカメラ本体側生体センサ部16の出力に基づいて撮影者の生体情報を取得し、撮影画像のメタ情報として画像ファイルに記録する。また、再生モードにおいては、メタ情報から生体情報を読み出して撮影時における撮影者の感情を判断し、読み出した撮影画像を判断した感情に基づいて加工した上で、背面モニタ37に表示する。または、撮影画像を表示した時の生体情報を取得して感情を判断し、表示する撮影画像を判断した感情に基づいて加工した上で、背面モニタ37に再度表示する。ここではまず、レンズ側生体センサ部8およびカメラ本体側生体センサ部16による撮影者の生体情報の取得について説明する。
はじめに、心拍数測定について説明する。上述のように、撮影者が左手で撮影レンズ3を把持する位置には心拍数検出装置9の基準電極9aおよび検出電極9bが設けられており、撮影者が右手でカメラ本体を把持する位置には心拍数検出装置17の基準電極17aおよび検出電極17bが設けられている。検出電極9b、16bからの検出電位は、不図示の差動増幅器で電位差が増幅されてカメラ本体CPU46へ出力される。カメラ本体CPU46は、検出電極9b、16bの電位差に基づいて、撮影者の心拍数を演算する。
なお、例えば撮影者が撮影レンズ3を把持していない場合には、撮影者の左手が基準電極9a、検出電極9bに触れていないので、基準電極9aと検出電極9bとの間がオープンとなる。レンズCPU7は、基準電極9aと検出電極9bとの間がオープンの場合には、撮影者が撮影レンズ3を把持していないと判断する。同様に、カメラ本体CPU46は、心拍数検出装置の基準電極17aと検出電極17bとの間がオープンの場合には、撮影者がカメラ本体2を把持していないと判断する。
次に、血圧測定について説明する。脈波検出装置12および20は、撮影者の血圧を測定する。なお、脈波検出装置12と脈波検出装置20は同様の構成を有するので、脈波検出装置12を例に説明する。脈波検出装置12は、発光部12aから例えば赤外線を射出し、この赤外線が指の動脈で反射され、反射された赤外線を赤外線センサである受光部12bで受光することにより手の指部の脈波を検出する。つまり、末梢血管の血流量を検出する。カメラ本体CPU46は、脈波検出装置12からの脈波に基づいて撮影者の血圧を演算する。レンズCPU7は、心拍数検出装置9の基準電極9aと検出電極9bとの出力から、例えば小指など撮影者のある指が撮影レンズ3に触れていないと判断した場合に、その指に対応して配置された発光部12aの発光を禁止するようにすれば、無駄な発光を防止すると共に、被写界に迷光を射出することもない。同様に、カメラ本体CPU46は、心拍数検出装置17の基準電極17aと検出電極17bとの出力に基づいて、例えば撮影者の親指がカメラ本体2に触れていないときに、脈波検出装置20の発光部20aの発光を禁止してもよい。
次に、発汗測定について説明する。発汗は手のインピーダンスを測定することにより検出できる。発汗センサ13、21は、複数の電極を有して発汗を検出する。なお、複数の電極の一部として基準電極9a、基準電極17aを兼用してもよい。発汗センサ13は、レンズ側生体センサ部8A〜8Dのそれぞれに設けられているが、感動、興奮、緊張といったような精神性発汗は、発汗量が少なく、発汗時間も短いので、指よりも発汗量が多い中手の掌側に位置するレンズ側生体センサ部8B、Cだけに設けてもよい。
次に、温度測定について説明する。温度センサ14、22は、熱により抵抗値が変化するサーミスタ方式を用いている。発汗には上述の精神性発汗と、体温調節のための温熱性発汗とがあり、精神性発汗と温熱性発汗とは相互干渉している。このため、カメラ本体CPU46は発汗センサ13、21の出力と、温度センサ14、22の出力とに基づいて撮影者の発汗が精神性発汗か温熱性発汗かを判断することができる。例えば、カメラ本体CPU46は、温度センサ22により検出した温度が高く、発汗センサ21からの発汗信号が常時検出される場合には温熱性発汗と判断することができる。また、カメラ本体CPU46は、発汗センサ21からの発汗信号が不規則に出力される場合に精神性発汗と判断して、撮影者が感動、興奮、緊張といった状態であることを検出できる。なお、温度センサ14、22を省略した場合には、本体CPU44は、GPSモジュール41の位置情報、カレンダー部38からの時間情報などに基づいて、発汗センサ13、21からの発汗信号が精神性発汗か温熱性発汗かを判断してもよい。更に、レンズCPU7が発汗センサ13、温度センサ14の出力に基づいて、左手の汗が精神性発汗か温熱性発汗かを判断することもできる。
次に、圧力測定について説明する。圧力センサ15は、静電容量型のセンサであり、撮影者が撮影レンズ3を把持したときの押圧力による変形量を測定する。本実施形態において圧力センサ15は、操作ゴムの下方に設けられている。圧力センサ23も同様の静電容量型のセンサであり、撮影者がカメラ本体2を把持したときの押圧力による変形量を測定する。なお、圧力センサ15、23として歪ゲージ、電歪素子などを用いてもよい。
上述のように、カメラ本体CPU46は、レンズCPU7と協働して、レンズ側生体センサ部8およびカメラ本体側生体センサ部16の出力に基づいて撮影者の生体情報を取得する。以下に、カメラシステム1の制御フローについて具体的に説明する。
図8は、第1実施形態に係る撮影モード時の動作フロー図である。フローは、カメラシステム1の電源がONにされて撮影者からの撮影指示を待つ状態から開始する。カメラ本体CPU46は、ステップS101で、レリーズSW24の半押しであるSW1がONになるまで待機する。SW1が撮影者によりONにされると、カメラ本体CPU46は、撮影準備動作を実行する。具体的には、測光センサ40の出力により露出値を決定し、焦点検出センサ29を用いた位相差方式によりオートフォーカスを行う。オートフォーカスは、コントラストAF回路19を用いたコントラスト方式であっても良い。
そして、カメラ本体CPU46は、ステップS103で、レリーズSW24の全押しであるSW2がONになるまで待機する。カメラ本体CPU46は、所定の時間内にSW2がONにならなければ、ステップS101へ戻る。カメラ本体CPU46は、SW2がONになれば、ステップS104へ進み、カメラ本体側生体センサ部16およびレンズ側生体センサ部8の少なくとも一方から撮影者の生体情報を取得する。さらに、カメラ本体CPU46は、ステップS105で本撮影動作を実行する。本撮影動作では、ステップS102で決定された露出値に従って、レンズCPU7は絞り5を動作させ、カメラ本体CPU46はフォーカルプレーンシャッタを走行させて、被写体光束を撮像素子27に導く。さらにカメラ本体CPU46は、決定された撮像感度に従って撮像素子27の出力に所定のゲインを掛けて電荷読み出しを行う。なお、ステップS104とステップS105の順序はこれに限らず、逆の順序であっても良いし、両者が並行して処理されても良い。
ステップS106では、画像処理制御回路18は、このように生成された画像信号に、画像処理および圧縮処理を施して画像ファイルを生成する。このとき、カメラ本体CPU46は、ステップS104で取得した生体情報を、画像ファイルのメタ情報に記録する。さらに、ステップS107でカメラ本体CPU46は、取得した生体情報から撮影者の感情を推定して、推定した感情に基づいて画像ファイルのレイティングを行う。レイティングとは、撮影画像の重要度に応じた等級分けであり、例えば1から5の5段階の等級が割り当てられる。一般的には撮影者が撮影画像を視認しながら等級を付与するが、本実施形態においては、推定した感情から画像の重要度を判定して自動的に等級を付与する。感情の分類例は後述するが、例えば、推定された感情が「愛情」、「喜び」等のポジティブな感情であれば重要度の高い5、4を付与する。また、推定された感情が「平常」であれば平均値である3を付与し、「無関心」、「怒り」、「苦痛」等のネガティブな感情に対しては重要度の低い2、1を付与する。
上述のように、レンズ側生体センサ部8およびカメラ本体側生体センサ部16は、さまざまなセンサの集合体として構成されており、それぞれのセンサが異なる種類の生体情報を出力する。これらの出力を単独で、あるいは組み合わせて判断することにより、撮影者の感情を推定することができる。例えば、高い心拍数および精神性発汗が検出されるときには、撮影者は「焦り」を感じていると推定できる。センサの出力と感情の対応関係は検証的に求められており、対応関係を示すテーブルをフラッシュROM39に記憶させておくことができる。そこで、感情判定においては、取得された生体情報が、テーブルに記述された特定の感情パターンと一致するかを判断する。
カメラ本体CPU46は、ステップS107でレイティングを行い、等級を画像ファイルのメタ情報に記録したら、ステップS108へ進み、生成した画像ファイルを画像記録媒体35に記録する。以上により、撮影モード時の一連の動作フローを終了する。なお、カメラ本体CPU46は、撮影者が操作SWにより撮影した画像の削除指示をしたときに、レイティングが4または5の画像が含まれていた場合に、再度撮影者に削除の確認表示を行ったり、レイティングが4または5の画像を削除を禁止したりしてもよい。これにより、撮影者が誤ってレイティングの高い画像を削除することを防止することができる。
次に、再生モードについて説明する。図9は、第1実施形態に係る再生モード時動作フロー図である。再生モードは、撮影者が操作部材の操作により再生モードを選択したときに開始する。なお、再生モードは、画像の撮影者ではなく、他の観察者であっても操作できる。
撮影者により再生モードが選択されると、カメラ本体CPU46は、ステップS201で現在の再生モードが撮影時モードに設定されているか、表示時モードに設定されているかを判断する。撮影時モードとは、撮影者の撮影時における感情を推定し、この感情に基づいて撮影画像を加工して表示するモードである。一方、表示時モードとは、再生モード時においてカメラシステム1を操作する観察者の、撮影画像の表示時における感情を推定し、この感情に基づいて撮影画像を加工して再表示するモードである。
まず、撮影時モードについて説明する。ステップS201で撮影時モードが設定されていると判断すると、カメラ本体CPU46は、ステップS301で対象となる最初の画像ファイルを画像記録媒体35から画像処理制御回路18を用いて読み出し、RAM44の作業メモリ上に展開する。続いてステップS302において、対象画像ファイルのメタ情報から、撮影時に付加された撮影者の生体情報を読み出す。カメラ本体CPU46は、ステップS303で、読み出した生体情報から撮影者の感情を推定する。生体情報から撮影者の感情の推定は、上述のように、フラッシュROM39に記憶された生体情報と感情パターンの対応関係を示すテーブルを参照し、読み出した生体情報がテーブルに記述された特定の感情パターンと一致するかを判断して行う。
ステップS303で感情を推定したら、ステップS304で、カメラ本体CPU46は画像処理回路18を用いて、RAM44の作業メモリ上に展開した撮影画像を、推定した感情に基づいて加工する。具体的な加工例については後述するが、例えば、推定した感情に対応するキャラクタをキャラクタROM45から読み出して、これを撮影画像に合成する加工を行う。
このように推定した感情に基づいて加工された撮影画像は、ステップS305で、背面モニタ制御回路36により表示用信号に変換されて背面モニタ37に表示される。そして、一定時間内に次画像の表示指示があれば、再びステップS301へ戻って次画像に対して同様の表示処理を繰り返す。次画像の表示指示は、撮影者による操作部材の操作であっても良いし、スライドショーモード等の自動再生指示であっても良い。一定時間内に次画像の表示指示が無ければ再生モードを終了する。このように、背面モニタ37を取り囲んで鑑賞する鑑賞者に、撮影時における撮影者の感情が認識されれば、撮影画像をより楽しむことができる。
次に、表示時モードについて説明する。ステップS201で表示時モードが設定されていると判断すると、カメラ本体CPU46は、ステップS401で対象となる最初の画像ファイルを画像記録媒体35から画像処理制御回路18を用いて読み出し、RAM44の作業メモリ上に展開する。続いてステップS402においてカメラ本体CPU46は、RAM44の作業メモリ上に展開した撮影画像を、背面モニタ制御回路36を用いて背面モニタ37に表示する。
対象画像を表示して観察者に視認させたら、カメラ本体CPU46はステップS403で、レンズ側生体センサ部8およびカメラ本体側生体センサ部16の出力に基づいて、カメラシステム1を操作する観察者の生体情報を取得する。そして、ステップS404で、取得された生体情報から観察者の感情を推定する。
ステップS404で感情を推定したら、ステップS405で、カメラ本体CPU46は画像処理回路18を用いて、RAM44の作業メモリ上に展開されている撮影画像を、ステップS304と同様に、推定した感情に基づいて加工する。このように推定した感情に基づいて加工された撮影画像は、ステップS406で、背面モニタ制御回路36によりすでに表示されている加工前の撮影画像に置き換えられて背面モニタ37に表示される。そして、一定時間内に次画像の表示指示があれば、再びステップS401へ戻って次画像に対して同様の表示処理を繰り返す。次画像の表示指示は、撮影者による操作部材の操作であっても良いし、スライドショーモード等の自動再生指示であっても良い。一定時間内に次画像の表示指示が無ければ再生モードを終了する。このように、背面モニタ37を取り囲んで鑑賞する鑑賞者に、表示時における操作者の感情が認識されれば、撮影画像をより楽しむことができる。
なお、再生モードによる撮影画像の再生は、上述のような画像の加工を伴うものの他に、記録された画像ファイルをそのまま展開して再生する通常の再生も選択し得る。再生モードにおける表示方法は、メニュー選択等により選択されて設定される。
推定した感情を撮影画像に反映させるべく、撮影画像を加工して表現する手法は様々である。例えば、カメラ本体CPU46は、表示させる撮影画像の大きさを変更することができる。取得した生体情報から「羞恥」の感情が推定される場合は、撮影画像を小さく加工して表示する。逆に「喜び」の感情が推定される場合は、ズーミングするように徐々に拡大して表示する。この際に、カメラ本体CPU46は、「羞恥」の感情が推定される場合の表示時間を標準再生時間より短めにしたり、「喜び」の感情が推定される場合の表示時間を標準再生時間より長めにしたりしてもよい。
さらに、カメラ本体CPU46は、表示する撮影画像の輝度、再度および色相の少なくとも1つを変更する加工を施すこともできる。取得した生体情報から「愛情」の感情が推定される場合は、撮影画像を暖色系に寄せる加工を施す。一方、「絶望」の感情が推定される場合は、撮影画像全体を暗く加工して表示する。
または、スライドショーモード等の自動再生時には、連続して表示される撮影画像の、画像ごとの表示時間を変更することもできる。取得した生体情報から「焦り」の感情が推定される場合は、一枚あたりの表示時間を短くして表示する。
別の例としては、感情に対応するキャラクタをキャラクタROM45から読み出して、撮影画像に合成する加工を施しても良い。図10は、感情に対応するキャラクタの例を示す図である。図示するように、「平常」「喜び」「愛情」「羞恥」「焦り」「苦痛」「驚き」「困惑」「無関心」「悲しみ」「怒り」「絶望」といった様々な感情に対応するキャラクタがキャラクタROM45に記憶されている。キャラクタの合成は、画像に直接埋め込んで画像信号を生成しても良いし、背面モニタ制御回路36により撮影画像上にレイヤー状に重畳して画像信号を生成しても良い。また、背面モニタ37の撮影画像を表示する領域とは別の空き領域にキャラクタを表示するように表示信号を生成しても良い。
図10では、それぞれの感情に対応するキャラクタを示すが、一つの感情に対して、その度合いに応じて複数のキャラクタを用意してもよい。生体情報からは、例えば「焦り」の感情の中でも、より強い焦りを感じているのか、わずかな焦りを感じているのかを判断することができる。そこで、同じ「焦り」を示すキャラクタでも、そのデザインから「焦り」の度合いがわかるように複数のキャラクタを用意する。そして、判断した感情とその度合いから、これに対応するキャラクタを選択して加工、表示する。また、感情の度合いは、キャラクタの大きさ、色、数、表示時間、アニメーションの動きによっても表現できる。例えば、カメラ本体CPU46は、レイティングの等級数とキャラクタの数とを同じにして表示するようにしてもよく、レイティングの等級数が少ないときにはキャラクタの色を暗めの色(灰色や黒)にしたり、レイティングの等級数が多いときには明るめの色(赤やスカイブルー)にしてもよい。また、カメラ本体CPU46は、判断した感情(もしくは生体情報)とその度合いから、読み出したキャラクタ自体を加工、変更して表示してもよい。例えば、カメラ本体CPU46は、撮影者の心拍数に応じてキャラクタを点滅させてもよく、また、撮影画像を心拍数に合わせて大きくしたり、小さくしたりしてもよく、また、点滅させてもよい。
図11は、キャラクタを組み合わせて表示する表示状態の例を示す図である。図は、「喜び」を表す喜びキャラクタ47が、撮影画像に重畳されて動き回る様子を表している。背面モニタ37には、キャラクタが合成された撮影画像の表示の他に、ファイル名表示48、前述の5段階のレイティング結果を示す等級アイコン表示49が行われる。なお、カメラ本体CPU46は、撮影画像に加えてキャラクタを合成して、等級アイコン表示49の表示を割愛してもよく、その逆の表示を行うようにしてもよい。
また、全ての画像にキャラクタを合成する必要はなく、感情の起伏が大きいと推定される画像のみにキャラクタを合成してもよく、画像にキャラクタ合成を行う枚数を設定してもよい(デフォルトで5枚もしくは全撮像画像の1割と設定してもよい)。更に、再生画増が動画の場合には、動画撮影中の撮影者の感情の起伏が大きい場面にキャラクタ合成を行うようにしてもよい。
なお、推定した感情の撮影画像への反映は、上述の1つの加工に限らない。もちろん組み合わせて加工を行っても良いし、他の表現手法を用いて感情を撮影画像に反映しても良い。なお、第1実施形態としてデジタル一眼レフカメラを例示したが、コンパクトカメラ、ミラーレス一眼カメラ、ビデオカメラおよび携帯電話等にも適用できることはいうまでもない。
(第2実施形態)
次に、第2実施形態に係るディスプレイについて説明する。図12は、第2実施形態に係る液晶ディスプレイ51の外観図である。表示装置としてのディスプレイは、液晶ディスプレイ51に限らず、プラズマディスプレイ、有機ELディスプレイ、プロジェクタ等であっても良い。本実施形態における基本的な概念は第1実施形態と同様である。すなわち、本実施形態においても、生体情報に基づいて感情を推定し、推定した感情に基づいて表示する画像を加工してから液晶ディスプレイ51に表示する。なお、液晶ディスプレイ51は、パソコン、テレビ、デジタルフォトフレームなどが含まれる。
図12に示すように、液晶ディスプレイ51は、ディスプレイ本体52と、観察者により操作されるリモコン53を主な構成要素とする。リモコン53には、レンズ側生体センサ部8およびカメラ本体側生体センサ部16と同様の構成を成す生体センサ部54が設置されている。
リモコン53は観察者によって把持されるので、把持する掌から観察者の生体情報が取得されるように構成されている。取得された生体情報は、観察者の操作指令と共に、例えば赤外線通信によりディスプレイ本体52へ送信される。
ディスプレイ本体52は、撮影画像ファイルが記憶された画像記録媒体55を受容するスロット56を備えている。なお、この画像記録媒体55を第1実施形態の画像記録媒体35として、EXIF情報として記録された撮影者の撮影時の生体情報やレイティングの等級数をディスプレイ本体52に受け渡すようにしてもよい。外部からの撮影画像ファイルの取り込みは、着脱式の画像記録媒体55に限らず、LAN等を用いた通信手段によっても実現しうる。
読み出された撮影画像は、表示画面57の画像表示領域58に表示される。同時に、情報表示領域59には、画像ファイル名および等級に対応する等級アイコンが表示される。なお図では、「愛情」を表す愛情キャラクタ60が、撮影画像に重畳されて動き回る様子を表している。なお、取り込む画像ファイルはカメラシステム1によって生成された撮影画像ファイルに限らず、対応するフォーマットの画像ファイルであれば、いかなる画像ファイルであっても良い。
図13は、液晶ディスプレイ51のブロック図である。リモコン53は、リモコン53の制御を司るリモコンCPU61、リモコン53を操作する鑑賞者の生体情報を取得する生体センサ部54、鑑賞者の指示を操作部材の入力により受け付ける操作受付部62、およびディスプレイ本体52へ取得された生体情報と観察者の操作指令信号を送信するリモコン送信部63を備える。また、ディスプレイ本体52は、ディスプレイ本体52の制御を司るディスプレイCPU64、リモコン送信部63からの生体情報と操作指令信号とを受信するリモコン受信部65、および画像記録媒体55から画像ファイルを取り込むIF(Interface)66を備える。
さらに、液晶ディスプレイ51は、取り込んだ画像ファイルに付加されている生体情報、またはリモコン送信部より送信される観察者の生体情報から対応する感情を判定する感情判定部68を備える。また、液晶ディスプレイ51を動作させるプログラムのほか、各種調整値、設定値を記憶する記憶装置であるフラッシュROM69、およびフラッシュROM69に記憶されたプログラム等が展開されるRAM70を備える。RAM70は、作業メモリとしての役割も担う。キャラクタROM71は、上述のキャラクタを複数記憶している。そして、読み出され、画像処理制御回路67で加工された画像は、ディスプレイ駆動回路72により、表示画面57の画像表示領域58に表示される。
液晶ディスプレイ51の表示制御は、図9を用いて説明した第1実施形態に係る再生モード時動作フローと同様である。すなわち、取り込んだ画像ファイルが撮影時における撮影者の生体情報を有していれば撮影時モードを選択でき、観察者は表示画面57に表示される、撮影者の感情に基づいて加工された撮影画像を楽しむことができる。表示時モードが選択されていれば、リモコン53を操作する観察者の生体情報を取り込んで、その感情に基づいて加工された撮影画像を楽しむことができる。なお、取り込んだ画像ファイルが撮影時における撮影者の生体情報を有していなければ、自動的に表示時モードが選択される。
また、ディスプレイCPU64は、取り込んだ画像ファイルに撮影者の生体情報が有る場合に、撮影者の生体情報に応じたキャラクタ表示と、観察者の観察時の生体情報に応じたキャラクタ表示とを一緒に行なう制御を行っても良い。この場合、撮影者の生体情報に応じたキャラクタと、観察者の観察時の生体情報に応じたキャラクタとを異ならせることが好ましい。例えば、同じ画像でも撮影者の感情と、観察者の感情のギャップを見ることができたり、また、撮影者自身が観察者になった場合に、撮影時の感情と観察時の感情とを知ることができ、画像観察の新たな楽しみを味わうことができる。
更に、ディスプレイCPU64は、「羞恥」の感情が推定される場合の表示時間を標準再生時間より短めにしたり、「喜び」の感情が推定される場合の表示時間を標準再生時間より長めにしたりしてもよい。同様に、ディスプレイCPU64は、「羞恥」の感情が推定される場合の撮像画像を小さく加工して表示したり、「喜び」の感情が推定される場合の撮像画像を大きく加工して表示してもよい。また、ディスプレイCPU64は、撮像画像の表示の順番をレイティング順にしてもよく、レイティングの低い画像や「羞恥」「苦痛」「困惑」「悲しみ」「怒り」「絶望」などの画像は表示を禁止するように制御してもよい。この場合、ディスプレイ本体52に特開2008−165009号公報に開示されているような撮影部(カメラ)を設け、ディスプレイCPU64がこの撮影部(カメラ)と連携して誰が観察者かに応じて画像表示の禁止を行うようにすればいい。より、具体的には、ディスプレイCPU64は、顔登録されている人物が観察している場合には、すべての画像を表示するようにし、顔登録されていない人物が観察している場合には上述のように一部の画像を表示するようにすればいい。顔登録に関しては、ディスプレイ本体52に設けられた撮影部(カメラ)を利用して、親密度を設定し(例えば大、中、小)、ディスプレイCPU64は親密度に応じて表示する画像および表示を禁止する画像を決定してもよい。
また、生体情報の記録は、画像ファイルのメタ情報への記録に限らず、画像ファイルへのリンク情報と生体情報を記述する生体情報格納ファイルを生成しても良い。
また、上記実施形態においては、レンズ側生体センサ部8、カメラ本体側生体センサ部16および生体センサ部54をそれぞれ装置本体に配置した。しかし、生体センサは、より直接的に撮影者、観察者の身体に取り付けるように独立させて構成しても良い。例えば、特開2005-270543号公報(米国特許第7538890号)に開示されているような腕時計型の生体センサを用いてもよい。この場合、装置側では、有線または無線による生体情報取得部を備えることになる。なお、生体センサを複数備える場合に、それぞれの出力が異なる場合がある。このような場合には、いずれの生体センサからの出力を優先するかを予め決めておくこともできるし、出力の平均値を算出するなどの対処を採用することもできる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。また、第1実施形態と第2実施形態とを適宜組み合わせることも可能である。更に、上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。