JP2004023734A - 画像撮影装置および方法 - Google Patents

Abstract

【課題】被写体像撮影時の処理や操作感に影響を及ぼすことなく、撮影者の虹彩情報を確実に撮影画像に記録し、撮影画像の著作権を保護することのできる視線検出機能つき画像撮影装置を提供する。
【解決手段】眼球光軸と視線のずれを補正するための個人差に関する補正係数を取得・演算するために撮影前におこなわれるキャリブレーション動作中に、撮影者の眼球像を眼球像取得センサ１１３により取得する際に同時に虹彩情報を取得する。取得した眼球像から虹彩画像視線補正係数とを求め、虹彩情報と補正係数とを組にして同一のＩＤ番号により管理すれる。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体像を電気的に撮影する画像記録装置、特に撮影者の著作権を保護することが可能な画像撮影装置に関するものである。
【０００２】
【従来の技術】
近年急速に普及しつつある、ディジタルスチルカメラおよびディジタルビデオカメラは、ＣＣＤセンサなどの撮像素子によって撮像した画像を、ディジタルフォーマットの画像データに変換してメモリカードなどの記録媒体にディジタル記録する装置である。
【０００３】
これらディジタル画像データは、コンピュータによって容易に修正・加工・印刷等ができ、一般家庭でも利用されるに至っている。同時にネットワークの発達、特にインターネットの発達により、不特定多数の間でディジタル画像データを流通させることも容易となっている。
【０００４】
このような背景のもとディジタルスチルカメラおよびディジタルビデオカメラ等の画像記録装置の必要性は飛躍的に高まりつつある。
【０００５】
一方で、パーソナルコンピュータ等の普及によるデジタルデータの複製の容易化およびコスト低下に加え、インターネットへのアクセスの容易化によるデジタルデータの配布の容易化およびコスト低下によって、一般の個人であっても、私的使用の範囲を超えて容易かつ安価にデジタルデータの複製物を作成し、配布することが可能である。したがってディジタル画像データの取り扱いに関しては、個人が趣味の範囲で楽しむ撮影程度であれば大きな問題にならないものであっても、業としてディジタル画像の流通を行う者にとっては、非権利者が容易に複製・配布等できてしまうことは看過しがたいこととなっている。
【０００６】
このように撮影者等の著作権者の権利保護が十分になされていないという問題が生じており、撮影されたディジタル画像データに対し、著作権を保護するための方策が強く望まれている。
【０００７】
このディジタル画像データ等の著作権保護の実現を目的として「電子透かし（Ｗａｔｅｒｍａｒｋ）」という技術が広く研究されている。同技術は、ディジタル画像データおよびディジタル音声データ等の対象となるデータ部分に、その目的に応じて人間に知覚されないように、もしくは積極的に知覚されるように、別情報を重ね合わせて埋め込む技術であり、必要に応じて正当な権利や資格を有する利用者のみが、埋め込まれた別情報を取り出せたり、または除去できるようにされている。
【０００８】
これらの技術は、特開平１０−２９０３５９号公報および特開平１０−１５０５１７号公報、米国特許第５５３０７５９号（特開平８−２４１４０３号公報）等に詳しい。
【０００９】
また、一方でプライバシーやセキュリティ保護等の観点から特定の個人を認証するための技術が広く研究されている。
【００１０】
個人を認証する方法として古くから一般的に行われている方法としては、その特定の人物のみが所持しうる鍵やカードや印鑑によって確認を行う方法や、その特定の人物のみが知りうるパスワードや暗証番号の入力によって確認を行う方法などが知られている。これらの方法においては、盗難・偽造・情報漏洩等により、他人がその特定の人物になりすます事が比較的容易であるという根本的な問題を抱えている。
【００１１】
そこで、これらの方法に替えて認証を行うその特定人物の身体的な特徴を用いる、バイオメトリクス個人認証法が注目を集めるようになった。
【００１２】
この身体的特徴とは、個々人により固有であり、ランダム性を備え、長時間変化がないことなどが要求されるが、個人認証を行う装置への展開を考慮すると、認証に必要なデータを取得する時間や装置のコスト等の用件が加味され、現在では指紋・掌紋・虹彩模様・声紋・顔貌を身体的特徴として用いることが広く利用されつつある。
【００１３】
以下、虹彩模様を用いた個人認証の原理について、特表平８−５０４９７９に従って概略を説明する。図９は、被験者がある特定の個人であるかを判断するまでのフローチャートである。
【００１４】
まず照明やフォーカスの制御を行って被験者の眼球画像が取得される（１１０１）。眼球像が取得されると、瞼・睫が検出され、さらに図１０のように、瞳孔−虹彩の境界２１・虹彩の外側境界２２が検出され、２３のような分析帯と呼ばれる領域に分割されて座標系が設定される（１１０２）。
【００１５】
次に分析帯の濃淡変化の抽出を主としたイメージ解析を行い（１１０３）、これをもとにコード化を行う（１１０４）。コード化によって生成される個人認証コードは、１，０で示されるビットのある一定長の羅列によって表現される。
【００１６】
このようにコード化された個人認証コードを、予め特定の個人から取得されたテンプレートとしての個人認証コード１１０７とマッチングを行う（１１０５）。つまり、両者の一致度をある評価関数に従って算出し、一定の閾値を超えた場合には両者が同一人物からサンプリングされた個人認証コードであるという判定を行う（１１０６）。
【００１７】
また、指紋・掌紋であれば、対象となる指画像・掌画像を取得し、指紋・掌紋を構成する隆線の特徴点である端点や分岐点をもとにコード化を行い、同一人判定のマッチングを行う。
【００１８】
上記技術を用いて、特開２０００−１９６９９８号公報においては、目の情報を直接電子透かしとして撮影画像に埋め込む方法が開示されている。
【００１９】
この方法によると、被写体の撮影とほぼ同時に取得される眼球像から、虹彩模様や網膜模様を抽出し撮影画像に埋め込むため、撮影画像と撮影者情報が一対一に対応し、かつ、第三者が介入する余地がないので、著作権情報としては高い信頼性を持つ点で有効である。
【００２０】
【発明が解決しようとする課題】
ところが、前記方法によると被写体の撮影とほぼ同時に眼球像を取得する作業が必要であり、眼球像から虹彩模様や網膜模様を抽出し、画像処理等によるコード化手段によって個人認証コードへ変換する作業もさらに必要である場合がある。この場合、デジタルカメラ等のディジタル画像撮像装置においては、シーケンス上撮影時の被写体像処理に最も負荷が掛かるタイミングであるため、これら眼球像処理もあわせると、全体の処理に膨大な時間がかかる。そのため、次の撮影が可能となるまで撮影者は待たされることとなり、シャッターチャンスを逃す恐れもある。
【００２１】
また、撮影ごとに撮影者の眼球像を取得する場合、取得の瞬間において撮影者が目を閉じてしまったり、睫や髪の毛が掛かってしまったりすることが往々にして起こりうることを考慮すると、必ずしも眼球像が適切に取得できるとは限らず、さらには、例えば屋内などの低照度下での撮影では撮影者の瞳孔は開くことになるので、相対的に虹彩模様の面積は小さくなり、精確な個人認証コードに変換することが不可能になることもある。
【００２２】
従って、被写体の撮影と同時に眼球像を取得する方法は、相応のデメリットとリスクを負う必要がある。
【００２３】
一方、撮影と同時には撮影者の虹彩情報を取得せずに、撮影された画像に虹彩情報を記録するには、予め画像撮影装置に撮影者が何らかの方法で自らの虹彩情報を登録する必要があるが、使用の度に登録作業を繰返すことは撮影者にとって煩雑であり、しかし一度の登録作業のみで更新をおこなわないと、後に該画像撮影装置を使用する他の撮影者まで同一の虹彩情報が記録されることになってしまう。そうすると、撮影画像と撮影者を結びつけて著作情報を記録するという目的が達成されない。
【００２４】
本発明は、上述の課題に鑑みてなされたもので、その目的とするところは、撮影画像における撮影者の著作権を保護するために、撮影者の虹彩情報を確実に撮影画像に記録し、かつ撮影装置本来の目的である被写体像の撮影自体に与える影響を軽減した画像撮影装置を提供することである。
【００２５】
【課題を解決するための手段】
上記目的を達成するために、本出願にかかる発明では以下の手段を構成する。
【００２６】
所定の撮像素子によって被写体像を撮影する画像撮影装置であって、
撮影者の眼球像から眼球光軸を同定する眼球光軸同定手段と、
眼球光軸と視線とのずれを補正するための補正係数を、キャリブレーション動作を行って取得して記憶する補正係数記憶手段と、
前記補正係数を用いて眼球光軸を補正し視線を求める視線演算手段と、
撮影者の虹彩情報を、前記キャリブレーション動作中に取得して登録する登録手段と、
前記登録手段によって登録される虹彩情報を複数記憶する虹彩情報記憶手段と、
虹彩情報を前記虹彩情報記憶手段から選択する選択手段と、
前記選択手段により選択された虹彩情報を撮影画像に記録する個人データ記録手段と
を備えることを特徴とする画像撮影装置。
【００２７】
この構成によると、虹彩情報の登録は、眼球光軸と視線のずれを補正するための個人差に関する補正係数を取得・演算するために撮影前におこなわれるキャリブレーション動作において、撮影者の眼球像を取得する際に同時に虹彩情報を取得することによって実現される。このため、虹彩画像をあらためて取得する必要がなく、操作性に優れる。
【００２８】
更に好ましくは、前記補正係数と虹彩情報は、前記補正係数記憶手段と前記虹彩情報記憶手段により対で記憶され、前記選択手段により虹彩情報が選択された場合には、選択された虹彩情報と対になる補正係数を用いて眼球光軸と視線とのずれが補正される。
【００２９】
この構成によると、補正係数と虹彩情報とは対で管理されることにより撮影者は撮影を開始する際に自らの虹彩情報を選択すれば補正係数も選択され、操作性に優れる。
【００３０】
更に好ましくは、前記個人データ記録手段は、前記虹彩情報を電子透かしとして撮影画像に合成する。
【００３１】
更に好ましくは、前記虹彩情報は、眼球像に含まれる虹彩画像をコード化した個人認証コードとして前記虹彩情報記憶手段に格納される。
【００３２】
【発明の実施の形態】
図１は、請求項１および請求項２に記載の発明における実施形態に係るディジタルスチルカメラの正面斜視図である。本実施形態においては、取得される生体情報画像は、虹彩画像である場合を例に説明する。
【００３３】
１０２はシャッター釦であり、押下によって撮影開始の信号が発生し、撮像素子によって被写体像の撮影が開始される。１０４は撮影情報表示用液晶であり、シャッター速度、絞り値あるいは設定した撮影モード等を表示させることができる。１０５は各種設定を行うための設定釦群であり、１０６は撮影モードを切り替えるためのモードダイヤルである。
【００３４】
図２は、本実施形態に係るディジタルスチルカメラの断面要部概略図である。２０１は撮影レンズ群であり、便宜上２枚のレンズで示したが、実際には多数のレンズから構成されている。２０２は主ミラーで、ファインダ系による被写体像の観察状態と被写体像の撮影状態に応じて撮影光路へ斜設、あるいは退去される。２０３はサブミラーで、主ミラー２０２を透過した光束をカメラボディの下方に位置する焦点検出装置２０５へ向けて反射する。２０４はシャッターであり、５０４はＣＣＤあるいはＣＭＯＳエリアセンサなどによる撮像素子である。
【００３５】
２０６は、撮影レンズ群２０１の予定結像面に配置されたピント板、２０７はファインダ光路変更用のペンタプリズム、２０８、２０９は各々被写体像の輝度を判定するための結像レンズと測光センサである。
【００３６】
上記ペンタプリズム２０７の射出後方には分光器２１０ａを備えた接眼レンズ２１０が配置され、撮影者によるピント板２０６の観察に使用される。分光器２１０ａは、例えば可視光を透過し、赤外光を反射するダイクロイックミラーより成っている。
【００３７】
２１１は受光レンズであり、１１３はＣＣＤ等の撮像素子を用いた眼球像取得用センサで、受光レンズ２１１に関して所定の位置にある撮影者の瞳孔近傍２１４と共役になるように配置されている。２１３ａ、２１３ｂは、撮影者の瞳孔近傍を照明するための赤外発光ダイオードである。
【００３８】
撮影者の眼球は、分光器２１０ａによって反射され、受光レンズ２１１で結像されて、眼球像取得用センサ上に像を形成し画像化される。
【００３９】
図３は、本実施形態のディジタルスチルカメラの電気ブロック図である。カメラ制御用マイクロコントローラ（以下、「ＭＣＵ」と略記する）５００には、眼球像取得用センサ１１３をはじめ、瞳孔近傍照明用の赤外発光ダイオード２１３を駆動するためのＩＲＥＤ駆動回路１１４、信号入力回路５０１、液晶駆動回路５０２等のカメラ制御回路およびセンサが接続されている。
【００４０】
カメラ制御用ＭＣＵ５００内には、カメラ動作を実行するプログラムを格納したＲＯＭ５００ａ、変数を記憶するためのＲＡＭ５００ｂ、補正データやその他パラメータを記憶するためのＥＥＰＲＯＭ（電気的消去・書き込み可能メモリ）５００ｃが内蔵されている。
【００４１】
眼球像取得用センサ１１３は、撮影者の眼球を検出し、その電気信号をカメラ制御用ＭＣＵ５００に伝達する。カメラ制御用ＭＣＵ５００は、伝達された電気信号をＡ／Ｄ変換し、その像データを順次ＲＡＭに格納していく。
【００４２】
信号入力回路５０１は、カメラの各種スイッチ群の状態をカメラに伝達する回路であり、前述のシャッター釦１０２、設定釦群１０５、モードダイヤル１０６の信号もこの回路を介してＭＣＵに伝達される。
【００４３】
液晶駆動回路５０２は、ＭＣＵ５００からの指示に従って、カメラの外側に配されている撮影情報表示用液晶１０４に、各種情報を表示させることができる。
【００４４】
カメラ制御用ＭＣＵ５００は、信号線５０３でディジタルＭＣＵ５０７に接続され、ディジタルＭＣＵ５０７はカメラ制御用ＭＣＵ５００の指示に従ってディジタル画像の撮影動作を制御する。ディジタルＭＣＵは、フラッシュメモリ５０９に予め格納されているプログラムに従って撮影に係わる各種デバイスの制御を行う。シャッター釦１０２の押下によって撮像素子５０４上に被写体像が形成され、その信号はＡ／Ｄ変換器５０５でＡ／Ｄ変換器５０５でＡ／Ｄ変換され、信号処理ＩＣ５０６で色補間処理やフィルタリング処理を行った後、データバス５１４を介して、一旦ＤＲＡＭ５１１に格納される。
【００４５】
ＤＲＡＭに格納されたディジタル画像データは、必要に応じてカラーモニタ５０８に表示される。
【００４６】
ディジタル画像データは、後述する方法で著作権情報と一体化された後、ＪＰＥＧ−ＩＣ５１０でデータ圧縮され、メモリカード・インタフェース（以下Ｉ／Ｆと略する）５１３を介して着脱可能なメモリカード５１６に書き込まれる。また、画像データはシリアルＩ／Ｆ５１２を介して、シリアルバス５１５にも出力できる。
【００４７】
次に視線検出について説明する。
【００４８】
従来より使用者が観察空間のどの方向を注視しているかを検出する、いわゆる視線検出装置が種々提供されている。特開平２−２６４６３２号公報においては、使用者の眼球に赤外光を照射し、眼球角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して使用者の眼球光軸を求める視線検出装置が開示されている。
【００４９】
しかし、実際には眼球光軸と使用者の認識方向である視線とはずれがあり、特開平４−２４２６３０号公報においては、使用者の視線の個人差を補正する為の視線補正データを取得する機能であるキャリブレーションを行って、より正確な視線検出が可能な視線検出装置が提案されている。具体的には、あらかじめ座標値がわかっている点を使用者に注視してもらい、算出された眼球光軸より求められる座標値との差から、使用者に固有の補正値を求める。一般的に人間の眼球は、左右方向と上下方向で眼球光軸と視線のずれ量が異なるため、左右方向の２点および上下方向の２点をそれぞれ使用者に注視してもらい、両軸の視線補正データを取得し、正確な視線方向を算出するようにしている。
【００５０】
図４Ａおよび図４Ｂは、本実施形態にかかるディジタルスチルカメラにおける、撮影者の眼球情報を登録する処理の流れを表すフローチャートである。ここでいう眼球情報とは、虹彩情報および上述の視線補正データである。
【００５１】
ステップ１００において、眼球情報登録を開始させるために、モードダイヤル１０６を「ＲＥＧ」ポジションに合わせる。まずこのポジションについて説明する。
【００５２】
図５は図１のモードダイヤル１０６をカメラ上面より見たときの詳細図である。モードダイヤル１０６はカメラ本体に印された指標１３０に表示を合わせることによって、その表示内容で撮影モードが設定される。１０６ａはカメラを不作動とするロックポジションであり、いわゆる電源オフの状態である。このロックポジションより他のポジションへモードダイヤルを回転させることによりカメラは動作を始める。１０６ｂはカメラが予め設定した撮影プログラムによって制御される自動撮影モードのポジション、１０６ｃは使用者が撮影内容を設定できるマニュアル撮影モードで、プログラムＡＥ、シャッター優先ＡＥ、絞り優先ＡＥ、被写体深度優先ＡＥ、マニュアル露出の各撮影モードをもっている。ここで１０６ｄが撮影者の眼球情報の登録を行なう眼球情報登録モードとなる「ＲＥＧ」ポジションである。
【００５３】
図４Ａに戻り、撮影者がステップ１００において、モードダイヤル１０６を「ＲＥＧ」ポジションに合わせると、ステップＳ１０１に移り、登録番号を選択することになる。登録番号の選択とは、複数の撮影者がカメラを使用するにあたり、それぞれの撮影者が眼球情報を登録できるように対応させたもので、ここで選択された番号にこれから登録をおこなう撮影者の眼球情報が関連付けられて登録される。
【００５４】
登録番号の選択は、電子ダイヤル１０３の回転によっておこなう。電子ダイヤル１０３を時計方向に回転させると「ＲＥＧ−１」→「ＲＥＧ−２」　→「ＲＥＧ−３」　→「ＲＥＧ−４」　→「ＲＥＧ−５」　と変化し、撮影者は希望する５つの登録番号のいずれかに眼球情報を記憶させることができる。この表示は撮影情報表示用液晶１０４およびファインダー内ＬＣＤ２１４にされる。そして図６に示した状態は「ＲＥＧ−１，２，３」にはすでに眼球情報が入っており、点滅表示である「ＲＥＧ−４，５」には入っていないことを表わしている。撮影者は点滅表示の番号に新たに登録をおこなうことができる。ただし、すでに入っている番号においても、登録済みの眼球情報をクリアして再登録も可能である。さらに１クリック回転させると「ＲＥＧ−１」に戻り、以上のようにサイクリックに登録番号を表示する。電子ダイヤル１０３を反時計方向に回転させた場合は正反対に表示する。
【００５５】
登録番号「ＲＥＧ１〜５」のいずれかが表示されている状態でモードダイヤル１０６を他の撮影モードに切り換えれば、その登録番号の眼球情報を用いて後の処理がおこなわれることになる。
【００５６】
ここで、眼球情報の登録とは、図７で示すように１つのＲＥＧ番号に１人の撮影者の虹彩情報と視線補正データとを対で記録することをいう。ただし、別のＲＥＧ番号には別の撮影者が登録しなければならないものではなく、例えば同一人物であっても、眼鏡使用時、コンタクトレンズ装着時、裸眼時というように、それぞれの状態に応じて番号を変えて登録することも有効である。図７に示される眼球情報は、選択された登録番号に対応する内容が読み書き可能なように、登録番号と対応づけて図３のフラッシュメモリ５０９あるいはＥＥＰＲＯＭ５００Ｃなど、書換え可能な不揮発性媒体に格納される。
【００５７】
次に撮影者がファインダー内を観察する様子について図８を用いて説明する。図８において２０６ａ〜２０６ｅは、ピント板２０６上に記された焦点検出領域である。カメラはこの領域の任意の１領域に対応する空間において焦点の検出が可能であり、選択された１領域を撮影者に知らしめるために、高輝度発光ダイオード２１５によって発光させる。この任意の１領域が発光されることを以下スーパーインポーズと呼ぶ。２１４はファインダー内ＬＣＤであり、この表示によって、カメラがどのような設定状態にあるのか撮影者は知ることができる。
【００５８】
図４Ａに戻り、ステップＳ１０１において登録番号が選択されると、ステップＳ１０２へ移り、まず撮影者の虹彩を取得するルーチンに入る。ステップＳ１０１で選択された登録番号は図８で示すようにファインダー内ＬＣＤ２１４に表示され、同時に中央の焦点検出領域である２０６ａがスーパーインポーズされる（Ｓ１０２）。ステップＳ１０３において撮影者はこの中央焦点検出領域２０６ａを注視する。注視した状態でシャッター釦１０２を押し下げると（Ｓ１０４）、カメラは、分光器２１０ａによって反射され受光レンズ２１１で結像されて眼球像取得用センサ１１３上に形成した撮影者の虹彩画像を取り込む（Ｓ１０５）。取り込まれた虹彩画像は、画像そのものとして、もしくは従来技術で説明したように個人認証コードにまで処理されて虹彩情報として記録される。虹彩情報は、図７に示すように、ＥＥＰＲＯＭ５００ｃあるいはフラッシュメモリ５０９等の不揮発性メモリに、登録番号に対応づけて記録される。虹彩情報は、登録番号の指定により特定される。
【００５９】
ここで、ステップＳ１０６において、撮影者の個人データとして満足できる、すなわち同一人判定ができる程度に虹彩情報が良好に取得されているかの判断がおこなわれる。もし良好に取得されていないなら、ステップＳ１０７で失敗の合図、例えば電子音を出したりファインダー内ＬＣＤ２１４に表示して再びステップＳ１０２に戻る。良好に取得されたと判断されると、ステップＳ１０８に移り、登録が成功した合図をおこなってステップ１０９以降に移る。
【００６０】
ステップ１０９以降のルーチンは、視線補正データを得るためのものである。
【００６１】
ステップ１０９において、図８の焦点検出領域のうち右端に位置する焦点検出領域２０６ｇがスーパーインポーズによって点滅するので、撮影者はこの領域を注視した状態で（Ｓ１１０）シャッター釦１０２を押し下げる（Ｓ１１１）。シャッター釦１０２の押下と同時にステップＳ１１２においてカメラは複数回視線検出を実行し、右端焦点検出領域に対する撮影者の眼球回転角が取得される。視線検出は、撮影者の瞳孔近傍を照明する赤外発光ダイオード２１３ａ、２１３ｂを点灯すること以外は、虹彩画像を取りこむプロセスであるステップＳ１０５と同様であり、分光器２１０ａによって反射され受光レンズ２１１で結像されて眼球像取得用センサ１１３上に形成した撮影者の眼球画像、特に瞳孔とプルキニエ像を取り込む。
【００６２】
続いてステップＳ１１３において焦点検出領域２０６ｇを消灯し、それと同時に左端の焦点検出領域２０６ｄが点滅を開始する。撮影者は点滅している焦点検出領域２０６ｄを注視し（Ｓ１１４）、シャッター釦１０２を押下げる（Ｓ１１５）ことによって、視線検出を実行させる（Ｓ１１６）。右端の焦点検出領域と同様に複数回視線検出が実行され、左端焦点検出領域に対する撮影者の眼球回転角が取得される。
【００６３】
ｘ方向（横方向）のキャリブレーションに引き続き、ｙ方向（縦方向）のキャリブレーションも同様に行われる。
【００６４】
ステップＳ１１７において、焦点検出領域２０６ｄのスーパーインポーズ消灯後、焦点検出領域２０６ｂがスーパーインポーズによって点滅する。点滅を開始した焦点検出領域を撮影者が注視した状態で（Ｓ１１８）、シャッター釦１０２を押下げると（Ｓ１１９）視線検出が実行される（Ｓ１２０）。ｘ方向と同様に複数回視線検出が実行され、上端焦点検出領域に対する撮影者の眼球回転角が取得される。続いてステップ（Ｓ１２１）において、焦点検出領域２０６ｂを消灯しそれと同時に下端の焦点検出領域２０６ｃが点滅を開始する。撮影者は点滅している焦点検出領域２０６ｃを注視し（Ｓ１２２）、シャッター釦１０２を押下げる（Ｓ１２３）ことによって視線検出を実行させる（Ｓ１２４）。上端の焦点検出領域と同様に複数回視線検出が実行され、下端焦点検出領域に対する使用者の眼球回転角が取得される。
【００６５】
次にステップ（Ｓ１２５）において、これまでに取得された眼球回転角が適正かどうかの判定を行なう。判定は視線検出ステップからで検出された眼球の回転角と、同時に取得される瞳孔径の信頼性を算出して行なわれる。すなわち視線検出ステップにて検出された眼球の回転角及び瞳孔径の信頼性がない場合は算出された視線の補正データも信頼性がないと判定する。信頼性の有無は、例えば実験的な閾値を予め求め、それを基準にして判定するといった方法がある。
【００６６】
また、視線検出ステップにて検出された眼球の回転角及び瞳孔径の信頼性がある場合、算出された視線の補正データが一般的な個人差の範囲に入っていれば適正と判定し、一方算出された視線の補正データが一般的な個人差の範囲から大きく逸脱していれば算出された視線の補正データは不適正と判定する。なお、視線補正データは、例えば、検出された４方向それぞれについての眼球の回転角（眼球の光軸の方向）と、焦点検出領域２０６ｂ，２０６ｃ，２０６ｄ，２０６ｇそれぞれに対する理想的な視線方向（予め求められている）との差として、上下左右それぞれの方向について求められる。
【００６７】
算出された視線の補正データが不適正と判定されると、ステップ（Ｓ１２６）に進み、図示されていない発音体を用いて電子音を所定時間鳴らし、視線補正データの取得に失敗したことを警告する。同時にＬＣＤ２１４に「ＲＥＧ」表示を点滅させて警告する。発音体による警告音とＬＣＤ２１４による警告表示を所定時間行なった後、視線補正データ取得の初期ステップであるステップＳ１０９に戻る。
【００６８】
又、算出された視線の補正データが適正であれば、ステップ（Ｓ１２７）に進み、得られた視線補正データを、選択されている登録番号に対応づけて、図７に示されるような構造で、ＥＥＰＲＯＭ５００ｃあるいはフラッシュメモリ５０９等の不揮発性メモリに格納する。視線補正データの取得が終了したことを、スーパーインポーズ表示によって焦点検出領域２０６ａ〜２０６ｇを数回点滅させ撮影者に認識させる。
【００６９】
以上のステップを踏んで眼球情報をカメラに登録する。
【００７０】
取得された虹彩画像は、本出願人が既に別途出願しているように、公知の撮影シーケンスによって撮影された被写体像に対し、カメラの電源オフの動作指示やＲＥＧ番号の再選択等に伴って記録される。またその記録方法は、虹彩画像をそのまま電子透かしとして埋め込む、または従来技術で説明したように、虹彩画像を一旦個人認証コードに変換し、その個人認証コードを電子透かしとして埋め込む、または撮影画像を説明するために付加される付帯情報である画像メタデータの一項目として個人認証コードを書き込むなどが可能である。
【００７１】
その撮影手順の一例を簡単に説明する。この例は、虹彩情報を基にして得られた個人認証コードの書き込みを、メモリカード５１６の取外し指示に同期しておこなう例である。
【００７２】
モードダイヤル１０６をロックポジション１０６ａから別のポジションに回転させることによりカメラは動作を開始する。次に、撮影者は自らが眼球情報を登録した番号に登録番号を変更する必要がある場合には、前述のようにモードダイヤル１０６を一旦ＲＥＧポジション１０６ｄに合わせた上で、登録した番号の選択をおこなう。番号が選択されて撮影モードダイヤル１０６が撮影のための位置に回転されると、選択された登録番号の視線補正データが、それ以降の撮影に際して視線入力の補正のために使用されるデータとして設定される。この設定は視線補正データを特定のアドレスにコピーすることなどによって行われる。
【００７３】
次に、公知の撮影動作がおこなわれる。具体的には、カメラのシャッター釦１０２がオンされると、被写体像の測光および測光演算が行われて露出値が決定され、また被写体への焦点調節が実行される。このとき、撮影者の視線データが検出され、選択された登録番号の視線補正データによりで検出された視線データが補正される。その補正された視線データによって撮影者が注視している被写体が判定されると、その被写体に対して露出を決定し、また、焦点を合わせるという動作が行われる。
【００７４】
露出値が決定され焦点調節が完了すると、撮像素子５０４上で被写体像が形成される。その後、被写体像の読み出しおよび信号処理が実行されＤＲＡＭ５１１に一時的に格納され、ＪＰＥＧ圧縮処理を経て、フラッシュメモリ５０９に被写体画像データを格納し撮影動作を終了する。
【００７５】
一連の撮影動作の終了後、次のシャッター釦オンまでの間に、撮影者がメモリカードを取り外す指示をカメラに与えた場合、具体的には不図示のメモリカード取外し禁止のロック釦を解除した場合に、この指示と同時に撮影画像に個人認証コードの書き込みをおこなう。この場合は、書き込み終了後は、メモリカード取外し許可の表示を撮影情報表示用液晶１０４に表示して、一定時間経過後に電源をオフにする。
【００７６】
次に個人認証コードの書き込みの処理について説明する。撮影画像へと撮影者の個人データを埋め込む方法には、虹彩検出用センサ１１３によって取得された虹彩画像を画像のまま生体情報として記録および登録する方法と、図９を用いて説明した虹彩模様による個人認証の原理の処理手順を経てコード化された個人認証コードを生体情報として記録および登録する方法がある。
【００７７】
虹彩画像を画像のまま記録している場合、一旦ＤＲＡＭ５１１に虹彩画像を呼び出して展開し、書き込みの対象となる撮影画像も同じくＤＲＡＭ５１１に展開した上で、前者を後者に電子透かしとして埋め込む処理をおこなうことにより書き込みを実現する。これを撮影済みの撮影画像枚数分繰返す。
【００７８】
虹彩画像を個人認証コードまで処理した状態で記録している場合、この個人認証コードは１，０で示されるビットのある一定長の羅列によって表現されているので、上記処理と同様に撮影画像に対して電子透かしとして埋め込むことが可能であり、一方この個人認証コードは、撮影された被写体画像に付加される画像メタデータの一項目として追記することも可能である。ここで画像メタデータとは、ディジタルカメラで取得した被写体画像に対するファイルフォーマットの規格において、画像データに関する各種属性情報、例えば、撮影日時、露出情報、撮影モード、画像圧縮率、ホワイトバランス等を、画像データと共に一つのファイルとして記憶するように定められているものである。画像メタデータの一項目として追記する場合は、撮影画像にすでに付加されている画像メタデータのみをＤＲＡＭ５１１に展開して、個人認証コードを追記することが可能である。
【００７９】
以上説明したように、本実施形態においては、撮影者が登録した自らの虹彩情報を個人データとして、撮影画像に記録する。個人データの撮影画像への埋め込みまたは付加は、各こまの撮影毎に行うのではなく、撮影済みのこまについて、一定のタイミングで一括して行う。こうすることで、撮影時の処理遅延を伴わずに、撮影されたディジタル画像データについて、虹彩情報等、その撮影者に固有の個人情報を、著作物に関する権利を有する者を特定するための著作権管理情報として埋め込みあるいは付加することができる。
【００８０】
これにより、撮影毎に撮影者の生体情報を取得する必要がなく、撮影シーケンス上、撮影装置による処理に負荷を与えない。さらに、生体情報を予め登録できるので、個人認証に不適当な情報しか取得できなかった場合には、登録のやり直しが可能であり、確実な生体情報を取得することができる。
【００８１】
また、個人認証コードの基となる虹彩画像は、視線補正データの獲得時（視線データの較正時）に、眼球情報として一括して獲得される。このため、撮影者に虹彩画像獲得のために別途作業を強要することがない。また、被写体像を撮影する際に同時に虹彩画像を取得するとすれば、撮影シーケンス上もっとも負荷がかかる撮影画像処理中に、さらに虹彩画像の処理も負担させる必要があるが、この過大負荷の心配もないという効果がある。
【００８２】
また、虹彩画像も視線補正データもともに撮影者固有のものであるので、これらを対で記録し、ひとつの識別番号（実施形態中のＲＥＧ番号）で管理すれば、複数の撮影者もしくは同一撮影者の異なる状況に対応することができるばかりでなく、撮影者が自らの識別番号を選択する際の操作上の負担も軽減できるという効果がある。
【００８３】
すなわち、撮影者の虹彩情報を取得するタイミングも、撮影された被写体像に個人データの書込みをおこなうタイミングも、実際の被写体像を撮影するタイミングとは異ならせることができるので、被写体像処理の負荷に影響を与えることがない。また、虹彩情報を予め登録できるので、個人認証に不適当な情報しか取得できなかった場合には登録のやり直しが可能であり、確実な虹彩情報を取得することができる。また、視線算出のためのキャリブレーション動作中に虹彩情報も取得するため、撮影者に強いる撮影以外の作業も軽減でき、かつ、多くの操作を強要することなく複数の撮影者に対応できるようになる。
【００８４】
【発明の効果】
以上説明したように、本発明によれば以下のような効果がある。
【００８５】
請求項１記載の発明によれば、著作権保護のために用いる撮影者の虹彩画像を取得する動作を、撮影者の視線の補正データ獲得動作中におこなうことにより、別途眼球画像を取得する作業を撮影者に強要することがなく、作業性が向上する。また、被写体像を撮影する際に同時に虹彩画像を取得する必要がなく処理負荷を軽減できるという効果がある。
【００８６】
また、請求項２または３記載の発明によれば、虹彩画像も補正係数もともに撮影者固有のものであるので、これらを対で記録し、識別子に対応づけて管理すれば、複数の撮影者もしくは同一撮影者の異なる状況に対応することができる。さらに、撮影者が自らの識別子を選択する際の操作上の負担も軽減できる。
【００８７】
また請求項４または５記載の発明によれば、虹彩情報を電子透かしとして撮影画像に合成することで、権利管理情報を撮影画像と不可分に合成することができる。
【図面の簡単な説明】
【図１】実施形態の正面斜視図、
【図２】実施形態の断面要部概略図、
【図３】実施形態の電気回路の要部ブロック図、
【図４Ａ】実施形態の眼球情報登録処理を表すフローチャート図、
【図４Ｂ】実施形態の眼球情報登録処理を表すフローチャート図、
【図５】モードダイヤル図、
【図６】表示状態説明図、
【図７】眼球情報管理の模式図、
【図８】ファインダー観察図、
【図９】虹彩画像を用いた個人認証に係る処理図、
【図１０】眼球像の座標設定の説明図である。
【符号の説明】
１０２…シャッター釦
１０５…各種設定釦群
１０６…モードダイヤル
１１３…眼球像取得用センサ
５０４…撮像素子

Claims (9)

1. 所定の撮像素子によって被写体像を撮影する画像撮影装置であって、
   撮影者の眼球像から眼球光軸を同定する眼球光軸同定手段と、
   眼球光軸と視線とのずれを補正するための補正係数を、キャリブレーション動作を行って取得して記憶する補正係数記憶手段と、
   前記補正係数を用いて眼球光軸を補正し視線を求める視線演算手段と、
   撮影者の虹彩情報を、前記キャリブレーション動作中に取得して登録する登録手段と、
   前記登録手段によって登録される虹彩情報を複数記憶する虹彩情報記憶手段と、
   虹彩情報を前記虹彩情報記憶手段から選択する選択手段と、
   前記選択手段により選択された虹彩情報を撮影画像に記録する個人データ記録手段と
   を備えることを特徴とする画像撮影装置。
2. 前記補正係数と虹彩情報は、前記補正係数記憶手段と前記虹彩情報記憶手段により対で記憶され、前記選択手段により虹彩情報が選択された場合には、前記視線演算手段は、選択された虹彩情報と対になる補正係数を用いて眼球光軸と視線とのずれを補正することを特徴とする請求項１記載の画像撮影装置。
3. 前記個人データ記録手段は、前記虹彩情報を電子透かしとして撮影画像に合成することを特徴とする請求項１記載の画像撮影装置。
4. 前記虹彩情報は、眼球像に含まれる虹彩画像をコード化した個人認証コードとして前記虹彩情報記憶手段に格納されることを特徴とする請求項１に記載の画像撮影装置。
5. 所定の撮像素子によって被写体像を撮影する画像撮影方法であって、
   撮影者の眼球像から眼球光軸を同定する眼球光軸同定工程と、
   眼球光軸と視線とのずれを補正するための補正係数を、キャリブレーション動作を行って取得して補正係数記憶手段により記憶する補正係数記憶工程と、
   前記補正係数を用いて眼球光軸を補正し視線を求める視線演算工程と、
   撮影者の虹彩情報を、前記キャリブレーション動作中に取得して、虹彩情報を複数記憶する虹彩情報記憶手段に登録する登録工程と、
   虹彩情報を前記虹彩情報記憶手段から選択する選択工程と、
   前記選択工程により選択された虹彩情報を撮影画像に記録する個人データ記録工程と
   を備えることを特徴とする画像撮影方法。
6. 前記補正係数と虹彩情報は、前記補正係数記憶手段と前記虹彩情報記憶手段により対で記憶され、前記選択工程により虹彩情報が選択された場合には、前記視線演算工程では、選択された虹彩情報と対になる補正係数を用いて眼球光軸と視線とのずれが補正されることを特徴とする請求項５記載の画像撮影方法。
7. 前記個人データ記録工程は、前記虹彩情報を電子透かしとして撮影画像に合成することを特徴とする請求項５記載の画像撮影方法。
8. 前記虹彩情報は、眼球像に含まれる虹彩画像をコード化した個人認証コードとして前記虹彩情報記憶手段に格納されることを特徴とする請求項５に記載の画像撮影方法。
9. 所定の撮像素子による被写体像の撮影をコンピュータにより制御するためのプログラムであって、コンピュータを、
   撮影者の眼球像から眼球光軸を同定する眼球光軸同定手段と、
   眼球光軸と視線とのずれを補正するための補正係数を、キャリブレーション動作を行って取得して記憶する補正係数記憶手段と、
   前記補正係数を用いて眼球光軸を補正し視線を求める視線演算手段と、
   撮影者の虹彩情報を、前記キャリブレーション動作中に取得して登録する登録手段と、
   前記登録手段によって登録される虹彩情報を複数記憶する虹彩情報記憶手段と、
   虹彩情報を前記虹彩情報記憶手段から選択する選択手段と、
   前記選択手段により選択された虹彩情報を撮影画像に記録する個人データ記録手段と
   を実現するためのコンピュータプログラム。

Images