JP2008078692A - 画像入力装置及び電子機器 - Google Patents

Abstract

【課題】本発明は暗号・復号化といった余分の工程を付加することなく、プライバシーを保証でき、プライバシーゾーンの調査・設定の手間がかからず所定のユーザのみに対して観察不能な領域がなくカメラの視野全体を観察できる。
【解決手段】本発明の画像認証部はレンズの光学伝達関数を変形させる光学伝達関数変形手段と、光学伝達関数が変形されたレンズによる画像劣化を補正する補正演算手段と、登録されたユーザであるか否かを認証する認証手段と、画像を再生表示する表示手段とを有し、認証結果登録されたユーザである場合画像入力部からの出力画像に対して補正演算手段による補正処理を施した画像を表示手段に表示し、登録されたユーザでなかった場合は画像入力部からの出力画像に対して補正演算手段による補正処理を施さず光学伝達関数が変形されたレンズによる劣化画像を表示手段に表示する。
【選択図】図１

Description

本発明は画像入力装置及び電子機器に関し、詳細にはデジタルカメラ、監視カメラや車載カメラ、またそれらのカメラを備えた電子機器に関する。

昨今の社会では、防犯やセキュリティのために監視カメラの利用が増加している。監視カメラは、例えば街角に設置し、カメラの観察範囲内における人や周辺環境をモニタし、記憶装置に監視カメラで撮影した画像を記憶する。そして、犯罪や事故などが生じた場合に、記憶した画像を再生・観察して捜査や原因究明に役立てることができる。

また、プライバシーを保証する画像入力装置として、特許文献１の装置が知られている。特許文献１の装置では、プライバシーゾーンをマスキングする機能を備え、事前に設定したプライバシーゾーンをマスキングすると共に、プライバシーゾーン以外の視野をできるだけ広くとれるように、パン、チルト付カメラの動作を制御する構成としている。
特許第３，７６７，６１５号明細書

しかしながら、上記特許文献１の装置では、事前にプライバシーゾーンを調査・設定しておく必要があるため、そのための手間がかかり、また極力範囲を抑えたとしても観察不能な領域が生じるという問題がある。

本発明はこの問題点を解決するためのものであり、パスワードや指紋、虹彩のような生体情報を用いて認証を行い、所定のユーザが観察する場合にのみ、演算器による補正・復元処理を実行して収録した画像を人間が観察して詳細を認識できる画像に変換することにより、暗号・復号化といった余分の工程を付加することなく、プライバシーを保証可能な画像入力装置及び電子機器を提供することを目的とする。また、プライバシーゾーンの調査・設定といった手間がかからず、更に所定のユーザのみに対して、観察不能な領域がなく、カメラの視野全体を観察可能な画像入力装置及び電子機器を提供することを目的とする。

前記問題点を解決するために、本発明の画像入力装置は、主に画像入力部と画像認証部を含んで構成されている。画像入力部は、物体からの光を像面上で結像させるレンズと、レンズによる像を撮像する撮像手段とを有している。また、画像認証部は、レンズの光学伝達関数を変形させる光学伝達関数変形手段と、光学伝達関数が変形されたレンズによる画像劣化を補正する補正演算手段と、登録されたユーザであるか否かを認証する認証手段と、画像を再生表示する表示手段とを有している。そして、本発明の画像入力装置は、認証手段による認証結果、登録されたユーザである場合は、画像入力部からの出力画像に対して補正演算手段による補正処理を施した画像を表示手段に表示する。一方、認証手段による認証結果、登録されたユーザでなかった場合は、画像入力部からの出力画像に対して補正演算手段による補正処理を施さず、光学伝達関数が変形されたレンズによる劣化画像を表示手段に表示する。よって、登録されていないユーザが画像を観察しようとした場合、補正・復元処理が実行されないため、画像入力部により取得された像は詳細の認識が困難な不明瞭な像となる。それにより、暗号・復号化といった余分の工程を付加することなく、プライバシーを保証可能な画像入力装置を提供することができる。

また、レンズは、被写体の見込み画角内における光学伝達関数のゲインを有限で低くかつ均一にするために、像面側に凸面形状をもつ球面あるいは非球面のレンズであることが好ましい。

更に、本発明の画像入力装置によれば、画像入力部は、物体からの光を像面上で結像させるため、略平面状に複数個並べられたレンズアレイと、レンズアレイによる像を撮像する撮像手段とを有している。また、画像認証部は、レンズの光学伝達関数を変形させる光学伝達関数変形手段と、光学伝達関数が変形されたレンズによる画像劣化を補正するための補正演算手段と、レンズアレイ及び撮像手段によって撮像した複眼像から単一像を再構成する複眼像再構成演算手段と、登録されたユーザであるか否かを認証する認証手段と、画像を再生表示する表示手段とを有している。そして、本発明の画像入力装置は、認証手段による認証結果、登録されたユーザである場合は、画像入力部からの出力画像に対して補正演算手段による補正処理を施し、かつ複眼像再構成演算手段による再構成された画像を表示手段に表示する。一方、登録されたユーザでなかった場合は、画像入力部からの出力画像に対して補正演算手段による補正処理及び複眼像再構成演算手段による再構成を施さず、光学伝達関数が変形されたレンズによる劣化画像を表示手段に表示する。よって、パスワードの入力装置や指紋や虹彩といったバイオメトリクス認証を行い、所定のユーザが観察する場合にのみ、補正処理と再構成処理を実行して、収録した画像を人間が観察して詳細を認識できる画像に変換することにより、暗号・復号化といった余分の工程を付加することなく、プライバシーを保証可能な画像入力装置を提供できる。

また、複眼像再構成演算手段は、レンズアレイ及び撮像手段によって撮像した複眼像のうち、２つの個眼像のみを用いて相対的な画像視差を検出し、検出した視差に基づき、全個眼像間の相対的な画像視差を検出する。よって、視差検出演算の回数を減らすことができ、再構成処理の時間を短縮することができる。

更に、２つの個眼像は、画像平面内で最も離れた位置にある２つの個眼像であることにより、最も大きい視差を検出し、他の個眼像の視差推定精度を向上させて、再構成処理の精度を向上させることができる。

また、別の発明としての電子機器は、上記画像入力装置を備えたことに特徴がある。よって、携帯電話や小型携帯端末等、画像入力機能を有する電子機器の小型・低コスト化を図り、また収録した画像の観察に対して、暗号・復号化といった余分の工程を付加することなく、プライバシーの問題を解消することができる。

本発明の画像入力装置によれば、登録された所定のユーザが観察する場合にのみ、補正処理を実行して、収録した画像を人間が観察して詳細を認識できる画像に変換し、登録されていないユーザが画像を観察しようとした場合は補正処理が実行されないため、画像入力部により取得された像は詳細の認識が困難な不明瞭な像となる。よって、暗号・復号化といった余分の工程を付加することなく、プライバシーを保証可能な画像入力装置を提供することができる。

図１は本発明の第１の実施の形態例に係る画像入力装置の構成を示すブロック図である。同図に示す本実施の形態例の画像入力装置１は、主に、画像入力部１０及び画像認証部２０を含んで構成されている。画像入力部１０は、被写体の画像を取り込み、レンズ系としての球面の平凸単レンズ１１と、撮像素子として作用するＣＣＤカメラ１２とを含んで構成されている。ここで、平凸単レンズ１１は、凸面が像面側、すなわちＣＣＤカメラ１２側を向いて設置されている。また、画像認証部２０は、画像を観察するユーザを認証するための情報入力手段としてユーザがパスワードを入力するためのキーボード２１と、入力されたパスワードと登録されたデータと照会して正しいパスワードか否かが判定する認証部２２と、パスワードが正しく、ユーザが登録された人物であることが判明したら、ＣＣＤカメラ１２により撮像された被写体の像に対して、メモリ２３に格納されたレンズ系の光学伝達関数データを用いて後述する光学劣化の補正画像処理を施す補正演算部２４と、再生像として表示する表示器２５とを含んで構成されている。

このような構成を有する本実施の形態例の画像入力装置によれば、認証部２２によってキーボード２１から正しいパスワードが入力されなかったと判定された場合は、被写体の像に対して補正演算部２４による補正演算処理が施されずに直接表示器２５に転送される。なお、凸面を像面側にむけたときは、平凸単レンズ１１により作像される画像のＭＴＦは広い空間周波数帯において低くなる。そのため、ＣＣＤカメラ１２により撮像された像は、補正演算処理が施されないと、図２に示したような不明瞭な像となる。よって、認証部２２によってキーボード２１から正しいパスワードが入力されなかったと判定された場合は、人が観察しても詳細な内容を認識困難となる。一方、認証部２２によってキーボード２１から正しいパスワードが入力されたと判定された場合は、被写体の像に対して補正演算部２４による補正演算処理が施されて表示器２５に転送される。すると、図３に示したように鮮明な像が再生される。よって、補正演算処理はレンズの形状や配置などの設計データが分からないと正常に実施できず、また設計データにおける各パラメータは非常に多くの組み合わせがあるため、例え登録者以外の人間が不鮮明な像を取り出して、適当なパラメータで補正処理をかけてみても正常な像を簡単に取得することはできない。所定のユーザのみ画像を観察可能とすることにより、例えば画像に記憶された人物のプライバシーを保証することができる。

なお、本実施の形態例のようにキーボードからのパスワードを入力する以外として、指紋や虹彩など、いわゆる生体情報の画像でもよく、その場合入力された画像は予め登録された画像と照会され、所定のユーザかどうかが判定される。

図４は本発明の第２の実施の形態例に係る画像入力装置の構成を示すブロック図である。同図において、図１と同じ参照符号は同じ構成要素を示す。本実施の形態例の画像入力装置２における画像入力部３０は、略平面状に並べられ、かつ像側に凸面が向いた単レンズのレンズアレイ３１ａと筒状の遮光壁アレイ３１ｂとから構成されたレンズ３１と、フォトダイオードが二次元アレイ状に配列されたＣＣＤ、ＣＭＯＳなどのイメージセンサであってレンズアレイを構成するレンズ３１の略結像位置に設置されている撮像素子３２とを含んで構成されている。また、本実施の形態例の画像入力装置２における画像認証部４０は、キーボード２１、認証部２２、メモリ２３、補正演算部２４、表示器２５、そして補正演算部２４によって像の光学劣化補正処理が施された後複眼像から単一像を再構成するための複眼像再構成処理部４１を含んで構成されている。

ここで、図４のレンズ３１の拡大図である図５に示すように、レンズアレイ３１ａは、透明樹脂製でガラス型や金型から樹脂成形により作製される。ガラス型や金型はリフロー法や面積階調マスクによるエッチング法、機械加工法などにより作製できる。樹脂製のかわりにガラス製のレンズアレイを用いてもよい。遮光壁アレイ３１ｂは隣接レンズで、レンズを通過した光線が像面上で混線してフレアやゴーストが発生するのを防止するために作用する。透明の樹脂にブラックカーボンなどの不透明な材料を混合させて、レンズアレイ３１ａと同様、ガラス型や金型から作製される。遮光壁用のガラス型や金型はエッチング法や機械加工法などにより作製できる。樹脂の代わりにステンレスなどの金属材料を黒などで色塗りして用いてもよい。図４及び図５に示す例では、筒状の遮光壁になっているが、遮光壁にテーパをつけた構造としてもよいし、ピンホールのような薄型の遮光部材としてもよい。樹脂同士であることを利用するとレンズアレイ３１ａと遮光壁アレイ３１ｂを一体で成形加工して生産効率を上げることができる。レンズアレイ３１ａと遮光壁アレイ３１ｂを別々で加工して後に組合せるという製造工程としてもよい。レンズアレイ３１ａと遮光壁アレイ３１ｂを組合せる場合、像側に凸面を向けたレンズは、遮光壁アレイ３１ｂの穴にレンズの凸面がはまり込むのでアライメントがしやすいという効果も得られる。

図６は撮像素子で取得される複眼像を示す図であり、レンズアレイにおけるレンズの個数（図６の場合１０×１０＝１００個）だけの個眼像が取得される。図６において個眼像と個眼像の間の黒い部分（線）は遮光壁による影である。図５において太い破線は、撮像素子３２の画素３２ａを表しており、レンズアレイ３１ｂによる個眼像を複数の画素３２ａで画像として撮像する。例えば撮像素子の総画素数が１０００×１０００で、レンズアレイにおけるレンズが１０×１０、遮光壁による影に１０画素を要するとした場合、個眼像の画素数は９０×９０となる。

次に、第２の実施の形態例の画像入力装置の動作について説明すると、画像入力部３０によって取り込んだ被写体の像は、レンズアレイ３１ａのレンズごとで得られる個眼像の集合である複眼像となる。図７に、取得される複眼像の例を示し、図８に複眼像の中の一つの個眼像の拡大像を示すが、像のコントラストの補正処理、並びに複眼像から単一像への再構成処理を施さないと、複眼像や個眼像の拡大像を観察しただけでは、画像の詳細は認識困難である。ユーザが登録された人物であり、図７の複眼像に補正演算処理、再構成処理が施されると、図３のような鮮明な像が得られる。よって、認証部２２によってキーボード２１から正しいパスワードが入力されなかったと判定された場合は、被写体の像に対して補正演算部２４による補正演算処理と複眼像再構成演算部４１による再構成処理が施されずに直接表示器２５に転送される。そのため、ＣＣＤカメラ１２により撮像された像は、補正演算処理と再構成処理が施されないと、図７及び図８に示したような不明瞭な像となり、人が観察しても詳細な内容を認識困難となる。一方、認証部２２によってキーボード２１から正しいパスワードが入力されたと判定された場合は、被写体の像に対して補正演算部２４による補正演算処理と複眼像再構成演算部４１による再構成処理が施されて表示器２５に転送される。すると、図３に示したように鮮明な像が再生される。そのため、所定のユーザのみ画像を観察可能とすることにより、例えば画像に記憶された人物のプライバシーを保証することができる。

次に、本発明では、図９のように、複眼像を構成する個眼像のうち、基準個眼像５１と、視差を検出するための個眼像５２の２つの個眼像を取り出し、それらの個眼像の相対的な画像視差を検出する。検出した画像視差をΔとし、Ｘ方向あるいはＹ方向における基準個眼像５１の中心から視差を検出した個眼像５２までの距離をＮ、基準個眼像５１の中心から任意の個眼像５２の中心までの距離をｎとすると、任意の個眼像の基準個眼像５１に対する視差δは次式で求められる。Ｘ、Ｙのそれぞれの方向の距離を用いることにより、Ｘ、Ｙのそれぞれの方向で視差δを求めることができる。

そして、視差を検出するために取り出した２つの画像を、図９のように複眼像の中で最も離れた位置から取り出すと、最も大きな視差を検出できるため、高いＳＮ比で視差検出できる。そのため検出した視差Δを用いて上記（１）式により各個眼像の視差を推定するとき、推定精度を高めることができる。

また、以上説明した本発明の画像入力装置を、携帯電話やノートＰＣ、ＰＤＡなどの小型携帯端末などの電子機器に組み込んで用いれば、小型化・低コスト化を図れた画像認識機能を有する電子機器を提供することができ、また収録した画像の観察に対して、暗号・復号化といった余分の工程を付加することなく、プライバシーの問題を解消することができる。

なお、本発明は上記各実施の形態例に限定されるものではなく、特許請求の範囲内に記載であれば多種の変形や置換可能であることは言うまでもない。

本発明の第１の実施の形態例に係る画像入力装置の構成を示すブロック図である。 補正演算処理が施されないときの画像の表示例を示す図である。 補正演算処理が施されたときの画像の表示例を示す図である。 本発明の第２の実施の形態例に係る画像入力装置の構成を示すブロック図である。 図４のレンズを示す拡大図である。 複眼レンズ系を用いて収録される複眼像を示す模式図である。 補正演算処理及び再構成処理が施されないときの画像の表示例を示す図である。 図７の複眼像の一つの個眼像を示す拡大図である。 複眼像の中で視差検出のために抽出される２つの画像を説明する図である。

符号の説明

１，２；画像入力装置、１０，３０；画像入力部、
１１；平凸単レンズ、１２；ＣＣＤカメラ、２０，４０；画像認証部、
２１；キーボード、２２；認証部、２３；メモリ、２４；補正演算部、
２５；表示器、３１；レンズ、３１ａ；レンズアレイ、
３１ｂ；遮光壁アレイ、３２；撮像素子、３２ａ；画素、
４１；複眼像再構成処理部、５１；基準個眼像、５２；個眼像。

Claims (6)

1. 物体からの光を像面上で結像させるレンズと、該レンズによる像を撮像する撮像手段とを有する画像入力部と、
   前記レンズの光学伝達関数を変形させる光学伝達関数変形手段と、光学伝達関数が変形された前記レンズによる画像劣化を補正する補正演算手段と、登録されたユーザであるか否かを認証する認証手段と、画像を再生表示する表示手段とを有する画像認証部とを具備し、
   前記認証手段による認証結果、登録されたユーザである場合は、前記画像入力部からの出力画像に対して前記補正演算手段による補正処理を施した画像を前記表示手段に表示し、登録されたユーザでなかった場合は、前記画像入力部からの出力画像に対して前記補正演算手段による補正処理を施さず、光学伝達関数が変形された前記レンズによる劣化画像を前記表示手段に表示することを特徴とする画像入力装置。
2. 前記レンズは、被写体の見込み画角内における光学伝達関数のゲインを有限で低くかつ均一にするために、像面側に凸面形状をもつ球面あるいは非球面のレンズであることを特徴とする請求項１記載の画像入力装置。
3. 物体からの光を像面上で結像させるため、略平面状に複数個並べられたレンズアレイと、該レンズアレイによる像を撮像する撮像手段とを有する画像入力部と、
   前記レンズの光学伝達関数を変形させる光学伝達関数変形手段と、光学伝達関数が変形された前記レンズによる画像劣化を補正するための補正演算手段と、前記レンズアレイ及び前記撮像手段によって撮像した複眼像から単一像を再構成する複眼像再構成演算手段と、登録されたユーザであるか否かを認証する認証手段と、画像を再生表示する表示手段とを有する画像認証部とを具備し、
   前記認証手段による認証結果、登録されたユーザである場合は、前記画像入力部からの出力画像に対して前記補正演算手段による補正処理を施し、かつ前記複眼像再構成演算手段による再構成された画像を前記表示手段に表示し、登録されたユーザでなかった場合は、前記画像入力部からの出力画像に対して前記補正演算手段による補正処理及び前記複眼像再構成演算手段による再構成を施さず、光学伝達関数が変形された前記レンズによる劣化画像を前記表示手段に表示することを特徴とする画像入力装置。
4. 前記複眼像再構成演算手段は、前記レンズアレイ及び前記撮像手段によって撮像した複眼像のうち、２つの個眼像のみを用いて相対的な画像視差を検出し、検出した視差に基づき、全個眼像間の相対的な画像視差を検出することを特徴とする請求項３記載の画像入力装置。
5. ２つの前記個眼像は、画像平面内で最も離れた位置にある２つの個眼像であることを特徴とする請求項４記載の画像入力装置。
6. 請求項１〜５のいずれかの１項に記載の画像入力装置を備えたことを特徴とする電子機器。

Images