JP2006261871A - ハンズフリーカメラにおける画像処理装置 - Google Patents

Abstract

【課題】 ビューファインダを用いずに広角レンズで広角撮影を行うハンズフリーカメラにおいて、画像データ量を抑制しながら、所要の撮影対象については拡大表示に耐える解像度を担保する。
【解決手段】 位相差検出方式の測距手段１７〜１８,２０,２１で、前記撮像素子の各画素毎に、各画素と光学的に対応する撮影領域内の対象部分と前記広角レンズとの間の距離を求める。解像度変換部１３は、メモリ２２のテーブルで定めた距離とグループ化画素数の対応関係を用いて、撮像素子１２から得られる各画素の画像データを移動平均法で平滑化するためのグループ化画素数を求め、その条件で平滑化処理を行う。テーブルのグループ化画素数が、近距離で小さく、遠距離で大きく設定している場合には、解像度が近距離では高くなり、遠距離では低くなる。広角画像全体を高解像度にする必要がなく、データ量を低減化できる。
【選択図】図１

Description

本発明はハンズフリーカメラにおける画像処理装置に係り、特にハンズフリーカメラで広角撮影した画像内の所要領域だけを高解像度にして、全体としてのデータ量を低減化するための画像処理に関する。

プラントや工事現場等においては、作業員が状況の確認を行いながら、その結果に基づいて遠隔地から作業上の指示を受けることが多いが、作業員がハンズフリーな状態でビデオカメラを携帯して現場を撮影し、その撮影した画像データを無線通信又は有線通信により遠隔地へ伝送してモニタに表示させるシステムが用いられている。

その場合、小型ビデオカメラを作業員のヘルメットに装着する等の方式が採用されているが、意図する撮影対象をビデオカメラのフレーム内に収める必要があるため、様々なビューファインダが考案されている。例えば、下記特許文献１では、ヘルメットに取り付けた可動フレームにビデオカメラとビデオ表示装置を取り付けて撮影している場所を確認できるようにした方式が提案されており、また、下記特許文献２では、ヘルメット等にビデオカメラとその撮像範囲を示すための指標付き透明板を取り付けておき、ヘルメット等を被った際に前記透明板が一方の眼の前に配置され、それをビューファインダとして用いながら撮影できるようにした方式が提案されている。
特開平９−９８３９５号公報 特開２００３−３３７３６４号公報

しかしながら、前記特許文献１に開示されている方式によれば、ヘルメットにビデオカメラだけでなくビデオ表示装置も取り付ける必要があり、重量が相当のものになると共に、全体として高価なシステムになってしまう。更には、撮影時においてはビデオ表示装置によって視界が遮られるため、作業をしながらの撮影には不都合であるという問題点がある。一方、前記特許文献２に開示されている方式では、ビデオ表示装置を用いていないが、頭部と眼の相対的位置関係には個人差があるため、ヘルメット等を被った状態でビューファインダ（透明板）の指標を適正な位置で確認できるようにするには、個別に設計を行うか又は複雑な調整装置が必要になる。また、ビデオカメラの装着位置がヘルメット等の頭部装着具に限定されるため、既に頭部に他の機器を取り付けている場合や、頭部に取り付けることに制約がある場合には使用できないという不利もある。

これに対して、撮影範囲をビューファインダ無しでも捕捉できるように広角レンズを用いる撮影方式が考えられるが、広角レンズを用いると実効解像度が低下してしまうために画像の細部が見づらくなるという問題がある。例えば、一般的なビデオカメラのワイド端で得られる水平画角：約３５°、垂直画角：約３０°と比べて、ハンズフリーカメラで使用可能と想定される水平画角：約８０°、垂直画角：約６０°の広角レンズでは４.５倍以上の撮影範囲があり、実効解像度が１／４以下になってしまう。そして、これを高解像度の撮像素子を用いて撮像範囲全体で高い分解能を得ようとするとデータ量が非常に大きくなり、一般的なハンズフリーカメラが備えているハードウェア資源で伝送・再生処理することは困難である。

ところで、最近では、従来のモーションキャプチャ方式に代わって、リアルタイムに物体までの距離を２次元的に検出できる測距センサが開発されている。例えば、次の非特許文献(1)には、ＬＥＤから数十ＭＨzで変調した近赤外光を投光し、物体からの反射光を受光するＣＣＤ撮像素子の各画素について位相差検出方式で光の到達時間を計測し、その計測時間を距離に換算して“距離画像”に相当するデータを得るものが掲載されており、また、距離演算方式は異なるが、同様に赤外光の反射を利用した２次元的測距技術が次の非特許文献(2)に発表されている。
・非特許文献(1)：“PRESS RELEASE/松下電工”、［online］、平成１７年１月２７日、松下電工株式会社、［平成１７年２月２４日検索］、インターネット＜http://www.mew.co.jp/press/0501/0501-9.htm＞
・非特許文献(2)：“NHK INFORMATION「技術情報」”、［online］、平成１２年４月７日、日本放送協会、［平成１７年２月２４日検索］、インターネット＜http://www.nhk.or.jp/pr/marukaji/m-giju034.html＞
その他にも、次の非特許文献(3)〜(5)には物体に対してスリット光を走査してその反射光の歪から距離を求める方式が掲載されており、非特許文献(6)にはレーザ光を走査して同様に距離を求める方式が掲載されている。
・非特許文献(3)：“製品案内/技術情報（モアレ読本）/各種光応用測定器の原理”、［online］、株式会社オプトン、［平成１７年２月２４日検索］、インターネット＜http://www.opton.co.jp/new_hp/product/3d/product/moaretech/md2_1.html＞
・非特許文献(4)：“研究開発/コア技術の紹介：３次元計測技術”、［online］、コニカミノルタホールディングス株式会社、［平成１７年２月２４日検索］、インターネット＜http://konicaminolta.jp/about/research/core_technology/3d.html＞
・非特許文献(5)：“研究紹介/PSDセンサアレイを用いた高速連続三次元計測装置”、［online］、中京大学 生命システム工学部 荒木研究室、［平成１７年２月２４日検索］、インターネット＜http://www.slit-ray.sccs.chukyo-u.ac.jp/research/old_range_finder/＞
・非特許文献(6)：“RIEGL社３ＤレーザーミラースキャナーLMS-Z210i”、［online］、有限会社スナガインパルス、［平成１７年２月２４日検索］、インターネット＜http://www.sunagaimpulse.com/Syozai/Lasersite/RIRGL/3D.html＞

そこで、本発明は、広角レンズで広範囲を撮影できるように設定したハンズフリーカメラにおいて、撮像画像について距離情報を２次元的に検出する測距手段を用いることにより、データ量を抑制すると共に、再生時に被写体をズームアップする際にも解像度の低下を小さくすることができる画像処理装置を提供することを目的として創作された。

本発明は、広角レンズと撮像素子とを備えたハンズフリーカメラにおける画像処理装置において、前記広角レンズと撮像視野内の被写体との距離を測定するための光線を前記被写体に向けて発光する発光手段と、前記被写体からの前記光線の反射光を受光して、前記撮像素子の画素毎に前記被写体との距離を測定する測距手段と、前記測距手段により得られた距離情報と近接した画素をグループ化した場合の画素数との対応条件を定めたグループ化条件テーブルと、前記グループ化条件テーブルから前記距離情報に応じたグループ化画素数を得、前記撮像素子の各画素の画像データを、前記グループ化画素数分の画素の画像データを平滑化して得られる画像データに置換することにより解像度を変換する解像度変換手段とを備えたことを特徴とするハンズフリーカメラにおける画像処理装置に係る。

本発明では、撮像素子の各画素の画像データを測距手段による距離情報に基づいて設定されたグループ化画素数の条件で平滑化しており、グループ化条件テーブルで定める条件によって所要の距離にある撮影対象を高い解像度にし、他の距離にある撮影対象を低い解像度にすることができる。

本発明のハンズフリーカメラにおける画像処理装置は次のような効果を奏する。ハンズフリーカメラではビューファインダを用いないために広角レンズで撮影することを余儀なくされる場合があるが、広角レンズで撮影された画像全体を高い解像度にすることなく、距離条件で設定した所要の撮影対象について拡大表示に耐える解像度が得られるようにし、表示上の要求を満たしながら伝送データ量を大幅に抑制することを可能にする。

以下、本発明のハンズフリーカメラにおける画像処理装置の実施形態を図面に基づいて説明する。先ず、図１はヘルメット等の装着具に固定させた態様で作業員が携帯するハンズフリーカメラの構成を示すブロック図である。同図に示すように、このハンズフリーカメラ１０は、広角レンズを含む光学系１１と、ＣＣＤの受光画素で構成されており、光学系１１で広角撮影された画像が集光・入射せしめられる撮像素子１２と、撮像素子１２から得られる画像の解像度を後記の測距情報に基づいて変換する解像度変換部１３と、解像度変換後の画像データをＭＰＥＧ方式で符号化圧縮する符号化部１４と、符号化後の画像データを無線送信するデータ送信部１５と、アンテナ１６と、測距用近赤外光の変調信号を生成する変調信号生成部１７と、近赤外光で発光する測距用ＬＥＤ１８と、変調信号生成部１７の変調信号で測距用ＬＥＤ１８を駆動するＬＥＤドライバ１９と、ＣＭＯＳの受光画素で構成されており、測距用ＬＥＤ１８から出射された近赤外光の撮影領域での反射光を受光する測距用センサ２０と、測距用センサ２０の各受光素子の出力信号と変調信号生成部１７の変調信号とを時間軸上で位相比較して各受光素子への入射光に係る反射位置までの距離を求める距離演算部２１と、解像度変換部１３が解像度の変換処理に用いるテーブルを格納したメモリ２２と、システム全体を制御するシステム制御部２３と、使用テーブルの切り換え指示等を行う操作部２４とからなる。

そして、このハンズフリーカメラ１０は前記構成に基づいて次のような画像処理を実行する。光学系１１による広角の撮影領域へ向けて測距用ＬＥＤ１８から変調信号生成部１７の変調信号で変調された近赤外光を照射し、前記撮影領域からの反射光を測距用センサ２０で受光するが、変調信号生成部１７の変調信号と反射光による測距用センサ２０の各受光素子の出力信号との間には位相差が生じており、距離演算部２１がその位相差に基づいて反射位置（即ち、撮像領域内の物体）までの距離情報を求める。その場合、測距用センサ２０の画素数は水平・垂直方向について撮像素子１２の画素数と同一であると共に、広角レンズ１１によって撮像素子１２に入射せしめられる撮影領域の画像が測距用センサ２０にも同様に入射されるようになっている。従って、撮像素子１２と測距用センサ２０とでは水平・垂直方向について各画素が相互に対応しており、距離演算部２１は撮像素子１２の画素毎に撮影対象までの距離情報を求めることができる。

解像度変換部１３は距離演算部２１が求めた画素毎の距離情報を用いて解像度を変換するが、その変換処理は距離情報に基づいた画素のグループ化とグループ単位での平滑化によって行われる。具体的には、メモリ２２には図２の（Ａ）と（Ｂ）に示すような条件で距離とグループ化画素数との関係を規定したテーブルが格納されており、解像度変換部１３では予め選択設定されているいずれかのテーブルを用いて距離別にグループ化する画素数を設定する。そして、測距用センサ２０から得られる各画素の距離情報を用いて、撮像素子１２の各画素を距離別に区分し、その区分領域内の各画素について距離に対応したグループ化画素数を設定した移動平均法により平滑化する。尚、各テーブルの選択設定は、操作部２４からの指示入力を受けて、システム制御部２３が解像度変換部１３とメモリ２２を指定選択状態にセットすることにより行われる。

例えば、図２の（Ａ）のテーブルを選択している場合であれば、距離情報が３ｍになっている区分領域では各画素についてその近傍にある４個の画素についての画像データの平均値をとって各画素の画像データに置き換え、また距離情報が１０ｍになっている区分領域では各画素についてその近傍にある８個の画素（即ち、周囲に隣接する画素）についての画像データの平均値をとって各画素の画像データに置き換えるというような平滑化処理を行う。

一般に、平滑化処理は画像に混入したノイズを除去するために実行される処理であるが、グループ化画素数が大きくなるほど平滑度が大きくなって解像度が低下し、逆にグループ化画素数が小さくなると解像度は高くなる。図２の（Ａ）と（Ｂ）に示される条件は対照的な傾向で距離とグループ化画素数との関係を規定している。ここに、（Ａ）は広角の撮像領域の中にある対象物に注目する場合に有効であり、比較的近い対象物が高解像度になる条件が設定できる。但し、レンズから１ｍ以内に接近した対象物については元々大きく撮影されるため、グループ化画素数を、距離が１ｍ近辺の場合のように１（画素データをそのまま用いる処理に相当）とせずに、２〜３の範囲で設定するようにしている。一方、（Ｂ）は広角の画像全体に注目する場合に有効であり、遠い対象物が高解像度になる条件が設定できる。遠い対象物は小さく写るため、近い対象物の写り方との関係で全体としてバランスをとるには遠い対象物を高解像度にしておく必要がある。尚、各テーブルで与える条件は、レンズの画角、撮像素子１２のサイズと画素ピッチ、撮像対象の大きさ等も考慮して設定される。

次に、解像度変換部１３での平滑化処理によって段階的に解像度を割り当てられた画像データは符号化部１４へ入力され、解像度毎（即ち、同一のグループ化画素数で平滑化処理された画素のグループ毎）にそれぞれ別のストリームとしてＭＰＥＧ方式による符号化がなされる。そして、符号化後の画像データはデータ送信部１５へ出力され、データ送信部１５がアンテナ１６から後記の画像受信装置側へ無線伝送する。無線伝送方式はＦＭ無線、802.11x、Bluetooth、公衆電話網等の何れを適用してもよい。このハンズフリーカメラ１０によれば、広角レンズで撮影した画像データの全てを高解像度にしておくのではなく、前記のようにテーブルを用いて画素データを距離別に区分し、所要の距離範囲にある画像データを高解像度になるように処理し、他の距離範囲にある画像データの解像度を低下させているため、伝送する画像データのデータ量を大幅に抑制することが可能になる。

ハンズフリーカメラ１０側から送信された符号化画像データは図３に示す画像受信装置で格納・再生される。同図に示すように、画像受信装置３０は、アンテナ３１で受信した画像データを取り込むデータ受信部３２と、受信した画像データを格納するハードディスク装置（ＨＤＤ）３３と、ＨＤＤ３３に対する書き込みと読み出しを実行するＲ/Ｗ制御部３４と、再生する画像データがリアルタイムな受信画像データかＨＤＤ３３に保存した画像データかを選択するスイッチ回路３５と、ＭＰＥＧ方式で符号化されている画像データを復号する復号部３６と、画像データの解像度を判別して画角を変換した表示データを得ることが可能な画角変換部３７と、システム全体を制御するシステム制御部３８と、スイッチ回路３５の切り換えや画角変換の指示等を行う操作部３９とからなり、画角変換部３７の出力画像データがディスプレイ４０に表示されるようになっている。

ここで、受信した画像データは解像度が異なる画像データ毎のストリームとして符号化されているため、復号部３６でもそれらストリーム毎に復号してフレームを復元する。また、操作部３９から画角変換部３７へ指示を与えることにより、元の広角画像のまま出力させるか、又は撮影対象までの距離の範囲を指定してその範囲にある部分的画像を拡大して出力させるかを選択することができる。その場合、例えば、ハンズフリーカメラ１０側で図２の（Ａ）のテーブルを用いた平滑化処理がなされている画像データについて、前記範囲を０〜３ｍと指定したとすると、当然にその範囲にある部分的画像が拡大されてディスプレイ４０に表示されることになるが、その部分的画像はグループ化画素数を１〜４として平滑化されているために比較的高い解像度の画像データになっており、部分的拡大による画像の劣化を少なくすることができる。

尚、以上の実施形態では、測距用センサ２０と撮像素子１２の画素数を水平・垂直方向について同一にしているが、画像にあまり影響がでない範囲で測距用センサ２０側の画素数を少なくすることも可能であり、測距用センサ２０の１つの画素が撮像素子１２側の複数の画素と対応するようにしてもよい。また、以上の実施形態では、距離情報を得る手段が変調信号生成部１７と測距用ＬＥＤ１８とＬＥＤドライバ１９と測距用センサ２０と距離演算部２１とからなり、上記非特許文献(1)に示されている「距離画像センサ」と同様の構成を採用しているが、要するに撮影画像の各画素データがどの距離にある対象からの反射光によるものかという情報が得られればよく、原理的には上記非特許文献(2)〜(6)に開示されている技術も採用できる。更に、ハンズフリーカメラ１０がオートフォーカス機能を有していれば、光学系１１の焦点距離を０から無限大まで変化させ、その際の撮像素子１２の各画素に係る高周波成分を検出して画素単位での距離情報を得る方式も採用できる。

本発明は、ビデオカメラをヘルメット等に取り付けてビューファインダを用いずに撮影を行うハンドフリーカメラに利用でき、特にその画像処理部に適用できる。

本発明の実施形態に係る画像処理装置が適用されたハンズフリーカメラのブロック図である。 メモリに格納されている２つのテーブルにおける距離−グループ化画素数の関係を示すグラフである。 図１のハンズフリーカメラから無線伝送される画像データを受信して格納・再生する画像受信装置のブロック図である。

符号の説明

１０…ハンズフリーカメラ、１１…広角レンズを含む光学系、１２…撮像素子、１３…解像度変換部、１４…符号化部、１５…データ送信部、１６，３１…アンテナ、１７…変調信号生成部、１８…測距用ＬＥＤ、１９…ＬＥＤドライバ、２０…測距用センサ、２１…距離演算部、２２…メモリ、２３，３８…システム制御部、２４，３９…操作部、３０…画像受信装置、３２…データ受信部、３３…ハードディスク装置、３４…Ｒ/Ｗ制御部、３５…スイッチ回路、３６…復号部、３７…画角変換部、４０…ディスプレイ。

Claims (1)

1. 広角レンズと撮像素子とを備えたハンズフリーカメラにおける画像処理装置において、
   前記広角レンズと撮像視野内の被写体との距離を測定するための光線を前記被写体に向けて発光する発光手段と、
   前記被写体からの前記光線の反射光を受光して、前記撮像素子の画素毎に前記被写体との距離を測定する測距手段と、
   前記測距手段により得られた距離情報と近接した画素をグループ化した場合の画素数との対応条件を定めたグループ化条件テーブルと、
   前記グループ化条件テーブルから前記距離情報に応じたグループ化画素数を得、前記撮像素子の各画素の画像データを、前記グループ化画素数分の画素の画像データを平滑化して得られる画像データに置換することにより解像度を変換する解像度変換手段と
   を備えたことを特徴とするハンズフリーカメラにおける画像処理装置。
   

Images