JP2004222254A - 画像処理システム、方法及びプログラム - Google Patents

Abstract

【課題】日常生活において、人間が目にするものを、敢えて持参したカメラを用いて撮影するという行動をとることなく、そのまま画像として保存しておきたいという要求に対して、ユーザーが撮像するという行為を意識することなく、自然に生活しながら、ユーザー自身の見たものを記録として残すことを可能とする。
【解決手段】画像を撮像して画像データを出力する撮像素子を複数備える撮像部と、前記撮像部から出力される複数の画像データを無線送信する無線送信部と、前記無線送信された複数の画像データに基づいて合成画像を生成する合成画像生成部とを備えることを特徴とする。
【選択図】図１ａ

Description

本発明は、画像を撮像し、画像情報を無線通信して処理する画像処理システム、方法及びプログラムに関する。

近年、デジタルカメラやビデオカメラなどの普及により、例えば運動会や結婚式、または旅行など、記念に残すための特別な日に行うカメラ撮影から、平凡な日常生活を映し出すようなカメラ撮影の機会が極めて多くなっている。特に、デジタルカメラの小型化が進むにつれて、手軽に持ち運びできるようになって、このような撮影の機会が増えてきている（例えば、特許文献１を参照。）。
特表２００１−５２３９２９号公報

日常生活において、出会う人の顔を思い出せずに困ることも多く、また知らない町に行ったときに行った先のルートを記録しておきたい、などといった要求がある。

しかし、出会う人に、いちいちカメラを向けて撮影することは、撮影される本人に失礼であるし、常にカメラを携帯しておくのは面倒であり、撮影の手間を避ける時間がない場合など、結局日常生活の記録を残すことができないことになる。

このように日常生活において、人間が目にするものを、敢えて持参したカメラを用いて撮影するという行動をとることなく、そのまま画像として保存しておきたいという要求がある。しかし今日まで開発されてきたカメラは、このような要求に対して応えることはできない。

よって、本発明は、このような要求に対して、ユーザーが撮像するという行為を意識することなく、自然に生活しながら、ユーザー自身の見たものを記録として残すことを可能とすることを目的とする。

上記課題を解決するための本発明は、画像を撮像して画像データを出力する撮像素子を複数備える撮像部と、前記撮像部から出力される複数の画像データを無線送信する無線送信部と、前記無線送信された複数の画像データに基づいて合成画像を生成する合成画像生成部とを備えることを特徴とする。

本発明によれば、ユーザーが撮像するという行為を意識することなく自然に生活しながら、ユーザー自身の見たものを記録として残すことが可能となる。

図１Ａは、本実施例おける画像処理システムのハードウェア構成の一例を示す模式図である。また、図１Ｂは、本発明の画像処理システムの構成例を示す図である。図１Ａ及び図１Ｂに示すように、本発明の画像処理システムは、主として無線撮像装置１０と親基地２０から構成される。

無線撮像装置１０は、被配置体に撮像部１０１、通信部１０２、電源部１０３が搭載されることにより構成される。

撮像部１０１は、球状で微小サイズの無線撮像素子である撮像センシング無線機器１が多数集合して構成される。例えば、図１Ｂに示すシステムの構成例では、被配置体であるメガネ１１のフレームの縁（枠）に、撮像センシング無線機器１が多数散りばめられるように配置されている。撮像部１０１では、無線撮像装置１０（図１Ｂではメガネ１１）を装着したユーザーが見た画像を、各々の撮像センシング無線機器１が配置された位置で撮像する。

撮像された画像は、各撮像センシング無線機器１と通信部１０２とをつなぐ配線により、通信部１０２へ送信される。

上記で被配置体として用いられるメガネ１１は、近視用遠視用、遠近両用でも良く、いわゆるダテメガネ、サングラスなどでも好適である。さらに、弱視や目の不自由な人においても、撮像センシング無線機器１により撮影された画像を親基地２０で認識判断しアラームなどで知らせることにも用いることができる。例えば危険な段差や車道の部分を画像認識により、親基地２０で判断してメガネ１１をかけた人に警告することも可能である。また、最近、問題となってきた徘徊老人にこのようなメガネを装着させることにより、どのような状況かを家の人が随時確認することができ、適切な対応を行うことができる。

図５は、本発明の無線撮像装置１０に用いられる撮像センシング無線機器１の一例を示す模式図である。この撮像センシング無線機器１は、微小球レンズを用いたセンサ一体型のものとされており、直径１ｍｍの球において、１万画素のＣＣＤもしくはＣＭＯＳセンサである球面センサ４が球面レンズ５の背面に設けられており、前面には色フィルタ６が設けられている。１画素の大きさは２μｍ程度である。１つの撮像センシング無線機器１の画素数は、１万画素であっても、無線撮像装置、例えば実施例１で記したメガネ全体に、１００個配置すれば１００万画素と同等の高画質の画像を得ることができる。このような多数の配置は、各センシング無線機器の大きさを１ｍｍと小さくしたことによって実現し得るものである。

なお、本実施例では、複数の撮像センシング無線機器１を撮像系として利用するが、光軸合わせの方法として以下のようなものが考えられる。まず、メカ的な構成により光軸合わせを行うことが可能である。それぞれの部品を予め所望の精度（各撮像系の各画素が他の撮像系における各画素ひとつ分の光軸ずれまで許容する）で製造し組み立てる。次に、各撮像センシング無線機器１をメガネ等の装身具上に配置した後、対象物として較正用チャートを撮像し、それぞれの撮像系の光軸および撮像素子の回転方向を求めてもよい。更に、撮像画像の複数の特徴点情報からそれぞれの撮像系の向きを求めてもよい。光軸だけでなく、それぞれの撮像系におけるフォーカス位置の決定、倍率、色の調整を予め行うことにより、得られる各撮像系からの像を適切に処理することができる。

通信部１０２は、撮像部１０１で撮像された画像を親基地２０へ送信するための無線通信手段であり、無線通信部とアンテナを備える。

図１Ｂを参照して説明すれば、通信部１０２は、メガネ１１の耳かけ部分等に配置することができる。通信部１０２は撮像センシング無線機器１に比べれば多少大きくても良い。特にアンテナはメガネ１１の耳かけの部分に十分収めることができサイズであればよい。例えば、メガネ１１の耳かけの一部を金属線として、モノポールアンテナとすることができ、その長さは、例えば通信波長の１／４、すなわち、２．４５ＧＨｚの周波数の電磁波を用いて親基地２０と通信を行う場合、３ｃｍに設定することが好ましい。なお、装着したときの負担を考慮すると通信部１０２は軽量であることが望ましい。

１０３は電源部であり、親基地２０から無線供給により電力を生成してもよいし、無線撮像装置１０の電源としては小型の電池が用いてもよい。Ｌｉ電池をはじめ、太陽電池、燃料電池、音や圧力変化等の振動を電気エネルギーに変換するタイプの電池、人の体温と環境の温度差を利用した電池等を利用することができる。

次に親基地２０は、無線撮像装置１０と無線通信して無線撮像装置１０の動作を制御したり、撮像センシング無線機器１で撮像された画像を受信したりする基地局端末である。親基地２０は専用の端末として設置しても良いし、腕時計のタイプや指輪等装身具の一部にしても良い。また、ユーザーが通常利用可能な携帯電話やＰＨＳ端末、ＰＤＡ等にその機能を搭載してもよい。更に、無線撮像装置１０から受信したデータや親基地２０において処理したデータを、通信機能を利用して外部接続機器に送信してもよい。例えば、旅行に出かけた友人が見た画像を、携帯電話を介してネットワーク上のパソコンで見れば、自宅においてリアルタイムで友人が楽しんでいる旅行の気分を味わうことができる。

親基地２０において、１１１はＣＰＵで、ＲＡＭ（ランダムアクセスメモリ）１１２やＲＯＭ（リードオンリメモリ）１１４に格納されたプログラムやデータ等を用いて親基地全体の制御を行うと共に、無線撮像装置１０で撮像された画像を利用した画像合成処理を行う。１１２はＲＡＭで、ＲＯＭ１１４に格納されたプログラムを読み込むエリアを備えると共に、ＣＰＵ１１１が各種の処理を実行する際に用いるワークエリアも備える。

１１３はユーザーからの入力を受付ける入力手段として機能する操作部で、無線撮像装置１０において画像の撮像指示を行ったり、親基地２０の動作に関する操作を行うための入力ボタン等を備える。１１４はＲＯＭで、親基地２０全体の制御を行うプログラム（例えば親基地２０のブートプログラム）や合成画像生成のためのアプリケーションプログラム等を格納する。１１５は表示画面としての表示部で、液晶等により構成されており、例えば、親基地２０において生成された合成画像を表示することができる。１１６は通信Ｉ／Ｆ（インタフェース）で、無線撮像装置１０と通信するためのインタフェースとして機能する。また、無線撮像装置１０以外の外部接続機器（例えば、ホストコンピュータ、プリンタ）やＬＡＮやインターネット等のネットワークと接続するためのインタフェースとして機能しても良い。

なお、画像の合成処理は、親基地２０以外に、無線撮像装置１０や親基地２０と接続されたネットワーク上の端末で行っても良い。好ましくは、上述のように、親基地２０又は親基地２０と接続されたネットワーク上の端末で行う方が、無線撮像装置１０が軽量化されるため好ましい。

図２は、本実施例に対応する画像処理システムにおける処理の流れを示したフローチャートである。まず、親基地２０では、ユーザーから無線撮像装置１０における撮像の指示を受け付ける（ステップＳ２０１）。撮像指示は、親基地２０に設けられた操作部を操作することにより行われる。また、親基地２０が、マイクなどの音声入力部を備え、ＲＯＭ１１４に音声認識処理アプリケーションを備える場合には、ユーザーからの音声入力により撮像指示を受け付けても良い。

続いて親基地２０は、ユーザーから撮像指示を受け付けた旨を無線撮像装置１０へ通知するために無線撮像装置１０へ撮像指示信号を送信する（ステップＳ２０２）。なお、無線撮像装置１０の電力が無線により供給される場合には、撮像指示信号と同時に無線により電力供給を行う。

一方、無線撮像装置１０では、親基地２０から送信される撮像指示信号を受信したかどうかを監視しており（ステップＳ２０３）、受信した場合に撮像センシング無線機器１により撮像を行う（ステップＳ２０４）。なお、無線撮像装置１０の電力が無線により供給される場合には、親基地２０からの無線電力供給に応じて起動し、撮像指示信号を受信する。撮像が終了すると、撮像された画像を親基地２０へ送信する（ステップＳ２０５）。

送信する情報には、各センシング無線機器の位置情報、すなわちメガネであれば左右のレンズのフレーム枠における如何なる部分に配置された撮像センシング無線機器１であるかという情報と、撮像された画像情報とが含まれる。また、送信情報はパケットデータとして、取得された画像情報が本文データを構成し、撮像センシング無線機器１のメガネ１１における位置を表す情報（例えば、メガネ１１の右側のフレームにおいて時計回りに上からＮ番目の撮像センシング無線機器１ならば、「右、Ｎ」を表す情報）がヘッダーを構成してもよい。

親基地２０では、無線撮像装置１０からの撮像画像の送信を監視しており（ステップＳ２０６）、全ての撮像画像を受信した場合には、ステップＳ２０７において画像の合成処理を行う。なお、撮像画像の受信時刻を撮影時刻の情報として合成画像に付加してもよい。画像合成処理により生成された合成画像は、親基地２０の表示部１１５に表示される（ステップＳ２０８）。

なお、上記では、無線撮像装置１０は親基地２０からの撮像指示信号を受信した場合に撮像を行うこととしているが、撮像指示信号を受信しない場合であっても、一定時間毎に撮像を行っても良い。また、親基地２０において合成処理を行わず、外部接続機器に送信し、外部接続機器側で自由に編集・処理してもよい。

次に、撮像センシング無線機器１において撮像された画像を利用して合成画像を生成する処理について説明する。本発明の無線撮像装置では、複数の撮像センシング無線機器１が円周上に中心に対して互いに点対称となるように配置され、各撮像センシング無線機器１からの信号が合成されて１つの画像が得られるように工夫されている。例えば、図３に示すように円形状に１２個の撮像センシング無線機器ａ１〜ａ１２は、中心点Aに対して向かい合う撮像センシング無線機器１が点対称となるように配置することができる（例えば、a1は中心Aに対してa７と点対称となる。）。但し、この配置はあくまで一例であって，他の配置により撮像を行っても良い。

このような点対称の配置を利用すれば、各撮像素子で撮影した画像からあたかも円の中心点Ａで見たような画像を合成することができる。即ち、図１Ｂのようにメガネを無線撮像装置１０とした場合には、合成画像は丁度メガネ１１のレンズの中心位置の画像、すなわち人間の目の位置で撮影した画像と同じになるように生成される。なお、簡略化のため、以下の説明において単にａ１からａ１２と記載する場合は、各撮像センシング無線機器１をいうものとする。

以下、図２のステップＳ２０７における画像の合成処理の詳細を図４、図１０乃至図１４を参照して詳細に説明する。まず、複数配置された撮像センシング無線機器１から取得される画像（撮像画像）を合成して、中心点から撮像した画像（合成画像）を生成する原理を説明する。図４は、画像合成の原理を説明するための図であり、ここではa1,a7から点QEを撮像した場合を例としている。ここで、A点は合成画像が取得される視点位置を仮想的に設定した仮想視点を表している。

図４では、a1の撮像位置をPa1、a1で撮像される画像をHa1とし、a7での撮像位置をPa1、a7で撮像される画像をHa7とする。a1及びa7で撮像される画像には、図４に示すような座標系が設定され、取得画像の縦方向がy軸，横方向がx軸となる。

ここで、撮影対象QEが、画像Ha1及びHa7においてx＝0に位置するように撮像されると仮定する。即ち、a1からQEを観測した場合は，画像Ha1上のy=Ly1の位置に対象物QEが投影される。同様に，a7からQEを観測した場合は、画像Ha7上のy=Ly7の位置に投影される。このとき，a1及びa7は中心点Aに対して点対称に位置しているので、中心点Aから対象物QEを撮像した場合に画像HA上で点QEが位置するｙ軸上の座標点（LyA）は，以下の数１により求めることができる。

[数１]
LyA=Ly1+Ly7

従って、対象物QEは、画面HA上のy=LyAの位置に投影されることになる。上記の場合は、簡単のために対象物QEのX軸上の座標点を０としたが、仮にQEの座標位置がｘ＝０でなかったとしても、画像Ha1及びHa7においてQEが位置するｘ軸上の座標値を利用して演算すれば、中心点Aから対象物QEを撮像した場合に画像HA上で点QEが位置するｘ軸上の座標点（LxA）をLxA=Lx1+Lx7の演算式から求めることができる。
以上のような座標演算処理を、中心Aに従い互いに点対称に位置する全ての撮像センシング無線機器１について適用すると、画像Ha1からHa12におけるｘ軸座標とy軸座標とについて，下記の式に従って合成画像におけるQEの座標を求めることができる。

以上によれば、a1からa12から撮像した画像に基づいて、中心点Aから対象物QEを撮像した場合の画像HAにおけるQEの座標（LxA，LyA）を決定することができる。
撮像センシング無線機器１によりQE以外の他の対象物を撮像している場合も，上記と同様にして、当該他の対象物に対しても中心点Aからみた仮想視点の画像を設定することができ，あたかも中心点Aから複数の対象物を見ているような画像を得ることができる。

次に、以上のような点についての合成処理を、複雑な形状を有する立体物の画像に応用することにより合成画像を生成するための方法を、図１０乃至図１４を参照して説明する。まずここでは、図１０に示すように、平面H上に点Aを中心に円形に並んだa1からa12から，直方体1001を撮像する場合を想定する。ここで直方体1001は，B1からB8のコーナーを持つ直方体とする。例えばa1，a4，a7及びa10からは図11に示すような撮像画像を取得することができる。このような撮像画像に上記数２及び数３を適用できれば、あたかも中心点Aから撮像したような画像を合成できるはずである。

しかし、図４を参照して説明した場合は観察対象が点QEであったが、図１０の直方体のようにある大きさを持つ立体物である場合には、単純に点と点との対応をとることができない。そこで、対象物を構成する特徴点を抽出する特徴点抽出処理を行って、上記合成処理を適用する。

図１３に示すような直方体1001（図１３(a)）の場合、まず、直方体輪郭抽出処理を行って対象物の輪郭（図１３(b)）を取り出す（ステップＳ１４０１）。この輪郭抽出は，例えば、撮影画像を構成するひとつの画素を注目画素として、注目画素及び８つの隣接画像との演算処理（積和演算）により行うことができる。さらに、抽出された輪郭画像から，各輪郭を構成する線分の交点（特徴点、図１３（c））を抽出する（ステップＳ１４０２）。

当該抽出される交点が直方体のコーナーＢ１からＢ８となる。この直方体のコーナーＢ１からＢ８について，撮像画面上における座標位置（LxnBm,LynBm）を算出する（図１３の場合、nは1から12、mは1から8）（ステップＳ１４０３）。なお、図１３に示す例では直方体1001を構成する８つのコーナーのうち１つ（Ｂ８）が直方体自身の影に隠れて見えないが、係る８つ目のコーナーは別の角度から取得された画像において抽出でき、座標位置は、各コーナー毎に演算されるので特に問題はない。

次に、撮像センシング無線機器１が点対称に配置されているかを判定する（ステップＳ１４０４）。もし点対称に配置されていれば（ステップＳ１４０４で「Ｙｅｓ」）、ステップＳ１４０５へ移行して、各特徴点座標（LxnBm,LynBm）につき、数２及び数３に基づいて合成画像における各特徴点座標（LxABm,LyABm）を算出する（ステップＳ１４０５）。一方、撮像センシング無線機器１が点対称に配置されていない場合は（ステップＳ１４０４で「Ｎｏ」）、各特徴点座標（LxnBm,LynBm）につき、撮像センシング無線機器１の配置に基づく重み付け情報が予め与えられた数２及び数３に基づいて合成画像における各特徴点座標（LxABm,LyABm）を算出する（ステップＳ１４０６）。

以上により、合成画像における直方体1001の各特徴点の座標位置を得ることができる。次に、対象物が色や模様等のテクスチャを表面に有している場合には、以下のようにしてテクスチャ情報の再構成を行う（ステップＳ１４０７）。まず、当該テクスチャが構成される面を構成する各点は、上記特徴点抽出処理により予め求めることができる。次に、この特徴点により構成される面上に付されたテクスチャを撮像画像から抽出する。

撮像画像と合成画像とでは、同じテクスチャであっても形状が異なるため、抽出されたテクスチャを合成画像に利用するために、各特徴点の合成画像における座標位置に基づいて変形処理を施さねばならない。そこで、撮像画像における特徴点の座標位置と、合成画像における座標位置との差分に基づいて、当該特徴点により構成される面の変倍率を算出する。ここで算出された変倍率の基づいてテクスチャの線形補間処理などに基づく拡大・縮小処理を行い、合成画像に使用されるテクスチャ情報を生成することができる。

なお、本実施例では、撮像センシング無線機器１の数だけ画像を取得することができるので、処理対象となるテクスチャも同様の数だけ取得することができる。しかし、過剰に変倍処理を行った画像をテクスチャとして使用すれば、解像度が低下するなど視覚的な違和感が生ずるので、変倍率が最も小さくなる画像、即ち、特徴点の撮像画像における座標位置と合成画像における座標位置との差分が最も小さい画像のテクスチャ情報を使用することが好ましい。

以上のようにして生成された、合成画像における直方体1001の各特徴点の座標位置と、当該各特徴点により構成される面にマッピングされるテクスチャ情報とを利用して、合成画像が生成される（ステップＳ１４０８）。

以上のようにして図１０に記載する撮像条件下では、a1からa12の各々の撮影画像から輪郭抽出を行い、コーナーB1からB8を抽出し、数２及び数３を適用することにより、中心点Aから見た直方体1001の画像を図１２に示すように合成することができる。

なお、本実施例では、中心点Ａからみた画像を合成することにとどまらず、ａ１で撮影した画像とａ７で撮影した画像とのずれを検出することによって、対象物Ｐの点Ａからの距離を算出することができる。このような画像処理を撮像素子ａ１〜ａ１２の全体で行うことによって、中心位置Ａからの画像を鮮明に得ることができ、さらに測定対象までの距離を正確に算出することが可能となる。

また、図１のメガネ１１に撮像センシング無線機器１を配置した場合は、左右の視点位置から取得された画像として合成できるので、レンティキュラーレンズ、ミラー、偏向版や色フィルターを用いた立体視手法に合成画像を適用して、容易に立体システムを構築することができる。更に、ヘッドマウントディスプレイ（ＨＭＤ）を利用すれば、メガネ１１をかけた人が取得している視覚情報と同様の情報をＨＭＤの装着者に提供することができる。

また、異なる視点から撮像された画像として生成された合成画像を用いて、合成画像内の所定の対応点によって特定される画素を補間することにより、生成された合成画像の視点とは異なった視点からの画像をさらに生成することもできる。

なお、上述の例では撮像センシング無線機器１を円形に配置する場合を示したが、円形に限定されることは無く、四角形や六角形などの多角形でも良い。但し、画像処理の簡便性を考慮すれば、円形配置もしくは正方形が最も良い。

撮像センシング無線機器１の個数も多いほうが、個々の撮像センシング無線機器１の画素数を低くすることができ、また画像処理の精度が向上するので、望ましくは１２個以上、好ましくは５０個以上、さらに好ましくは１００個以上あると良い。しかし、あまり多くすると、撮像センシング無線機器１を配置する手間が増える、全体のコストが向上するなどの問題が生じるため、１０００個以下が良く、さらに好ましくは５００個以下であることが良い。

撮像センシング無線機器１のサイズを微小なものとすることにより、撮像センシング無線機器１が配置される対象物の形状に関する制約がなくなるので、あらゆるものを無線撮像装置１０とすることができる。また、撮像系のサイズが小さいことにより、通信部１０２や電源部１０３のサイズを比較的大きなものにすることができるので、無線撮像装置１０自体の作成が容易となる。

実施例１では、無線撮像装置１０としてメガネ１１のフレームに円形に撮像センシング無線器１を設けた場合を説明した。図６、図７は、各種装飾品に撮像センシング無線機器１を取り付けた無線撮像装置１０の一例を示す模式図である。

被配置体である指輪１２の台上に撮像センシング無線機器１を取り付けた例を図６に示す。この場合には、指輪１２を身に付けた指を見たい物に近づけることによって、接写撮影ができるという使い方が可能である。

被配置体である洋服のボタン１３に撮像センシング無線機器１を取り付けた例を図７に示す。この場合も、図６と同様の使い方が可能である。この他にも、ネクタイピン型、ピアス型、ワッペン型などの無線撮像装置としてもよい。これらの例は、微小球センシング無線機器を装飾の一部として散りばめ、撮影するといった行為を意識することなく、また撮影される側も撮影されるといった違和感を意識することなく撮影が行えることを特徴としている。

図８は、被配置体である身分証明書に撮像センシング無線機器１を取り付けた一例を示す模式図である。身分証明書１４の外枠部分に撮像センシング無線機器１を取り付けており、首から下げているときは、見ている人の目と同様の環境状況の撮影、近接画像を取りたいときは、身分証明書１４を見たい部分に当てて見る等の使い方が可能である。

なお、以上の場合には、通信部１０２を構成するアンテナや処理回路は、装飾品内に内蔵しても良いが、例えば身に付けている服などの表面に這わせる形で配置してもよい。

また、撮像センシング無線機器１からの画像の送信は、必要なときにのみ行うようにしても良い。例えば、指輪に取り付けた場合、手の動きによってスイッチのオン／オフが可能であるように構成しても好適である。

以上のように、撮像センシング無線機器１を設置する対象は実施例１のメガネに限定されることなく、様々な装身具に設置することができる。また、当該装身具に設置された撮像センシング無線機器１で撮像された画像は、実施例１の場合と同様に親基地２０において合成され、合成画像が生成される。

但し，親基地２０における画像合成処理の簡単化のためには、図7で示したボタン，図8で示したカードのように，撮像素子が点対称に並んでいることが望ましい。図６の指輪の場合には，指輪の宝石の周りに並んだ撮像センシング無線機器１は、点対称の位置に配置されているので，これらによって合成画像の生成処理を行えばよいが、リング部分に配置されている撮像センシング無線機器１では，たとえば指を指した方向の画像を得るためには，撮像センシング無線機器１の配置位置に応じて抽出された特徴点の座標位置に重み付けを行う必要がある。このような重み付けは、撮像センシング無線機器１の配置位置に基づいて予め決定しておくことができる。

図９は、本発明の無線撮像装置１０の一例を示す模式図である。ここでは、被配置体として、証書などの重要な書類や高価な貴金属などを保管した筐体（箱）１５の内部に、撮像センシング無線機器１を散りばめるように貼り付けておく。この構成により、重要物保存した箱１５を開けた時の状況を自動撮像することができる。

例えば、自宅に保管したマンションの登記簿や高価なダイヤモンドなどを、盗賊が無断で侵入して奪い去ろうとするとき、自動的にその人物の顔を撮影することができるので、防犯上有効である。

このようにあえてカメラを使用せずとも、画像を撮影を行って画像データとして保存することができる。また、接写画像を撮影したり、防犯のための撮影を行ったりするために用いることが可能となる。

上記実施例において生成された合成画像を、以下のように活用することもできる。
例えば、実施例１におけるメガネ１１を装着したユーザーが美術館において絵画を鑑賞している場合などは、親基地２０において生成された合成画像を、親基地２０から無線通信などにより館内の情報提供サーバーへ送信することができる。当該情報提供サーバーは、送信された画像情報に基づいて当該絵画に関する詳細情報を音声、テキスト、画像のデータとして親基地２０へ送信することができる。親基地２０がスピーカーなどの音声再生手段を備えている場合には、受信した音声データを再生して解説を聞くことが可能となる。また、表示部１１５に受信したテキストや画像のデータを表示して解説を読むことが可能となる。

同様に、旅行先で歴史的建造物や文化財などを見た場合などにも、それらに関する解説情報を、音声、画像、文字情報として取得することができる。

また、ユーザーがショッピングをしている場合には、販売店において気になる商品の画像を、販売店内の情報提供サーバーや外部のネットワークに存在するサーバーにあるものを親基地２０を介して送信し、当該サーバーからその品物に関する詳細な情報（例えば、値段やブランド情報、更には本物か偽物かに関する情報）を取得することもできる。

さらに、本発明の画像処理システムにおいて生成された合成画像は、単に一個人の利用にとどまらず、他の多くのユーザーに対して提供することにより有効に活用することもできる。例えば、道路渋滞に巻き込まれたドライバーに対して、渋滞の先頭車両のドライバーの視点画像を提供すれば、渋滞の原因を提供することができる。また、位置情報をＧＰＳにより取得し、所定の位置における画像を希望するユーザーに対して合成画像を提供しても良い。

また、各撮像センシング無線機器１に波長選択フィルターを付加することにより、ユーザーが見ているものの簡易分析機能をもたせることもできる。例えば、赤外線温度探知のように色の変化により危険が検知できるような場合には、合成画像における色の変化に基づいて危険を検知してユーザーへの警告を行うことができる。また、左右の両眼視機能により対象物の距離を検出し、対象物との距離が一定距離より近くなったら警告を発するようにしても良い。

更に、ユーザーが捜し物をしている場合には、親基地２０や外部接続機器において、生成された合成画像とあらかじめ取得された探索対象物の画像とから、特徴を元にパターンマッチングを行い、探索対象物がユーザーからどの方向にどのくらいの距離にあるのかの情報を提供することもできる。
［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の実施例に対応する画像処理システムのハードウェア構成の一例を示す模式図である。 本発明の実施例に対応する画像処理システムの構成例を示す模式図である。 本発明の実施例に対応する画像処理システムにおける処理のフローチャートである。 本発明の実施例に対応する無線撮像装置１０における撮像センシング無線機器１の配置例を示す図である。 本発明の実施例に対応する画像合成処理を説明するための図である。 本発明の実施例に対応する撮像センシング無線機器１の構成の一例を示す模式図である。 本発明の実施例に対応する無線撮像装置１０の構成例を示す模式図である。 本発明の実施例に対応する無線撮像装置１０の構成例を示す模式図である。 本発明の実施例に対応する無線撮像装置１０の構成例を示す模式図である。 本発明の実施例に対応する画像処理システムの構成例を示す模式図である。 本発明の実施例に対応する画像処理システムにおける対象物の撮像条件の一例を示す図である。 本発明の実施例に対応する撮像センシング無線機器１による撮像画像の一例を示す図である。 本発明の実施例に対応する合成画像の一例を示す図である。 本発明の実施例に対応する立体物における特徴点の抽出処理を説明する例を説明するための図である。 本発明の実施例に対応する画像合成処理の一例に対応するフローチャートである。

Claims (17)

1. 画像を撮像して画像データを出力する撮像素子を複数備える撮像部と、
   前記撮像部から出力される複数の画像データを無線送信する無線送信部と、
   前記無線送信された複数の画像データに基づいて合成画像を生成する合成画像生成部と
   を備えることを特徴とする画像処理システム。
2. 前記撮像部と前記無線送信部とは、ユーザーが装着可能な所定の物品に装着されていることを特徴とする請求項１に記載の画像処理システム。
3. 前記撮像素子は、第1の点を中心として点対称に配置されていることを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記合成画像生成部は、
   前記前記無線送信された複数の画像データを受信する受信部と、
   前記受信した複数の画像データから撮像対象物の輪郭を複数抽出する輪郭抽出部と、
   前記抽出された複数の輪郭を構成する特徴点を複数抽出する特徴点抽出部と、
   前記抽出された複数の特徴点の座標から、前記第1の点において撮像された場合の前記撮像対象物の前記特徴点の座標を決定する座標決定部と、
   前記決定された特徴点の座標に基づいて、前記第1の点において撮像された場合の前記対象物の画像を生成する画像生成部と
   を備えることを特徴とする請求項３に記載の画像処理システム。
5. 前記合成画像生成部は、
   前記前記無線送信された複数の画像データを受信する受信部と、
   前記受信した複数の画像データから撮像対象物の輪郭を複数抽出する輪郭抽出部と、
   前記抽出された複数の輪郭を構成する特徴点を複数抽出する特徴点抽出部と、
   前記抽出された複数の特徴点の座標から、第２の点において撮像された場合の前記撮像対象物の前記特徴点の座標を決定する座標決定部と、
   前記決定された特徴点の座標に基づいて、前記第２の点において撮像された場合の前記対象物の画像を生成する画像生成部と
   を備えることを特徴とする請求項１又は２に記載の画像処理システム。
6. 前記座標決定部では、前記抽出された複数の特徴点の座標と前記第２の点の座標とに基づいて、前記抽出された特徴点のそれぞれに重み付けを行って、前記特徴点の座標を決定することを特徴とする請求項５に記載の画像処理システム。
7. 前記合成画像生成部は、
   前記撮像対象物がテクスチャを有する場合に、前記抽出された複数の特徴点の座標と、前記決定された特徴点の座標と、前記受信した複数の画像データとを利用して、前記生成される画像におけるテクスチャを生成することを特徴とする請求項４乃至６のいずれかに記載の画像処理システム。
8. 前記撮像素子はほぼ球状の形状を有することを特徴とする請求項１乃至７のいずれかに記載の画像処理システム。
9. 撮像素子を複数備える撮像部において画像を撮像して複数画像データを出力する撮像工程と、
   前記前記撮像工程において出力される複数の画像データを無線送信する無線送信工程と、
   前記無線送信された複数の画像データに基づいて合成画像を生成する合成画像生成工程と
   を備えることを特徴とする画像処理方法。
10. 前記撮像部は、ユーザーが装着可能な所定の物品に装着されていることを特徴とする請求項９に記載の画像処理方法。
11. 前記撮像素子は、第1の点を中心として点対称に配置されていることを特徴とする請求項９又は１０に記載の画像処理方法。
12. 前記合成画像生成工程は、
    前記前記無線送信された複数の画像データを受信する受信工程と、
    前記受信した複数の画像データから撮像対象物の輪郭を複数抽出する輪郭抽出工程と、
    前記抽出された複数の輪郭を構成する特徴点を複数抽出する特徴点抽出工程と、
    前記抽出された複数の特徴点の座標から、前記第1の点において撮像された場合の前記撮像対象物の前記特徴点の座標を決定する座標決定工程と、
    前記決定された特徴点の座標に基づいて、前記第1の点において撮像された場合の前記対象物の画像を生成する画像生成工程と
    を備えることを特徴とする請求項１１に記載の画像処理方法。
13. 前記合成画像生成工程は、
    前記前記無線送信された複数の画像データを受信する受信工程と、
    前記受信した複数の画像データから撮像対象物の輪郭を複数抽出する輪郭抽出工程と、
    前記抽出された複数の輪郭を構成する特徴点を複数抽出する特徴点抽出工程と、
    前記抽出された複数の特徴点の座標から、第２の点において撮像された場合の前記撮像対象物の前記特徴点の座標を決定する座標決定工程と、
    前記決定された特徴点の座標に基づいて、前記第２の点において撮像された場合の前記対象物の画像を生成する画像生成工程と
    を備えることを特徴とする請求項９又は１０に記載の画像処理方法。
14. 前記座標決定工程では、前記抽出された複数の特徴点の座標と前記第２の点の座標とに基づいて、前記抽出された特徴点のそれぞれに重み付けを行って、前記特徴点の座標が決定されることを特徴とする請求項１３に記載の画像処理方法。
15. 前記合成画像生成工程では、
    前記撮像対象物がテクスチャを有する場合に、前記抽出された複数の特徴点の座標と、前記決定された特徴点の座標と、前記受信した複数の画像データとを利用して、前記生成される画像におけるテクスチャが生成されることを特徴とする請求項１２乃至１４のいずれかに記載の画像処理方法。
16. 前記撮像素子はほぼ球状の形状を有することを特徴とする請求項９乃至１５のいずれかに記載の画像処理方法。
17. 撮像素子を複数備える撮像部において画像を撮像して複数画像データを出力する撮像工程と、
    前記前記撮像工程において出力される複数の画像データを無線送信する無線送信工程と、
    前記無線送信された複数の画像データに基づいて合成画像を生成する合成画像生成工程と
    を備える画像処理方法をコンピュータに実行させるための画像処理プログラム。

Images