JP2001209827A

JP2001209827A - 画像処理装置、画像処理サービス提供方法および受注処理方法

Info

Publication number: JP2001209827A
Application number: JP2000350931A
Authority: JP
Inventors: Kenya Uomori; 謙也魚森; Atsushi Morimura; 森村　　淳; Takasuke Sonoyama; 隆輔園山; Shuhei Taguchi; 周平田口
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-11-19
Filing date: 2000-11-17
Publication date: 2001-08-03

Abstract

(57)【要約】【課題】被写体の３次元位置情報を有する画像の処理
において、使用者にとって利便性が高く、また魅力的な
機能を実現する。【解決手段】表示パネル２１に被写体（机）の画像を
表示する。この画像は被写体の３次元位置情報を有して
いる。使用者が画面上の位置Ｃを指定すると（ｂ）、３
次元位置情報に基づいて、指定位置Ｃにおける被写体の
実際の寸法を求める。そして、求めた実際の寸法を実質
的に表すスケール画像Ｓを生成して被写体の画像に合成
して表示する（ｃ）。使用者は、スケール画像Ｓの向き
や位置を自在に変えることができる（ｄ）（ｅ）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理技術に関
するものであり、特に、被写体の３次元位置情報を利用
した画像処理に係る技術に属する。

【０００２】

【従来の技術】図８は距離画像（奥行き画像）を撮像可
能なレンジファインダ装置の基本構成を示す図である
（特願平１１−１４４０９７）。図８において、５１は
カメラ、５２ａ，５２ｂは複数の光源、５５は複数の光
源５２ａ，５２ｂの発光動作を制御する光源制御部、５
６はカメラ５１の撮像画像から距離画像を生成する距離
計算部である。光源制御部５５は、カメラ５１の垂直同
期信号に同期して、光源５２ａ，５２ｂを順次発光させ
る。

【０００３】図９（ａ）は光源５２ａ，５２ｂの構成例
を示す図である。図９（ａ）に示すように、光源５２
ａ，５２ｂとしては例えば、キセノンフラッシュランプ
等の閃光光源５７，５８を縦に配置し、後方の反射板５
９，６０の方向を左右にずらしたものを用いる。図９
（ｂ）は図９（ａ）の構成を平面的にみた図である。光
源５２ａ，５２ｂはそれぞれ図９（ｂ）における範囲
Ａ，Ｂに光を輻射する。ここで用いるキセノンランプは
発光部分が小さく、平面的に見て点光源とみなせるもの
である。さらに、光源５２ａ，５２ｂの間隔は１cm程度
であり、このため光はほとんど一点から投射されるもの
とみなせる。

【０００４】図１０〜図１３を用いて図８に示すレンジ
ファインダ装置の動作原理を説明する。

【０００５】図１０は図９に示す光源５２ａ，５２ｂか
ら輻射される光パタンを示す図である。図１０におい
て、実線Ｌａ，Ｌｂは、光源５２ａ，５２ｂから架空の
スクリーンＹに光を投射した場合におけるスクリーン面
の明るさを示している。明るさの程度は実線Ｌａ，Ｌｂ
の→方向の高さによって表されている。図１０から分か
るように、各光源５２ａ，５２ｂの投射光は投射方向の
中心軸上が最も明るく、周辺になるほど暗くなる特性を
持つ。この特性は、半円筒状の反射板５９，６０が閃光
光源５７，５８の背後に配置されていることに起因す
る。反射板５９，６０の向きによって、各光源５２ａ，
５２ｂの投射光はその一部が重なっている。

【０００６】図１１は図１０のＨ方向における投射光の
角度φと光強度との関係を示すグラフである。Ｈ方向と
は、光源中心とレンズ中心とを含む任意の面Ｓと架空の
スクリーンＹとの交差線の方向、角度φとはＸＺ平面に
投影した照射光がＸ軸に対してなす角度である。図１１
に示す光パタンの部分αでは、光源５２ａ，５２ｂから
被写体空間に照射される光は、光源側から見て、一方は
右側が明るく左側が暗い光、他方は左側が明るく右側が
暗い光になっている。ただし、図１１に示す光パタンは
高さ方向（Ｙ方向）によって、言い換えると光源中心と
レンズ中心とを含む面によって異なる。

【０００７】図１２は図１１の部分αにおける投射光角
度φと光強度比との関係を示すグラフである。部分αで
は、光強度比と角度φの関係は１対１である。

【０００８】ここで、距離測定のために、光源に垂直に
所定距離離れて立てられた平面に２種類の光パタンを交
互に投射し、この反射光をカメラ５１によって撮像す
る。そして、図１２に示すような光強度比と投射光角度
との関係をＹ座標（ＣＣＤ上のＹ座標に対応）毎に予め
得ておく。そして、カメラ５１のレンズ中心と光源５２
ａ，５２ｂを結ぶ線分がＣＣＤ撮像面のＸ軸と平行にな
るように光源５２ａ，５２ｂを配置すれば、予め得たＹ
座標毎の光強度比と投射光角度との関係のデータを用い
ることによって、正確な距離計算を行うことができる。

【０００９】いま、図８の点Ｐに着目する。カメラ５１
の撮像画像から、点Ｐにおける光源５２ａ，５２ｂから
の投射光の光強度比を求める。求めた光強度比と点Ｐの
Ｙ座標値に対応した図１２に示すような関係を用いるこ
とによって、光源５２ａ，５２ｂから見た点Ｐの角度φ
を計測することができる。また、点Ｐのカメラ５１から
見た角度θは、点Ｐの画素座標値と焦点距離およびレン
ズ系の光学中心位置等のカメラパラメータから決定する
ことができる。そして、これら２つの角度φ，θと、基
線長すなわち光源５２ａ，５２ｂの位置およびカメラ５
１の光学中心位置間の距離とから、三角測量の原理によ
って距離を計算する。

【００１０】カメラ５１の光学中心を原点とし、カメラ
５１の光軸方向にＺ軸、水平方向にＸ軸、垂直方向にＹ
軸を設定する。光源５２ａ，５２ｂからみた点Ｐの方向
がＸ軸となす角がφ、カメラ５１から見た点Ｐの方向が
Ｘ軸となす角がθであり、基線長をＤすなわち光源５２
ａ，５２ｂの位置を（０，−Ｄ）とすると、点Ｐの奥行
き値ＺはＺ＝Ｄtanθtanφ／(tanθ−tanφ) と求められる。また、図１３に示す角度ωを用いて、次
式によって３次元座標（Ｘ，Ｙ，Ｚ）を全て計算するこ
ともできる。Ｘ＝Ｚ／tanθ Ｙ＝Ｚ／tanω

【００１１】また、光源５２ａ、５２ｂが発光したとき
の画像を加算平均することによって、通常のカラー画像
を得ることができる。したがって、図８に示すような構
成によって、３次元位置情報を含む画像を撮像すること
ができる。

【００１２】

【発明が解決しようとする課題】しかしながら、上述し
たように３次元位置情報を含む画像を撮像すること自体
が技術的に可能になっても、それだけでは、市場に歓迎
されるような魅力あふれる製品には必ずしも結びつかな
い。上述したような技術内容をベースにして、使用者に
とって利便性が高く、また一方で、面白みが感じられる
ような機能を付加することが商品開発の面ではきわめて
重要である。

【００１３】本発明は、画像処理において、被写体の３
次元位置情報を利用して、使用者にとって利便性が高
く、かつ、魅力的な機能を実現することを課題とする。

【００１４】また、本発明は、画像の３次元位置情報を
利用した、画像処理サービス提供方法および受注処理方
法を提供するものである。

【００１５】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、画像を表示
する表示部を有する画像処理装置として、前記表示部に
表示された画像上の指定位置について当該画像に撮され
た被写体の３次元位置情報に基づいて実質的に実際の寸
法を表すスケール画像を生成し、前記画像に合成する画
像合成部を備え、前記表示部は前記スケール画像が合成
された画像を表示するものである。

【００１６】請求項１の発明によると、表示部に表示さ
れた画像上で、指定位置における実際の寸法を実質的に
表すスケール画像が合成して表示される。したがって、
使用者は、表示された画像を見て、撮影された被写体の
実際の大きさを即座に認識することができる。

【００１７】請求項２の発明では、前記請求項１の画像
処理装置は、３次元位置情報を含む画像を撮像可能な撮
像部と、前記撮像部によって撮像された画像から３次元
位置情報を得る距離画像生成部とを備えたものとし、前
記画像合成部は、前記距離画像生成部によって得られた
前記３次元位置情報を用いて前記スケール画像を生成す
るものとする。

【００１８】請求項３の発明では、前記請求項２の画像
処理装置における撮像部は、所定の輻射パターンを持つ
投射光を被写体に照射する発光手段を有し、前記投射光
の被写体からの反射光を撮像することによって３次元位
置情報を含む画像を撮像するものとする。

【００１９】請求項４の発明では、前記請求項１の画像
処理装置は、自動合焦装置または手動合焦装置を有する
撮像部を備えたものとし、前記画像合成部は、前記自動
合焦装置または手動合焦装置によって得られた被写体ま
での距離データを前記３次元位置情報として用いて前記
スケール画像を生成するものとする。

【００２０】請求項５の発明では、前記請求項１の画像
処理装置におけるスケール画像は、ものしの形状を表す
画像であるものとする。

【００２１】請求項６の発明は、前記請求項１の画像処
理装置は、前記指定位置を外部から入力可能に構成され
た入力手段を備えたものとする。

【００２２】請求項７の発明は、前記請求項６の画像処
理装置における入力手段は、前記表示部表面に設けられ
たタッチパネルであるものとする。

【００２３】請求項８の発明は、前記請求項６の画像処
理装置における入力手段は、前記表示部表面における任
意の座標を指定可能に構成されたペン型のポインティン
グデバイスであるものとする。

【００２４】請求項９の発明は、前記請求項６の画像処
理装置における入力手段は、前記表示部に表示されたカ
ーソルを移動可能であり、かつ、カーソル位置の座標を
指定可能なカーソルキー、マウスまたは押しボタンであ
るものとする。

【００２５】請求項１０の発明が講じた解決手段は、画
像を表示する表示部を有する画像処理装置として、複数
の画像を前記各画像に撮された被写体の３次元位置情報
に基づいて所望の寸法関係を満たすように合成する画像
合成部を備え、前記表示部は前記複数の画像が合成され
た画像を表示するものである。

【００２６】請求項１０の発明によると、複数の画像
が、所望の寸法関係を満たすように、例えば実際の寸法
が実質的に合うように、合成されて表示部に表示され
る。したがって、使用者は例えば、被写体の画像を他の
背景画像にスケールを合わせて合成することができるの
で、異なる背景上の被写体の仮想的な画像を即座に見る
ことができる。

【００２７】請求項１１の発明は、前記請求項１０の画
像処理装置における画像合成部は、背景と分離された被
写体の画像と他の背景画像とを合成するものとする。

【００２８】請求項１２の発明は、前記請求項１１の画
像処理装置における画像合成部は、画像から距離が所定
範囲内にある位置の画素からなる画像を背景と分離され
た被写体の画像として切り出すものとする。

【００２９】請求項１３の発明は、前記請求項１０の画
像処理装置は、３次元位置情報を含む画像を撮像可能な
撮像部と、前記撮像部によって撮像された画像から前記
３次元位置情報を得る距離画像生成部とを備えたものと
し、前記画像合成部は、前記距離画像生成部によって得
られた３次元位置情報を用いて画像合成を行うものとす
る。

【００３０】請求項１４の発明は、前記請求項１３の画
像処理装置における撮像部は、所定の輻射パターンを持
つ投射光を被写体に照射する発光手段を有し、前記投射
光の被写体からの反射光を撮像することによって３次元
位置情報を含む画像を撮像するものとする。

【００３１】請求項１５の発明は、前記請求項１０の画
像処理装置は、自動合焦装置または手動合焦装置を有す
る撮像部を備えたものとし、前記画像合成部は、前記自
動合焦装置または手動合焦装置によって得られた被写体
までの距離データを前記３次元位置情報として用いて画
像合成を行うものとする。

【００３２】請求項１６の発明は、前記請求項１０の画
像処理装置における画像合成部は、前記の複数の画像の
少なくとも１つを拡大、縮小または回転可能に構成され
ているものとする。

【００３３】請求項１７の発明は、前記請求項１０の画
像処理装置は、画像を合成する際の各画像の相対位置を
外部から設定または修正可能に構成されているものとす
る。

【００３４】請求項１８の発明が講じた解決手段は、画
像を表示する表示部を有する画像処理装置として、画像
を、当該画像に撮された被写体の３次元位置情報に基づ
いて拡大または縮小し、前記表示部に表示されたとき前
記被写体が実寸大となる画像を生成する画像合成部を備
え、前記表示部は前記実寸大画像を表示するものであ
る。

【００３５】請求項１９の発明が講じた解決手段は、画
像処理のサービスを提供する方法として、サービス利用
者から、３次元位置情報を含む画像と所望する画像処理
の形態の指定とを受けるステップと、受けた画像から、
当該画像に撮された被写体の３次元位置情報を得るステ
ップと、得られた３次元位置情報に基づいて、前記受け
た画像について、指定された形態の画像処理を行うステ
ップと、画像処理の結果得られた画像データを前記サー
ビス利用者に送るステップとを備えたものである。

【００３６】請求項２０の発明が講じた解決手段は、受
注処理方法として、利用者から商品の種類の指定を受け
るステップと、指定された種類の商品についての３次元
位置情報を含む画像を前記利用者に送るステップと、前
記利用者から、当該商品の受注をその商品のサイズを指
定する情報とともに受けるステップとを備えたものであ
る。

【００３７】

【発明の実施の形態】以下、本発明の実施形態につい
て、図面を参照して説明する。

【００３８】本明細書において、距離画像とは、各画素
におけるカメラからの距離、または３次元座標系での奥
行き値が示された画像のことをいう。前者は球座標系
（ｒ，θ，φ）のｒに相当するものであり、後者は直角
座標系（ｘ，ｙ，ｚ）のｚに相当するものである。第１
の実施形態では球座標系におけるｒを、第２の実施形態
では直角座標系におけるｚを、用いた例をそれぞれ示し
ている。ただし、球座標系（ｒ，θ，φ）と直角座標系
（ｘ，ｙ，ｚ）とは双方向に変換可能である。また、Ｃ
ＣＤ上の画素位置（ｘ，ｙ）を用いれば、３次元幾何計
算によって、ｒから（ｒ，θ，φ）を、ｚから（ｘ，
ｙ，ｚ）を容易に求めることができる。

【００３９】（第１の実施形態）図１は本発明の第１の
実施形態に係る画像処理装置としての形状計測カメラの
構成を示す図である。図１において、１はカメラの筐
体、１１ａ，１１ｂは光源となる第１および第２ストロ
ボ、１２は第１および第２ストロボ１１ａ，１１ｂの発
光を制御する光源制御部、１３は撮像器、１４は撮像器
１３によって撮像された画像から、画像上の各位置にお
けるカメラからの距離データを含む距離画像を生成する
距離画像生成部、１５は撮像器１３によって撮像された
画像から通常のカラー画像を生成するカラー画像生成部
である。第１および第２ストロボ１１ａ，１１ｂおよび
光源制御部１２によって発光手段１６が構成されてお
り、撮像器１３および発光手段１６によって、撮像部１
０が構成されている。発光手段１６は撮像部１０本体と
分離可能に構成されている。

【００４０】２１は画像を表示する表示部としての表示
パネル、２２は表示パネル２１の表面に設けられたタッ
チパネル、２３はシャッターボタン、２４は距離画像ま
たはカラー画像の記録メディア２５への記録および記録
メディア２５からの再生を行う記録・再生部である。

【００４１】制御部３０はシャッターボタン２３からの
信号に応じて光源制御部１２および撮像器１３の動作を
制御するとともに、入力されたカラー画像を表示パネル
２１に表示する。また制御部３０は、カラー画像に、画
像上の指定位置における実際の寸法を表すスケール画像
を合成する画像合成部３１を有している。

【００４２】図１の形状計測カメラでは、従来例におい
て示したものと同様に、３次元位置情報を含む画像が撮
像器１３によって撮像可能である。本実施形態は、距離
画像生成部１４によって生成された距離画像を３次元位
置情報として用い、この３次元位置情報に基づいて、実
質的に実際の寸法を表すスケール画像をカラー画像と併
せて表示できることを特徴とする。

【００４３】図２は図１に示す形状計測カメラの外観の
概略を示す図であり、カメラを背面側からみた図であ
る。カメラの背面には、表示パネル２１とタッチパネル
２２とが重ねて配置されており、使用者は表示パネル２
１に表示された撮像画像上においてスケール画像によっ
て実寸を示す位置をタッチパネル２２によって指定する
ことができる。

【００４４】図３を用いて、スケール画像を表示させる
場合の本実施形態に係る形状計測カメラの動作を、使用
者の操作と併せて説明する。

【００４５】まず、図３（ａ）に示すように、使用者
は、被写体として例えば部屋に置かれた机を本実施形態
に係る形状計測カメラを用いて撮影する。ここで得られ
た画像は、机の各部分の３次元位置情報を含んでいる。
そして、表示パネル２１に机のカラー画像を表示させ
る。

【００４６】次に、図３（ｂ）に示すように、使用者
は、実際の寸法をスケール画像によって表示させたい箇
所を画像上で指定する。例えば表示パネル２１のモード
をスケール表示モードにし（カメラ本体にモード切替ス
イッチ等を設けておけばよい）、表示画面を見ながらタ
ッチパネル２２によって指定位置Ｃ（図では机の上面
部）を指定する。

【００４７】すると、画像合成部３１は、指定位置Ｃに
おける実際の寸法を距離画像に基づいて求め、求めた実
際の寸法を表すスケール画像を生成してカラー画像に合
成する。これにより、図３（ｃ）に示すように、指定位
置Ｃに机の上面部の実際の寸法を表すスケール画像Ｓが
表示される。ここでは、スケール画像Ｓは目盛りの入っ
たものさしの形状を表す画像とする。

【００４８】実際の寸法は、次のように計算することが
できる。指定位置Ｃの３次元座標とカメラのレンズ中心
の３次元座標とのユークリッド距離によって、カメラと
被写体の距離Ｌが求められる。カメラの焦点距離をｆ、
カメラのＣＣＤのサイズをＳｘ、ＣＣＤの横方向の有効
画素数をＮｘとすると、指定位置Ｃにおける表示画面１
画素当たりの実際の長さＰｘは、Ｐｘ＝Ｌ／ｆ・Ｓｘ／Ｎｘとなる。このため、実際の長さＸに相当する画面上の画
素数Ｎｐは、Ｎｐ＝Ｘ／Ｐｘとなる。そこで、指定位置Ｃに、長さＮｐ画素のスケー
ル画像Ｓと、実際の長さＸ（図では２０ｃｍ）を表す表
示Ｌを合成する。

【００４９】また図３（ｄ），（ｅ）に示すように、使
用者は、表示されたスケール画像Ｓの向きや表示位置を
タッチパネル２２等を用いて変えることができる。な
お、図３（ｄ）に示すようにスケール画像Ｓを画面の奥
行き方向に沿って表示した場合には、カメラと被写体と
の距離Ｌが徐々に変化するため、スケール画像Ｓの目盛
りは等間隔ではなくなる。また、スケール画像Ｓの種類
は目盛りの刻み幅等も選択可能にしてもよい。

【００５０】スケール画像Ｓを画面から消したいとき
は、使用者は、モード切替スイッチ等によってスケール
表示モードを解除する。これにより、図３（ｆ）に示す
ように、スケール画像Ｓが消去され、元のカラー画像の
みが表示される。

【００５１】このように本実施形態によると、使用者
は、撮像画像を見たときに、撮像された被写体の大きさ
を、画面上に表示された実際の寸法を表すスケール画像
を基にして容易に確認することができる。したがって、
例えば釣果の魚や発掘した遺跡などの被写体について、
サイズ比較のための基準物を並べて撮影しなくても、撮
像画像を見たときにその大きさを容易に知ることができ
る。また、本実施形態に係るカメラを防犯カメラとして
用いた場合には、画像に撮った犯人の体のサイズを容易
に特定できるという効果が得られる。

【００５２】また、本実施形態では、指定位置Ｃの指示
はタッチパネル２２を用いて行うものとしたが、タッチ
パネル２２の代わりに、表示パネル２１上における座標
を指定可能に構成されたペン型のポインティングデバイ
スや、表示パネル２１上に表示されたカーソルを移動可
能に構成されたカーソルキーや押しボタンスイッチ、ダ
イヤルまたはマウスなどを用いてもかまわない。図４は
カーソルキー２８を設けた場合のカメラ背面を示す図で
ある。図４では、表示パネル２１上に表示されたカーソ
ル２７の位置をカーソルキー２８によって移動、設定可
能に構成されている。この場合には、タッチパネル２２
は必要ないので省略することができる。

【００５３】また、スケール画像を表示するための３次
元位置情報として、カメラの自動合焦（オートフォーカ
ス）装置やカメラの手動合焦（マニュアルフォーカス）
結果から得られる被写体までの距離データを用いること
も可能である。この場合、３次元位置情報を含む画像を
撮像する必要はなく、第１および第２ストロボ１１ａ，
１１ｂおよび光源制御部１２からなる発光手段を設ける
必要はない。すなわち、自動合焦装置または手動合焦装
置を有し、被写体までの距離情報データが得られる通常
の撮像部を備えたカメラであれば、スケール画像を表示
することができる。

【００５４】具体的には、自動合焦装置または手動合焦
装置によって得られた距離データＬ（カメラと被写体の
距離）、レンズの焦点距離ｆ、ＣＣＤのサイズ（Ｓｘ，
Ｓｙ）およびＣＣＤの有効画素数（Ｎｘ，Ｎｙ）から、
距離ＬにおけるＣＣＤ一画素当たりの実際の長さ（Ｐ
ｘ，Ｐｙ）を次式によって求める。添字ｘは横方向を、
添字ｙは縦方向を表す。Ｐｘ＝Ｌ／ｆ・Ｓｘ／ＮｘＰｙ＝Ｌ／ｆ・Ｓｙ／Ｎｙそして、この長さ（Ｐｘ，Ｐｙ）を基にしてスケール画
像を生成する。例えば、長さＮ画素のスケール画像を生
成し、このスケール画像と併せて実際の長さＮ×Ｐｘ
（ｘ方向）またはＮ×Ｐｙ（ｙ方向）を画面に表示す
る。また、実際の長さＲに相当する画像上の画素数Ｒ／
Ｐｘ（ｘ方向）またはＲ／Ｐｙ（ｙ方向）を求め、その
画素数分のスケール画像を生成し、これとともに長さＲ
を画面に表示してもよい。

【００５５】また、被写体の大きさの計算結果を記録・
再生部２４を介して記録メディア２５に記録すれば、使
用者が計算結果を覚えておく必要はない。また、記録・
再生部２４と同等の機能を有するパーソナルコンピュー
タ等の機器によって、記録メディア２５に記録された情
報を利用することもでき、便利である。もちろん、距離
画像やカラー画像、さらにはスケール画像が合成された
画像を記録メディア２５に保存してもよい。

【００５６】また、ＣＣＤのサイズ、撮影時のレンズの
焦点距離、自動合焦装置や手動合焦結果から得た被写体
までの距離データを画像データとともに記録・再生部２
４を介して記録メディア２５に記録すれば、撮影時でな
くても、後に画像を表示させた際にスケール画像を併せ
て表示させることができる。

【００５７】また、図５に示すように、画像メモリ３５
を設けて、撮像器１３からの画像データを画像メモリ３
５に一旦蓄積するようにすれば、画像を連続して入力し
て、後に記録・再生部２４を介して記録メディア２５に
記録することができる。また、記録メディア２５に記録
された画像を画像メモリ３５に複数個読み出して、高速
に再生表示することもできる。

【００５８】また、スケール画像は、被写体の実際の寸
法を示す目安となるものであれば、どのような画像であ
ってもかまわない。したがって、ものさしの画像に限ら
れるものでなく、例えばバットやゴルフクラブなどを示
す画像や、キャラクターの似顔絵を連ねたようなもので
もかまわない。また、使用者がスケール画像の種類を選
択できるようにしてもよいし、表示する画像に応じてス
ケール画像の種類を変えるようにしてもかまわない。

【００５９】また、本実施形態において、撮像された画
像データに含まれた被写体の実寸情報（３次元位置情
報）を利用して、被写体を実寸大の大きさで表示パネル
２１に表示することもできる。これは、表示パネル２１
の１画素当たりの長さＰｘを画像合成部３１に与えるこ
とによって、容易に実現できる。すなわち、実際の長さ
Ｘに相当する画素数Ｎｐは、Ｎｐ＝Ｘ／Ｐｘとなるので、画像合成部３１は、画像を、表示パネル２
１に表示されたときに長さＸに相当する画素数がこのＮ
Ｐと等しくなるように、拡大または縮小すればよい。

【００６０】なお、表示パネル２１は筐体１に付されて
いるので、そのサイズは比較的小さく、このため、大き
な被写体を実寸大で表示することはできない。ところ
が、デスクトップパソコンのような外部表示パネルを用
いることによって、大きな被写体であっても実寸大に表
示することができる。また、同様にして、プリンタに、
被写体が実寸大に示されるプリントを出力させることも
可能である。

【００６１】（第２の実施形態）本発明の第２の実施形
態に係る画像処理装置としての形状計測カメラの構成は
基本的には図１および図２と同様である。第１の実施形
態と異なるのは、画像合成部３１が、複数の画像を実際
の寸法が合うように合成する点である。すなわち、本実
施形態は、距離画像生成部１４によって生成された距離
画像を３次元位置情報として用い、この３次元位置情報
に基づいて、複数の画像を実質的に実際の寸法が合うよ
うに合成して表示できることを特徴とする。

【００６２】図６を用いて、複数の画像を合成する場合
の本実施形態に係る形状計測カメラの動作を使用者の操
作と併せて説明する。ここでは、机の画像を自分の部屋
の画像に合成する場合を例にとって説明する。

【００６３】まず、図６（ａ）に示すように、使用者
は、被写体として例えば机を本実施形態に係る形状計測
カメラを用いて撮影する。そして、その撮像画像から距
離画像生成部１４およびカラー画像生成部１５によって
生成された机のカラー画像および距離画像の画像データ
を、記録・再生部２４によって記録メディア２５に記録
する。

【００６４】また、図６（ｂ）に示すように、使用者
は、例えば自分の家の部屋の写真を本実施形態に係る形
状計測カメラを用いて撮影し、部屋のカラー画像および
距離画像を得て、その画像データを記録・再生部２４に
よって記録メディア２５に保存する。

【００６５】次に、図６（ｃ）に示すように、使用者は
記録した机の画像を呼び出し、背景と分離して表示パネ
ル２１に表示させる。撮像したカラー画像のうち所定の
３次元位置を有する画像のみを表示すれば、被写体の画
像を背景と分離して切り出すことができる。本実施形態
では、距離画像を用いて、カメラからの距離が所定範囲
内にある位置の画素からなる画像を机の画像として切り
出す。例えば、距離画像が有する距離データが２ｍ以上
である部分は背景であると判断すれば、２ｍ未満の距離
にある被写体すなわち机の画像のみを切り出すことがで
きる。

【００６６】そして、使用者は、切り出された机の画像
において、位置合わせのための点αをタッチパネル２２
を用いて指定する。ここでは使用者は、机を部屋の壁に
つけて置きたいので、壁につける基準位置として机上面
の端に点αを指定する。

【００６７】次に、図６（ｄ）に示すように、使用者は
記録した部屋の画像を呼び出し、表示パネル２１に表示
させる。そして、位置合わせのための点βをタッチパネ
ル２２を用いて指定する。ここでは、部屋の壁の表面に
点βを指定する。

【００６８】次に、図６（ｅ）に示すように、図６
（ｃ）の机の画像と図６（ｄ）の部屋の画像との画像合
成が行われる。画像合成は、指定した点αと点βが３次
元空間的に同じ位置になるように、行われる。すなわ
ち、点βの位置に点αがくるように、机が置かれた部屋
の合成画像が生成される。

【００６９】ここで、机の画像と部屋の画像とは、撮影
時の被写体との距離やズーム倍率が異なっているので、
そのまま画像合成を行うと、実際の寸法とは異なった合
成画像になってしまう。すなわち、部屋のサイズに対し
て、机の寸法が実際よりも大きすぎたりあるいは小さす
ぎたりするという問題が生じる。

【００７０】そこで本実施形態では、距離画像を用い
て、机の画像と部屋の画像とを実際の寸法が合うように
合成する。具体的な処理は、次の通りである。

【００７１】まず、指定点α（ｘα，ｙα，ｚα）を指
定点β（ｘβ，ｙβ，ｚβ）に平行移動するための移動
量（ｌ，ｍ，ｎ）を次式によって求める。ｌ＝ｘβ−ｘα ｍ＝ｙβ−ｙα ｎ＝ｚβ−ｚα

【００７２】次に、図６（ｃ）に示す机の画像を構成す
る全ての画素について、３次元的に平行移動（ｌ，ｍ，
ｎ）を行う。３次元座標Ｐ１を平行移動して３次元座標
Ｐ２に変換するものとすると、Ｐ１＝［ｘ１ｙ１ｚ１１］Ｐ２＝［ｘ２ｙ２ｚ２１］

【数１】と示される。

【００７３】次に、透視変換によって、平行移動された
机の画像の３次元座標から、表示すべき大きさの２次元
の机画像を得る。図７に示すように、３次元座標Ｐ
（Ｘ，Ｙ，Ｚ）を投影平面のＱ（ｘ，ｙ）に透視変換す
るものとすると、カメラの焦点距離ｆを用いて、ｘ＝ｆ・Ｘ／Ｚｙ＝ｆ・Ｙ／Ｚとなる。もちろん、撮影時においてズーム倍率が異なる
場合は、机の画像と部屋の画像のズーム倍率が同じにな
るように、拡大・縮小処理（上式のｆの値が等価的に同
じになるような投影変換）を行えばよい。

【００７４】そして、カラー画像から机表面のテクスチ
ャを抽出し、これを得られた机画像にテクスチャマッピ
ングする。

【００７５】このような処理によって、図６（ｅ）に示
すように、机の画像が部屋の画像にスケールを合わせて
合成される。このような画像合成処理は画像合成部３１
によって行われる。すなわち本実施形態によると、切り
出された被写体画像と別の背景画像とを、撮影距離やズ
ーム倍率が異なっていても、実際の寸法を合わせて合成
することができるので、被写体（本実施形態では机）が
あたかも撮影した場所とは異なった場所（本実施形態で
は図６（ｂ）の部屋）で撮影されたかのような合成画像
を得ることができる。

【００７６】なお、位置あわせのための点α・βは使用
者が適当に指定するので、画像合成の結果、例えば机の
脚が床にめり込んだり、机の上面が壁に食い込んだりす
るような現実にはあり得ない状態の画像が生成される可
能性がある。このような場合を想定して、画像を合成す
る際の各画像の相対位置を、カメラ外部から設定または
修正可能に構成するのが好ましい。例えば、タッチパネ
ル２２やカメラ背面に設けられたスイッチなどを用い
て、使用者が各画像を移動させることができるようにし
ておけばよい。

【００７７】例えば、机の脚が床にめり込んだ状態のと
きは、使用者が手動で机の上方向への平行移動量を設定
する。画像合成部３１は使用者による設定に従って机の
位置を平行移動して画像合成を再度行い、表示部パネル
２１に合成画像を再表示する。使用者はほぼ満足のいく
位置に机画像が配置されるまで、合成画像を画面で確認
しながら平行移動量を設定する。

【００７８】また本実施形態において、机の画像の各点
について透視変換を行うものとしたが、近似的には、点
α，点βとカメラまでの距離を距離画像からそれぞれ求
め、これらの値の比を机画像の拡大率として２次元拡大
・縮小処理を行い、得られた画像を合成してもよい。

【００７９】また本実施形態では、各画像の実際のスケ
ールが同じになるように画像変換を行ったが、使用者が
故意に被写体の大きさを変化させることも容易である。
この場合、画像を２次元的に拡大・縮小してもよいし、
画像の３次元データを基にして３次元的に被写体の大き
さを拡大・縮小し、その後透視変換によって表示画像を
得ても良い。言い換えると、画像合成部３１は、複数の
画像を、所望の寸法関係を満たすように合成することが
できる。ここでいう「所望の寸法関係を満たすように合
成する」とは、先に説明した、実質的に実際の寸法が合
うように合成することを含む。

【００８０】すなわち、画像合成部３１は合成する複数
の画像の少なくとも１つを拡大または縮小可能に構成さ
れている。この場合、拡大・縮小のためのスケーリング
処理は、以下の３次元変換によって実現できる。Ｐ１＝［ｘ１ｙ１ｚ１１］Ｐ２＝［ｘ２ｙ２ｚ２１］

【数２】この場合、使用者は、特定の被写体の大きさを意図的に
拡大・縮小することができ、例えばミニチュア的な合成
画像を得ることができる。

【００８１】また、撮像時にカメラが傾いた場合等には
被写体の画像（本実施形態では机の画像）が斜めに写る
ときがある。例えばこのような場合には、机画像を回転
変換して部屋の画像と水平面が合うようにしてから合成
するのが好ましい。このような回転変換を行うために
は、上式の４×４行列を次に示すような行列に置き換え
ればよい。

【００８２】

【数３】この行列を用いれば、画像は原点と点（ｌ，ｍ，ｎ）を
通る軸を中心にθだけ回転される。Ｒは回転マトリクス
である。ここで、回転軸がｘ軸となす角をα、ｙ軸とな
す角をβ、ｚ軸となす角をγと定義すれば、ｎｘ＝ｃｏｓα ｎｙ＝ｃｏｓβ ｎｚ＝ｃｏｓγ で指定する。特別な場合の例として、ｘ軸を中心に回転
させたときは、ｎｘ＝１，ｎｙ＝ｎｚ＝０ｙ軸を中心に回転させたときは、ｎｘ＝ｎｚ＝０，ｎｙ＝１ｚ軸を中心に回転させたときは、ｎｘ＝ｎｙ＝０，ｎｚ＝１として、回転マトリクスＲを簡単な形に変えられる。

【００８３】また、複数の画像のスケールを合わせるた
めの３次元位置情報として、カメラの自動合焦（オート
フォーカス）装置やカメラの手動合焦（マニュアルフォ
ーカス）結果から得られる被写体までの距離データを用
いることも可能である。この場合、３次元位置情報を含
む画像を撮像する必要はなく、第１および第２ストロボ
１１ａ，１１ｂおよび光源制御部１２からなる発光手段
を設ける必要はない。すなわち、自動合焦装置または手
動合焦装置を有し、被写体までの距離情報データが得ら
れる通常の撮像部を備えたカメラであれば、近似的に画
像のスケールを合わせることができる。

【００８４】また、本実施形態において、画像はカメラ
によって撮像される自然画像としたが、コンピュータグ
ラフィクスを用いて合成された画像を用いてもよい。

【００８５】また、本実施形態において、机と部屋の２
種類の画像を合成するものとしたが、３種類以上の画像
を合成する場合であっても、前述の処理を各画像につい
て行うことによって、実際の寸法を合わせて合成するこ
とは可能である。この場合、例えば、異なる状況で写さ
れた複数の被写体を共通の背景画像上にスケールを合わ
せて画像合成することができる。

【００８６】また、本実施形態では、位置あわせのため
の点α，βの指示はタッチパネル２２を用いて行うもの
としたが、タッチパネル２２の代わりに、表示パネル２
１上における座標を指定可能に構成されたペン型のポイ
ンティングデバイスや、図４に示すような表示パネル２
１上に表示されたカーソルを移動可能に構成されたカー
ソルキーや押しボタンスイッチ、ダイヤルまたはマウス
などを用いてもかまわない。この場合には、タッチパネ
ル２２は必要ないので省略することができる。

【００８７】また、ＣＣＤのサイズ、撮影時のレンズの
焦点距離、自動合焦装置や手動合焦結果から得た被写体
までの距離データを画像データとともに記録・再生部２
４を介して記録メディア２５に記録すれば、撮影時でな
くても、後に画像を表示させた際に任意の画像合成を行
うことができる。

【００８８】また、発光手段１６は分離可能に構成され
ているので、距離画像を得る必要があるときには発光手
段１６を取り付けて使用し、通常画像の撮影の際には発
光手段１６を取り外して使用すればよい。もちろん、発
光手段１６が固定されていてもかまわない。

【００８９】また、本発明の第１および第２の実施形態
では、発光手段１６の投射光の被写体反射光を撮像する
ことによって距離画像（奥行き画像）を得る形状計測カ
メラを例にとって説明したが、他の奥行き計測手法を用
いるカメラであっても本発明は容易に実現することがで
きる。例えば、カメラを左右に２台配置して左右画像の
ステレオマッチングを行い三角測量を行う手法や、空間
を時間的に走査するレーザスポット光を投射しその光の
飛行時間を測定する手法を用いたものであっても、奥行
き画像を得ることができるので、本発明は適用可能であ
る。要するに、本発明は、２次元画像と距離情報とを得
られるカメラであれば、距離情報を得る手法を問わず、
適用することができる。

【００９０】また、本発明の適用範囲はカメラに限られ
るものではない。すなわち、撮像部を有しない画像処理
装置、例えばパーソナルコンピュータであっても、画像
合成部３１と同等の機能を有するものであれば、本発明
は実現可能である。この場合は、画像処理装置は、カラ
ー画像および距離画像のような３次元位置情報を含む画
像データを受けて、第１および第２の実施形態と同様の
処理によって、スケール画像を表示したり、複数の画像
をスケールを合わせて合成したりする。使用者からの指
示の入力手段としては、マウス、キーボード、トラック
ボール、スイッチ、ボリュームなどが用いられる。

【００９１】なお、本発明の画像処理装置の機能の全部
または一部を、専用のハードウェアを用いて実現しても
かまわないし、コンピュータのプログラムによってソフ
トウェア的に実現してもかまわない。また、本発明の画
像処理装置の機能の全部または一部をコンピュータに実
行させるためのプログラムを、コンピュータ読み取り可
能な記録媒体に記録して、この記録媒体に記録したプロ
グラムをコンピュータに実行させてもかまわない。

【００９２】なお、各実施形態では、図１の形状計測カ
メラは静止画を撮像するものとして説明を行ったが、形
状計測カメラが動画像を撮像可能なものであっても、同
様に本発明を実現することができる。この場合には、光
源として、図１１に示すような２種類の光パタンを交互
に連続して被写体に投光可能な構成を用いる必要があ
る。このような光源の実現方法としては、連続発光する
ストロボ光源を利用したり、半導体レーザー光をロッド
レンズで線状に整形し、これをガルバノミラーなどで掃
引しながらレーザー光の光強度を変調する方法などが挙
げられる。なお、動画で撮像した場合には、画像合成と
表示をともに動画で行うことはもとより、例えば動画中
の一静止画像について処理を行い、その結果を静止画像
として合成表示してもよい。

【００９３】（画像処理サービスへの応用）また、各実
施形態では、撮像、画像生成、画像合成および表示の機
能全てをカメラ１の筐体内で実現し、カメラ単独でこれ
らの機能が発揮されるように構成した。ところが例え
ば、各機能を分散させ、これらの機能間でデータ送受信
を行うことによっても、同様の効果を得ることができ
る。このような実施形態によって、従来にはない新たな
画像処理サービスを実現することができる。

【００９４】図１４は本発明に係る画像処理サービスの
概念図である。図１４において、撮像部６１は、図１に
示す光源１１ａ，１１ｂ、光源制御部１２、撮像器１
３、シャッターボタン２３および制御部３０を備えてお
り、サービスの利用者は、撮像部６１を用いて被写体を
撮像する。撮像画像は、３次元位置情報またはこれを生
成可能な情報を含む画像である。利用者は、撮像画像
を、処理を希望する画像処理の形態（３次元抽出計算、
ＣＧデータ計算等の具体的な処理方法）または希望する
画像処理後の形態（３次元ＣＧデータ、３次元立体画像
データなどの具体的な出力データ内容）の指定ととも
に、ネットワーク接続部６２ａを利用して処理サービス
サーバ６３に画像処理依頼という形で伝送する。

【００９５】処理サービスサーバ６３の運営者は、画像
処理依頼をネットワーク接続部６２ｂを介してネットワ
ーク経由で受け付ける。そして、利用者が撮像部６１を
用いて得た画像データを、ネットワーク接続部６２ａを
介して伝送した撮像画像から、距離画像生成部１４およ
びカラー画像生成部１５によって、距離画像およびカラ
ー画像を生成する。そして、画像合成部３１によって、
被写体の大きさを考慮して、指定された形態の画像処理
または、指定された画像処理後の形態が得られるような
画像処理を実行し、この画像処理の結果得られた画像デ
ータを、ネットワーク経由でサービス利用者に送る。利
用者は、送られた画像データを表示部６４を用いて確認
する。

【００９６】ここで、サービスする画像処理の形態とし
ては、例えば上述したようなスケール画像の合成や複数
画像の合成など、３次元位置情報を利用した様々なもの
が考えられる。また、利用者から伝送された画像データ
のみならず、他の画像データと組み合わせて合成しても
よい。例えば、処理サービスサーバ６３の記憶部に予め
蓄えられている広く知られた被写体の画像データを、利
用者から送られた画像データと合成してもよい。

【００９７】このとき、サービス利用者は、処理サービ
ス使用料として、サーバー運営者に代金を支払う。支払
方法は、サーバー運営者の銀行口座への振り込みでもよ
いし、利用者とサーバー運営者との間に設けたクレジッ
ト会社を経由して支払うようにしてもよい。

【００９８】なお、ここでは、ネットワーク経由で画像
データを伝送するものとしたが、例えば画像データを記
録した記録メディアを利用して、郵送または店頭での受
付・引き渡しとしても、かまわない。

【００９９】（オーダーメイドへの応用）また、図１に
示すような形状計測カメラを用いて、本発明の第２の実
施形態で説明した，所望の寸法関係を満たすような画像
合成を利用することによって、商品の実寸情報を利用し
た商品受注を実現することができる。

【０１００】ここでは、腕時計のオーダーメイドを例に
とって、図１５を参照して説明する。図１５に示すよう
に、ネットワーク上には、各商品について３次元構造情
報・カラー画像情報・代金情報などが格納されたデータ
ベースを有する商品カタログサーバー６５が設けられて
いるものとする。

【０１０１】まず、利用者は、形状計測カメラ１を用い
て自分の腕を撮影する。利用者は次に、ネットワークを
介して商品カタログサーバー６５にアクセスし、商品カ
タログをブラウザを用いて閲覧して、自分の所望のデザ
インの腕時計を選択する。すると、商品カタログサーバ
ー６５から、指定された種類の腕時計についての３次元
位置情報を含む画像が利用者側に送られて、形状計測カ
メラ１の画像合成部３１は、第２の実施形態で説明し
た，実際の寸法が合うような画像合成を行う。この結
果、表示パネル２１に、あたかも自分の腕にその時計を
装着したような画面が表示される。

【０１０２】利用者は、表示パネル２１の画像を見て、
自分の腕に対してその時計のデザインやサイズが好まし
いか否かを判断し、気に入った場合には、ネットワーク
を介して受注サーバー６６に対してその商品の購入申請
を行う。

【０１０３】さらにこのとき、その商品がオーダーメイ
ドの商品であれば、利用者は、表示パネル２１に表示さ
れた腕時計の大きさをスイッチなどによって調整し、自
分の好みのサイズに設定することもできる。そして、画
像合成部３１は、このときの画像の拡大／縮小倍率によ
って、オーダーする腕時計の実寸を決定する。この実寸
情報とともに受注サーバー６６に注文を行えば、簡単に
オーダーメイドを実現することができる。またこのと
き、腕時計全体のサイズだけでなく、文字盤・バンド・
竜頭など腕時計の各部品を独立して拡大／縮小し、自分
の気に入ったデザインを作成してこれを基にオーダーす
ることも可能である。あるいは、カタログサーバー６５
に部品の３次元構造データを準備すれば、利用者が、複
数の部品を組み合わせて所望のデザインの腕時計を表示
パネル２１上に表示して作成し、これを構成する部品と
その色・大きさ等を指定したオーダーを実現することが
できる。このオーダーに対する料金は、クレジットカー
ドや商品代引き、銀行振り込みなど、現在行われている
決済方法を利用して支払うことができる。

【０１０４】なお、上記のような受注処理方法は、腕時
計以外でも様々な商品のオーダーメイドに利用すること
ができる。例えば、机などの家具のオーダーメイドの場
合には、利用者はまず、形状計測カメラ１を用いて自分
の部屋を撮影し、次に、ネットワークを経由してカタロ
グサーバー６５にアクセスし、商品カタログをブラウザ
を用いて閲覧し、所望の家具を選択する。すると、画像
合成部３１は図６（ｅ）に示すような実際の寸法が合う
ような画像を合成し、表示パネル２１に表示する。利用
者は、表示パネル２１の画像を見ながら、スイッチ操作
によって家具の位置や大きさを自由に設定する。そし
て、商品の発注の際には、選択した家具の識別番号と、
このときの画像の拡大／縮小倍率またはその家具の実寸
情報とを併せて、受注サーバー６６に対して送信すれば
よい。

【０１０５】なお、上述の説明では、商品のサイズは利
用者が自由に設定可能であるものとしたが、この代わり
に、受注側で商品のサイズを複数種類準備しておき、利
用者はこれらのサイズの中から所望のサイズを選択する
ようにしてもよい。この場合、受注側は、完全オーダー
メードではなくサイズの種類を限定できるので、商品開
発コストを下げることが可能になる。

【０１０６】

【発明の効果】以上のように本発明によると、実際の寸
法を表すスケール画像が合成して表示されるので、使用
者は、表示された画像を見て、撮影された被写体の実際
の大きさを即座に認識することができる。また、複数の
画像が所望の寸法関係を満たすように、例えば実際の寸
法が合うように合成されて表示されるので、使用者は例
えば、異なる背景上の被写体の仮想的な画像を即座に見
ることができる。

【図面の簡単な説明】

【図１】本発明の第１および第２の実施形態に係る画像
処理装置としての形状計測カメラの構成図である。

【図２】図１に示す形状計測カメラの背面外観図であ
る。

【図３】（ａ）〜（ｆ）は第１の実施形態に係るカメラ
の動作を示す図である。

【図４】カーソルキーを設けた場合のカメラの背面図で
ある。

【図５】画像メモリを設けた場合の形状計測カメラの構
成図である。

【図６】（ａ）〜（ｅ）は第２の実施形態に係るカメラ
の動作を示す図である。

【図７】透視変換を表す図である。

【図８】距離画像を撮像可能なレンジファインダ装置の
基本構成を示す図である。

【図９】（ａ）は図８における光源の構成を示す図、
（ｂ）は（ａ）の構成の平面図である。

【図１０】図９に示す光源の光パタンを示す図である。

【図１１】図１０の光パタンにおける光強度と投射光角
度との関係を示すグラフである。

【図１２】図１１の部分αにおける光強度比と投射光角
度との関係を示すグラフである。

【図１３】レンジファインダ装置における３次元座標の
概念図である。

【図１４】本発明に係る画像処理サービスを示す概念図
である。

【図１５】本発明に係る受注処理方法を実現する構成を
示す概念図である。

【符号の説明】

１０撮像部１４距離画像生成部１６発光手段２１表示パネル（表示部）２２タッチパネル（入力手段）２８カーソルキー（入力手段）３１画像合成部Ｓスケール画像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/225 Ｇ０１Ｂ 11/24 Ｋ (72)発明者園山隆輔大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者田口周平大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】画像を表示する表示部を有する画像処理
装置であって、前記表示部に表示された画像上の指定位置について、当
該画像に撮された被写体の３次元位置情報に基づいて、
実質的に実際の寸法を表すスケール画像を生成し、前記
画像に合成する画像合成部を備え、前記表示部は、前記スケール画像が合成された画像を表
示することを特徴とする画像処理装置。
【請求項２】請求項１記載の画像処理装置において、３次元位置情報を含む画像を撮像可能な撮像部と、前記撮像部によって撮像された画像から、前記３次元位
置情報を得る距離画像生成部とを備え、前記画像合成部は、前記距離画像生成部によって得られ
た３次元位置情報を用いて、前記スケール画像を生成す
ることを特徴とする画像処理装置。
【請求項３】請求項２記載の画像処理装置において、前記撮像部は、所定の輻射パターンを持つ投射光を被写
体に照射する発光手段を有し、前記投射光の被写体から
の反射光を撮像することによって、３次元位置情報を含
む画像を撮像するものであることを特徴とする画像処理
装置。
【請求項４】請求項１記載の画像処理装置において、自動合焦装置または手動合焦装置を有する撮像部を備
え、前記画像合成部は、前記自動合焦装置または手動合焦装
置によって得られた被写体までの距離データを前記３次
元位置情報として用いて、前記スケール画像を生成する
ことを特徴とする画像処理装置。
【請求項５】請求項１記載の画像処理装置において、前記スケール画像は、ものさしの形状を表す画像である
ことを特徴とする画像処理装置。
【請求項６】請求項１記載の画像処理装置において、前記指定位置を外部から入力可能に構成された入力手段
を備えていることを特徴とする画像処理装置。
【請求項７】請求項６記載の画像処理装置において、前記入力手段は、前記表示部表面に設けられたタッチパ
ネルであることを特徴とする画像処理装置。
【請求項８】請求項６記載の画像処理装置において、前記入力手段は、前記表示部表面の任意の座標を指定可
能に構成されたペン型のポインティングデバイスである
ことを特徴とする画像処理装置。
【請求項９】請求項６記載の画像処理装置において、前記入力手段は、前記表示部に表示されたカーソルを移
動可能であり、かつ、カーソル位置の座標を指定可能な
カーソルキー、マウスまたは押しボタンであることを特
徴とする画像処理装置。
【請求項１０】画像を表示する表示部を有する画像処
理装置であって、複数の画像を、前記各画像に撮された被写体の３次元位
置情報に基づいて、所望の寸法関係を満たすように合成
する画像合成部を備え、前記表示部は、前記複数の画像が合成された画像を表示
することを特徴とする画像処理装置。
【請求項１１】請求項１０記載の画像処理装置におい
て、前記画像合成部は、背景と分離された被写体の画像と、
他の背景画像とを合成するものであることを特徴とする
画像処理装置。
【請求項１２】請求項１１記載の画像処理装置におい
て、前記画像合成部は、画像から、距離が所定範囲内にある
位置の画素からなる画像を、背景と分離された被写体の
画像として切り出すものであることを特徴とする画像処
理装置。
【請求項１３】請求項１０記載の画像処理装置におい
て、３次元位置情報を含む画像を撮像可能な撮像部と、前記撮像部によって撮像された画像から、前記３次元位
置情報を得る距離画像生成部とを備え、前記画像合成部は、前記距離画像生成部によって得られ
た３次元位置情報を用いて、画像合成を行うことを特徴
とする画像処理装置。
【請求項１４】請求項１３記載の画像処理装置におい
て、前記撮像部は、所定の輻射パターンを持つ投射光を被写
体に照射する発光手段を有し、前記投射光の被写体から
の反射光を撮像することによって、３次元位置情報を含
む画像を撮像するものであることを特徴とする画像処理
装置。
【請求項１５】請求項１０記載の画像処理装置におい
て、自動合焦装置または手動合焦装置を有する撮像部を備
え、前記画像合成部は、前記自動合焦装置または手動合焦装
置によって得られた被写体までの距離データを前記３次
元位置情報として用いて、画像合成を行うことを特徴と
する画像処理装置。
【請求項１６】請求項１０記載の画像処理装置におい
て、前記画像合成部は、前記の複数の画像の少なくとも１つを拡大、縮小または
回転可能に構成されていることを特徴とする画像処理装
置。
【請求項１７】請求項１０記載の画像処理装置におい
て、画像を合成する際の各画像の相対位置を、外部から設定
または修正可能に構成されていることを特徴とする画像
処理装置。
【請求項１８】画像を表示する表示部を有する画像処
理装置であって、画像を、当該画像に撮された被写体の３次元位置情報に
基づいて、拡大または縮小し、前記表示部に表示された
とき前記被写体が実寸大となる画像を生成する画像合成
部を備え、前記表示部は、前記実寸大画像を表示することを特徴と
する画像処理装置。
【請求項１９】画像処理のサービスを提供する方法で
あって、サービス利用者から、３次元位置情報を含む画像と、所
望する画像処理の形態の指定とを受けるステップと、受けた画像から、当該画像に撮された被写体の３次元位
置情報を得るステップと、得られた３次元位置情報に基づいて、前記受けた画像に
ついて、指定された形態の画像処理を行うステップと、画像処理の結果得られた画像データを、前記サービス利
用者に送るステップとを備えたことを特徴とする画像処
理サービス提供方法。
【請求項２０】利用者から、商品の種類の指定を受け
るステップと、指定された種類の商品についての３次元位置情報を含む
画像を、前記利用者に送るステップと、前記利用者から、当該商品の受注を、その商品のサイズ
を指定する情報とともに、受けるステップとを備えたこ
とを特徴とする受注処理方法。