JP2000227963A - 距離情報付き画像作成装置及び方法、並びにこの方法のプログラムを記録した記録媒体 - Google Patents
距離情報付き画像作成装置及び方法、並びにこの方法のプログラムを記録した記録媒体Info
- Publication number
- JP2000227963A JP2000227963A JP11029499A JP2949999A JP2000227963A JP 2000227963 A JP2000227963 A JP 2000227963A JP 11029499 A JP11029499 A JP 11029499A JP 2949999 A JP2949999 A JP 2949999A JP 2000227963 A JP2000227963 A JP 2000227963A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance information
- unit
- procedure
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 広範囲な実空間を対象とした濃淡画像の取得
とその画像中の被写体のカメラからの距離情報を容易に
取得し、それら濃淡情報と距離情報を空間的に対応付け
た距離情報付き画像を容易に作成できる装置及び方法を
提供する。 【解決手段】 映像入力部１０１により映像データをデ
ジタルデータとして読み込む。一方距離入力部１０２に
より被写体までの距離情報をデジタルデータとして読み
込む。空間位置対応部１０３は、入力された映像データ
と距離データとを空間的に対応付ける。撮影空間再構築
部１０４は映像入力部１０１からデータ列を読み出し、
撮影空間を再構築する。合成部１０５では、空間位置対
応部１０３で関係付けられた距離情報の空間位置座標を
再構築された撮影空間の空間座標値へ変換しその距離情
報を合成する。出力部１０６は合成された距離情報付き
画像のフォーマットをユーザの要求に応じて出力する。
とその画像中の被写体のカメラからの距離情報を容易に
取得し、それら濃淡情報と距離情報を空間的に対応付け
た距離情報付き画像を容易に作成できる装置及び方法を
提供する。 【解決手段】 映像入力部１０１により映像データをデ
ジタルデータとして読み込む。一方距離入力部１０２に
より被写体までの距離情報をデジタルデータとして読み
込む。空間位置対応部１０３は、入力された映像データ
と距離データとを空間的に対応付ける。撮影空間再構築
部１０４は映像入力部１０１からデータ列を読み出し、
撮影空間を再構築する。合成部１０５では、空間位置対
応部１０３で関係付けられた距離情報の空間位置座標を
再構築された撮影空間の空間座標値へ変換しその距離情
報を合成する。出力部１０６は合成された距離情報付き
画像のフォーマットをユーザの要求に応じて出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、濃淡画像に距離情
報を付加した距離情報付き画像を作成する装置及び方法
に関するものであり、特に画像中の被写体に対して数量
的に撮像装置までの距離を計測し、濃淡画像に情報とし
て付加する装置及び方法に関する。
報を付加した距離情報付き画像を作成する装置及び方法
に関するものであり、特に画像中の被写体に対して数量
的に撮像装置までの距離を計測し、濃淡画像に情報とし
て付加する装置及び方法に関する。
【０００２】
【従来の技術】距離情報付き画像とは、写真等の色、輝
度の濃淡情報を２次元的に表現した画像にカメラ等の撮
像装置から被写体までの距離情報を含む画像である。濃
淡画像データは、ＣＣＤ撮像素子の出力として容易に得
ることが可能である。一方距離画像を得るために様々な
方法や装置が報告、開発されてきた。報告されている方
法および装置は大別して２つに分類できる。接触型と非
接触型である。接触型はメジャーなどを直接当てて距離
を測定する方法や装置である。非接触型を更に大別する
と受動型と能動型になる。レーザーなどを用いて測定す
る方法や装置は能動型であり、濃淡画像のみから距離情
報を得る方法や装置が受動型である。受動型では、ステ
レオ画像法、三眼視法、単眼視法、連続画像法、レンズ
焦点法等によるものが代表的な方法および装置である。
能動型では、光レーダー法、アクティブステレオ法、照
度差ステレオ法、モアレ法、干渉法等によるものが代表
的な方法および装置である（井口、佐藤、“三次元画像
計測”、昭晃堂、１９９０年出版）。また、最近では、
レーザーを用いたハンディーな距離計（ＤＩＳＴＯ、ラ
イカ社製）も販売されている。
度の濃淡情報を２次元的に表現した画像にカメラ等の撮
像装置から被写体までの距離情報を含む画像である。濃
淡画像データは、ＣＣＤ撮像素子の出力として容易に得
ることが可能である。一方距離画像を得るために様々な
方法や装置が報告、開発されてきた。報告されている方
法および装置は大別して２つに分類できる。接触型と非
接触型である。接触型はメジャーなどを直接当てて距離
を測定する方法や装置である。非接触型を更に大別する
と受動型と能動型になる。レーザーなどを用いて測定す
る方法や装置は能動型であり、濃淡画像のみから距離情
報を得る方法や装置が受動型である。受動型では、ステ
レオ画像法、三眼視法、単眼視法、連続画像法、レンズ
焦点法等によるものが代表的な方法および装置である。
能動型では、光レーダー法、アクティブステレオ法、照
度差ステレオ法、モアレ法、干渉法等によるものが代表
的な方法および装置である（井口、佐藤、“三次元画像
計測”、昭晃堂、１９９０年出版）。また、最近では、
レーザーを用いたハンディーな距離計（ＤＩＳＴＯ、ラ
イカ社製）も販売されている。
【０００３】
【発明が解決しようとする課題】しかしながら、上記の
報告等では、下記のような解決していない課題が存在す
る。
報告等では、下記のような解決していない課題が存在す
る。
【０００４】ＣＣＤ撮像素子の出力からは、濃淡情報は
取得できるが被写体までの距離情報はその原理から得ら
れない。ステレオ画像から距離情報を算出することは原
理的に可能だが、画像間の対応点算出の難しさから実用
的ではない。また、画像のみから算出した距離情報は相
対的な距離情報であり、実世界の絶対的な距離を得るこ
とはできない。
取得できるが被写体までの距離情報はその原理から得ら
れない。ステレオ画像から距離情報を算出することは原
理的に可能だが、画像間の対応点算出の難しさから実用
的ではない。また、画像のみから算出した距離情報は相
対的な距離情報であり、実世界の絶対的な距離を得るこ
とはできない。
【０００５】レーザーを用いる方法では、対応点算出の
簡素化から実用的であり、レーザーを用いることから絶
対的な距離情報を得ることはできる。しかし、スタジオ
内の限られた空間の計測にはその装置の大きさから実用
的ではあるが、広範囲な実世界を容易に計測するには実
用的ではない。レーザ距離計を用いると実世界から簡単
に距離情報を得ることが可能であるが、計測した距離に
ある被写体の濃淡画像を得ることはできない。
簡素化から実用的であり、レーザーを用いることから絶
対的な距離情報を得ることはできる。しかし、スタジオ
内の限られた空間の計測にはその装置の大きさから実用
的ではあるが、広範囲な実世界を容易に計測するには実
用的ではない。レーザ距離計を用いると実世界から簡単
に距離情報を得ることが可能であるが、計測した距離に
ある被写体の濃淡画像を得ることはできない。
【０００６】ＣＣＤ撮像素子を用いたデジタルカメラ等
にはオートフォーカスを実現するためにレーザーを用い
て被写体までの距離を算出しているものも市販されてい
るが、対象とする被写体の一点のみの距離を計測してい
るにすぎない。この装置を用いた複数点の距離の測定は
その機能上不可能である。
にはオートフォーカスを実現するためにレーザーを用い
て被写体までの距離を算出しているものも市販されてい
るが、対象とする被写体の一点のみの距離を計測してい
るにすぎない。この装置を用いた複数点の距離の測定は
その機能上不可能である。
【０００７】本発明が解決しようとする課題は、従来技
術の単純な応用や組み合わせで実現できない、広範囲な
実空間を対象とした濃淡画像の取得とその画像中の被写
体に対してのカメラからの距離情報を容易に取得し、そ
れら濃淡情報と距離情報の空間的な対応付けを行った濃
淡情報を持つ距離画像を容易に作成できる画像作成装置
及び方法を提供することである。
術の単純な応用や組み合わせで実現できない、広範囲な
実空間を対象とした濃淡画像の取得とその画像中の被写
体に対してのカメラからの距離情報を容易に取得し、そ
れら濃淡情報と距離情報の空間的な対応付けを行った濃
淡情報を持つ距離画像を容易に作成できる画像作成装置
及び方法を提供することである。
【０００８】
【課題を解決するための手段】本発明における、上記の
課題を解決するための装置は、映像とカメラから被写体
までの距離情報とを空間的に対応付けて距離情報付き画
像を作成し、出力する装置であって、映像データをデジ
タルデータとして読み込む映像入力部と、被写体までの
距離情報をデジタルデータとして読み込む距離入力部
と、前記読み込んだ映像データと距離情報とを空間的に
対応付ける空間位置対応部と、前記映像入力部から映像
データ列を読み出し、撮影空間を再構築する撮影空間再
構築部と、前記空間位置対応部で関係付けられた距離情
報の空間位置座標を前記再構築された撮影空間の空間座
標値へ変換し、その距離情報を前記映像データの画像に
合成する合成部と、前記合成された距離情報付き画像の
フォーマットをユーザの要求に応じて出力する出力部と
を、具備することを特徴とする。
課題を解決するための装置は、映像とカメラから被写体
までの距離情報とを空間的に対応付けて距離情報付き画
像を作成し、出力する装置であって、映像データをデジ
タルデータとして読み込む映像入力部と、被写体までの
距離情報をデジタルデータとして読み込む距離入力部
と、前記読み込んだ映像データと距離情報とを空間的に
対応付ける空間位置対応部と、前記映像入力部から映像
データ列を読み出し、撮影空間を再構築する撮影空間再
構築部と、前記空間位置対応部で関係付けられた距離情
報の空間位置座標を前記再構築された撮影空間の空間座
標値へ変換し、その距離情報を前記映像データの画像に
合成する合成部と、前記合成された距離情報付き画像の
フォーマットをユーザの要求に応じて出力する出力部と
を、具備することを特徴とする。
【０００９】また、前記空間位置対応部は、距離情報観
測での光反射領域を表す予め与えた色の分布を示す領域
を検出する領域検出部と、前記検出された領域の画像座
標系における座標値、面積、重心位置、モーメント、分
散値等領域を数量的に表す数値データを算出する統計量
算出部とを、具備することを特徴とする。
測での光反射領域を表す予め与えた色の分布を示す領域
を検出する領域検出部と、前記検出された領域の画像座
標系における座標値、面積、重心位置、モーメント、分
散値等領域を数量的に表す数値データを算出する統計量
算出部とを、具備することを特徴とする。
【００１０】また、前記撮影空間再構築部は、映像デー
タからカメラ操作情報を規定し数量的に抽出するための
時間的に連続する映像のフレーム画像間でそれらの幾何
学的な変形関係を表す変形係数を算出する変形係数算出
部と、前記算出した変形係数を用いてフレーム画像を幾
何変換するフレーム画像幾何変換部と、前記幾何変換さ
れたフレーム画像を前記変形係数に基づいて再合成する
撮影空間作成部と、前記空間位置対応部において算出さ
れた画像座標系における座標値を前記再合成した撮影空
間における座標系に変換する座標系変換部とを、具備す
ることを特徴とする。
タからカメラ操作情報を規定し数量的に抽出するための
時間的に連続する映像のフレーム画像間でそれらの幾何
学的な変形関係を表す変形係数を算出する変形係数算出
部と、前記算出した変形係数を用いてフレーム画像を幾
何変換するフレーム画像幾何変換部と、前記幾何変換さ
れたフレーム画像を前記変形係数に基づいて再合成する
撮影空間作成部と、前記空間位置対応部において算出さ
れた画像座標系における座標値を前記再合成した撮影空
間における座標系に変換する座標系変換部とを、具備す
ることを特徴とする。
【００１１】また、前記合成部は、前記撮影空間再構築
部で再構築された撮影空間画像に、前記距離入力部で読
み込んだ距離情報を前記座標系変換部で変換された座標
値に基づいて予め与えた文字の大きさ、形、色、透過率
で合成する重ね合わせ部を具備することを特徴とする。
部で再構築された撮影空間画像に、前記距離入力部で読
み込んだ距離情報を前記座標系変換部で変換された座標
値に基づいて予め与えた文字の大きさ、形、色、透過率
で合成する重ね合わせ部を具備することを特徴とする。
【００１２】さらに、前記出力部は、前記合成部で合成
された画像を予め与えた画像フォーマットに変換するフ
ォーマット変換部と、前記映像入力部で読み込んだ映像
データに前記距離入力部で読み込んだ距離情報、前記空
間位置対応部で算出した数値データ、前記撮影空間再構
築部で再構築した撮影空間画像、前記合成部で合成した
画像の一部、もしくは全てを統合する統合部とを、具備
することを特徴とする。
された画像を予め与えた画像フォーマットに変換するフ
ォーマット変換部と、前記映像入力部で読み込んだ映像
データに前記距離入力部で読み込んだ距離情報、前記空
間位置対応部で算出した数値データ、前記撮影空間再構
築部で再構築した撮影空間画像、前記合成部で合成した
画像の一部、もしくは全てを統合する統合部とを、具備
することを特徴とする。
【００１３】同じく、本発明における、上記の課題を解
決するための方法は、映像とカメラから被写体までの距
離情報とを空間的に対応付けて距離情報付き画像を作成
し、出力する方法であって、映像データをデジタルデー
タとして読み込む映像入力手順と、被写体までの距離情
報をデジタルデータとして読み込む距離入力手順と、前
記入力された映像データと距離情報とを空間的に対応付
ける空間位置対応手順と、前記映像入力手順で読み込ん
だ映像データ列から撮影空間を再構築する撮影空間再構
築手順と、前記空間位置対応手順で関係付けられた距離
情報の空間位置座標を撮影空間の空間座標値へ変換し、
その距離情報を前記映像データの画像に合成する合成手
順と、前記合成された距離情報付き画像のフォーマット
をユーザの要求に応じて出力する出力手順とを、具備す
ることを特徴とする。
決するための方法は、映像とカメラから被写体までの距
離情報とを空間的に対応付けて距離情報付き画像を作成
し、出力する方法であって、映像データをデジタルデー
タとして読み込む映像入力手順と、被写体までの距離情
報をデジタルデータとして読み込む距離入力手順と、前
記入力された映像データと距離情報とを空間的に対応付
ける空間位置対応手順と、前記映像入力手順で読み込ん
だ映像データ列から撮影空間を再構築する撮影空間再構
築手順と、前記空間位置対応手順で関係付けられた距離
情報の空間位置座標を撮影空間の空間座標値へ変換し、
その距離情報を前記映像データの画像に合成する合成手
順と、前記合成された距離情報付き画像のフォーマット
をユーザの要求に応じて出力する出力手順とを、具備す
ることを特徴とする。
【００１４】また、前記空間位置対応手順において、距
離情報観測での光反射領域を表す予め与えた色の分布を
示す領域を検出する領域検出手順と、前記検出された領
域の画像座標系における座標値、面積、重心位置、モー
メント、分散値等領域を数量的に表す数値データを算出
する統計量算出手順とを、具備することを特徴とする。
離情報観測での光反射領域を表す予め与えた色の分布を
示す領域を検出する領域検出手順と、前記検出された領
域の画像座標系における座標値、面積、重心位置、モー
メント、分散値等領域を数量的に表す数値データを算出
する統計量算出手順とを、具備することを特徴とする。
【００１５】また、前記撮影空間再構築手順において、
映像データからカメラ操作情報を規定し数量的に抽出す
るための時間的に連続する映像のフレーム画像間でそれ
らの幾何学的な変形関係を表す変形係数を算出する変形
係数算出手順と、前記算出した係数を用いてフレーム画
像を幾何変換するフレーム画像幾何変換手順と、前記幾
何変換されたフレーム画像を前記変形係数に基づいて再
合成する撮影空間作成手順と、前記空間位置対応手順に
おいて算出された画像座標系における座標値を前記再合
成した撮影空間における座標系に変換する座標系変換手
順とを、具備することを特徴とする。
映像データからカメラ操作情報を規定し数量的に抽出す
るための時間的に連続する映像のフレーム画像間でそれ
らの幾何学的な変形関係を表す変形係数を算出する変形
係数算出手順と、前記算出した係数を用いてフレーム画
像を幾何変換するフレーム画像幾何変換手順と、前記幾
何変換されたフレーム画像を前記変形係数に基づいて再
合成する撮影空間作成手順と、前記空間位置対応手順に
おいて算出された画像座標系における座標値を前記再合
成した撮影空間における座標系に変換する座標系変換手
順とを、具備することを特徴とする。
【００１６】また、前記合成手順において、前記撮影空
間再構築手順で再構築された撮影空間画像に、前記距離
入力手順で読み込んだ距離情報を前記座標系変換手順で
変換された座標値に基づいて予め与えた文字の大きさ、
形、色、透過率で合成する重ね合わせ手順を具備するこ
とを特徴とする。
間再構築手順で再構築された撮影空間画像に、前記距離
入力手順で読み込んだ距離情報を前記座標系変換手順で
変換された座標値に基づいて予め与えた文字の大きさ、
形、色、透過率で合成する重ね合わせ手順を具備するこ
とを特徴とする。
【００１７】また、前記出力手順において、前記合成手
順で合成された画像を予め与えた画像フォーマットに変
換するフォーマット変換手順と、前記映像入力手順で読
み込んだ映像データに前記距離入力手順から読み込んだ
距離情報、前記空間位置対応手順で算出した数値デー
タ、前記撮影空間再構築手順で再構築した撮影空間画
像、前記合成手順で合成した画像の一部、もしくは全て
を統合する統合手順とを、具備することを特徴とする。
順で合成された画像を予め与えた画像フォーマットに変
換するフォーマット変換手順と、前記映像入力手順で読
み込んだ映像データに前記距離入力手順から読み込んだ
距離情報、前記空間位置対応手順で算出した数値デー
タ、前記撮影空間再構築手順で再構築した撮影空間画
像、前記合成手順で合成した画像の一部、もしくは全て
を統合する統合手順とを、具備することを特徴とする。
【００１８】さらに、以上の距離情報付き画像作成方法
における手順をコンピュータに実行させるためのプログ
ラムを、該コンピュータが読み取り可能な記録媒体に記
録したことを特徴とする。
における手順をコンピュータに実行させるためのプログ
ラムを、該コンピュータが読み取り可能な記録媒体に記
録したことを特徴とする。
【００１９】本発明では、映像入力部（／手順）により
映像データをデジタルデータとして読み込み、距離入力
部（／手順）により被写体までの距離情報をデジタルデ
ータとして読み込み、これら読み込まれた映像データと
距離情報とを空間位置対応部（／手順）により空間的に
対応付け、映像入力部（／手順）で読み込んだ映像デー
タ列から撮影空間を撮影空間再構築部（／手順）により
再構築し、合成部（／手順）により空間位置対応部（／
手順）で関係付けられた距離情報の空間位置座標を再構
築された撮影空間の空間座標値へ変換しその距離情報を
映像データの画像に合成し、合成された距離情報付き画
像のフォーマットをユーザの要求に応じて出力部（／手
順）により出力することで、映像とカメラから被写体ま
での距離情報とを空間的に対応付けて距離情報付き画像
を作成し出力することを特徴とするため、従来技術の単
純な応用や組み合わせで実現できない、広範囲な実空間
を対象とした濃淡画像の取得とその画像中の被写体に対
してのカメラからの距離情報を容易に取得し、それら濃
淡情報と距離情報の空間的な対応付けを行った濃淡情報
を持つ距離画像を容易に作成することができる。
映像データをデジタルデータとして読み込み、距離入力
部（／手順）により被写体までの距離情報をデジタルデ
ータとして読み込み、これら読み込まれた映像データと
距離情報とを空間位置対応部（／手順）により空間的に
対応付け、映像入力部（／手順）で読み込んだ映像デー
タ列から撮影空間を撮影空間再構築部（／手順）により
再構築し、合成部（／手順）により空間位置対応部（／
手順）で関係付けられた距離情報の空間位置座標を再構
築された撮影空間の空間座標値へ変換しその距離情報を
映像データの画像に合成し、合成された距離情報付き画
像のフォーマットをユーザの要求に応じて出力部（／手
順）により出力することで、映像とカメラから被写体ま
での距離情報とを空間的に対応付けて距離情報付き画像
を作成し出力することを特徴とするため、従来技術の単
純な応用や組み合わせで実現できない、広範囲な実空間
を対象とした濃淡画像の取得とその画像中の被写体に対
してのカメラからの距離情報を容易に取得し、それら濃
淡情報と距離情報の空間的な対応付けを行った濃淡情報
を持つ距離画像を容易に作成することができる。
【００２０】
【発明の実施の形態】以下、本発明の実施形態例につい
て図面を参照して詳細に説明する。
て図面を参照して詳細に説明する。
【００２１】図１に本発明装置の一実施形態例の構成図
を示す。以下構成図に沿って各構成部及び本発明方法の
一実施形態例を説明する。
を示す。以下構成図に沿って各構成部及び本発明方法の
一実施形態例を説明する。
【００２２】１０１の映像入力部より映像を例えばコン
ピュータに取り込む。映像入力部１０１に入力される映
像データがアナログな場合はデジタル化する。アナログ
映像（ＴＶのＮＴＳＣ等）の場合は、映像取り込みボー
ド等でキャプチャーすることによって実現できる。デジ
タル映像の場合、ファイルを開き、コンピュータ内のメ
モリーに必要な分だけデータを読み込むことを映像入力
部１０１では行う。
ピュータに取り込む。映像入力部１０１に入力される映
像データがアナログな場合はデジタル化する。アナログ
映像（ＴＶのＮＴＳＣ等）の場合は、映像取り込みボー
ド等でキャプチャーすることによって実現できる。デジ
タル映像の場合、ファイルを開き、コンピュータ内のメ
モリーに必要な分だけデータを読み込むことを映像入力
部１０１では行う。
【００２３】１０２の距離入力部では、ビデオカメラ等
の映像撮像装置と撮影している被写体との距離をデジタ
ルデータとして例えばコンピュータへ取り込む。距離を
計測する装置として、レーザー距離計（たとえば、ライ
カレーザー距離計ＤＩＳＴＯ（ライカ社製）等）を用い
ると容易に入力が可能である。レーザー距離計は容易に
精度良く計測可能な装置として一般的に販売されてい
る。コンピュータに取り込まれるデータは、被写体まで
の絶対的な距離であり、ＳＩ単位系に準拠したものであ
る。
の映像撮像装置と撮影している被写体との距離をデジタ
ルデータとして例えばコンピュータへ取り込む。距離を
計測する装置として、レーザー距離計（たとえば、ライ
カレーザー距離計ＤＩＳＴＯ（ライカ社製）等）を用い
ると容易に入力が可能である。レーザー距離計は容易に
精度良く計測可能な装置として一般的に販売されてい
る。コンピュータに取り込まれるデータは、被写体まで
の絶対的な距離であり、ＳＩ単位系に準拠したものであ
る。
【００２４】なお、一例として示したコンピュータは、
プログラム等で実現される機能手段として以下の図１の
各構成部を内蔵するものである。
プログラム等で実現される機能手段として以下の図１の
各構成部を内蔵するものである。
【００２５】本実施形態例の装置／方法では、被写体を
撮影する撮影装置の光軸とレーザーの光軸は、ほぼ一致
し平行になるようにキャリブレーションされているとす
る。この場合、図２に示すような映像が、撮影装置のフ
ァインダーから観察できる。２０１が撮影される映像の
フレーム画像であり、２０２はレーザーが反射している
被写体部である。もし被写体までの距離が遠い場合や被
写体の反射率が小さい場合でファインダーでのレーザー
光が観察されない時は、ビデオカメラのズーム機能等を
用いて観察、撮影しても問題ない。２０３はズームした
場合の様子である。
撮影する撮影装置の光軸とレーザーの光軸は、ほぼ一致
し平行になるようにキャリブレーションされているとす
る。この場合、図２に示すような映像が、撮影装置のフ
ァインダーから観察できる。２０１が撮影される映像の
フレーム画像であり、２０２はレーザーが反射している
被写体部である。もし被写体までの距離が遠い場合や被
写体の反射率が小さい場合でファインダーでのレーザー
光が観察されない時は、ビデオカメラのズーム機能等を
用いて観察、撮影しても問題ない。２０３はズームした
場合の様子である。
【００２６】次いで、１０３の空間位置対応部におい
て、観察、記録されたレーザー光反射部の画像座標系で
空間座標値、面積、重心位置、モーメント、分散値等領
域を数量的に表す数値データを算出する。空間位置対応
部１０３は、観察、記録されたレーザー光反射部を検出
する領域検出部と、レーザー光反射部の画像座標系で空
間座標値、面積、重心位置、モーメント、分散値等領域
を数量的に表す数値データを算出する統計量算出部から
構成される。
て、観察、記録されたレーザー光反射部の画像座標系で
空間座標値、面積、重心位置、モーメント、分散値等領
域を数量的に表す数値データを算出する。空間位置対応
部１０３は、観察、記録されたレーザー光反射部を検出
する領域検出部と、レーザー光反射部の画像座標系で空
間座標値、面積、重心位置、モーメント、分散値等領域
を数量的に表す数値データを算出する統計量算出部から
構成される。
【００２７】空間位置対応部１０３における手順を図３
に示す。
に示す。
【００２８】３０１はデジタル映像データ列を表す。時
間順にフレーム画像に対して予め指定した色（観察、記
録されたレーザー光反射部の色）のフィルターリングを
施す（３０３）。このフィルターリングは、領域検出部
でのレーザー領域を検出するための処理手順である。も
しこのフィルターリングにおいてレーザー領域が３０４
で検出された場合（色分布有りの場合）、３０５でレー
ザー領域の二値化処理を行う。検出されない場合（色分
布無しの場合）は、３０２へ戻り、次に続く連続するフ
レーム画像に対してフィルターリングを施す。
間順にフレーム画像に対して予め指定した色（観察、記
録されたレーザー光反射部の色）のフィルターリングを
施す（３０３）。このフィルターリングは、領域検出部
でのレーザー領域を検出するための処理手順である。も
しこのフィルターリングにおいてレーザー領域が３０４
で検出された場合（色分布有りの場合）、３０５でレー
ザー領域の二値化処理を行う。検出されない場合（色分
布無しの場合）は、３０２へ戻り、次に続く連続するフ
レーム画像に対してフィルターリングを施す。
【００２９】次に二値化されたレーザー光反射領域に対
して幾何図形で近似する（３０６）。幾何図形として
は、円、楕円等を対象とする。近似方法としては、最小
二乗法や最適解を求める繰り返し法等を用いて近似する
事も可能である。例えば円に近似した場合、円の中心の
座標値がレーザー光反射部の画像座標系で空間座標値、
重心位置の座標値であり、面積、モーメント、分散値を
それぞれ算出する事を行う（３０７）。３０８では、入
力映像の終わりを判断する。以上３０５から３０８まで
の手順は、統計量算出部での処理手順である。
して幾何図形で近似する（３０６）。幾何図形として
は、円、楕円等を対象とする。近似方法としては、最小
二乗法や最適解を求める繰り返し法等を用いて近似する
事も可能である。例えば円に近似した場合、円の中心の
座標値がレーザー光反射部の画像座標系で空間座標値、
重心位置の座標値であり、面積、モーメント、分散値を
それぞれ算出する事を行う（３０７）。３０８では、入
力映像の終わりを判断する。以上３０５から３０８まで
の手順は、統計量算出部での処理手順である。
【００３０】１０４の撮影空間再構築部では、入力され
た映像から撮影されて空間の再構築を行う。カメラ等の
映像入力機器によってフレーム（四角形の枠）単位に切
り取られた（射影された）２次元画像の撮影空間をフレ
ームを超える２次元空間や３次元空間に構成し直すこと
をここでは行う。撮影空間再構築部１０４は、カメラ操
作情報を算出する変形係数算出部とフレーム画像幾何変
換部と撮影空間作成部と座標系変換部から構成される。
た映像から撮影されて空間の再構築を行う。カメラ等の
映像入力機器によってフレーム（四角形の枠）単位に切
り取られた（射影された）２次元画像の撮影空間をフレ
ームを超える２次元空間や３次元空間に構成し直すこと
をここでは行う。撮影空間再構築部１０４は、カメラ操
作情報を算出する変形係数算出部とフレーム画像幾何変
換部と撮影空間作成部と座標系変換部から構成される。
【００３１】先ず、変形係数算出部から説明する。カメ
ラの操作には、基本的な操作として７種類の操作方法に
分類される。７種の基本操作は、１）フィックス、２）
パン、３）チルト、４）ズーム、５）ドリー、６）トラ
ック、７）ブームである。一般の撮影では、これらの操
作の組み合わせ操作も多用される。
ラの操作には、基本的な操作として７種類の操作方法に
分類される。７種の基本操作は、１）フィックス、２）
パン、３）チルト、４）ズーム、５）ドリー、６）トラ
ック、７）ブームである。一般の撮影では、これらの操
作の組み合わせ操作も多用される。
【００３２】フィックスは、カメラの操作を静止させて
撮影する操作である。パンは、カメラレンズの投影中心
に対して水平に回転させる操作であり、カメラの首を水
平に左右に振る操作である。チルトは、カメラレンズの
投影中心に対して垂直に回転させる操作であり、カメラ
の首を垂直に上下に振る操作である。ズームは、レンズ
の焦点距離（画角）を変更する操作であり、撮影対象物
の拡大、縮小の操作である。以上の４つの操作は、カメ
ラの撮影位置の移動が無い、言わば三脚にカメラを固定
して撮影する操作である。ドリーは、カメラの撮影位置
を前後へ移動させる操作である。トラックは、カメラの
撮影位置を横方向へ移動させる操作である。ブームは、
カメラの撮影位置を上下へ移動させる操作である。
撮影する操作である。パンは、カメラレンズの投影中心
に対して水平に回転させる操作であり、カメラの首を水
平に左右に振る操作である。チルトは、カメラレンズの
投影中心に対して垂直に回転させる操作であり、カメラ
の首を垂直に上下に振る操作である。ズームは、レンズ
の焦点距離（画角）を変更する操作であり、撮影対象物
の拡大、縮小の操作である。以上の４つの操作は、カメ
ラの撮影位置の移動が無い、言わば三脚にカメラを固定
して撮影する操作である。ドリーは、カメラの撮影位置
を前後へ移動させる操作である。トラックは、カメラの
撮影位置を横方向へ移動させる操作である。ブームは、
カメラの撮影位置を上下へ移動させる操作である。
【００３３】以上のカメラ操作は、パン、チルトは回転
角度、ズームは長さ、ドリー、トラック、ブームは移動
距離の物理量の変化として現すことが可能である。これ
らの値を正確に得たい場合、特殊なカメラ（エンコーダ
ー付きカメラ）を用いる必要がある。カメラに関する情
報無しで、映像のみからこれらの値を算出することは原
理上不可能である。映像のみから得られる情報で、カメ
ラ操作を物理量として現す時、カメラ操作が行われた映
像のフレーム間画像の変化量で現すことが実用的であ
る。
角度、ズームは長さ、ドリー、トラック、ブームは移動
距離の物理量の変化として現すことが可能である。これ
らの値を正確に得たい場合、特殊なカメラ（エンコーダ
ー付きカメラ）を用いる必要がある。カメラに関する情
報無しで、映像のみからこれらの値を算出することは原
理上不可能である。映像のみから得られる情報で、カメ
ラ操作を物理量として現す時、カメラ操作が行われた映
像のフレーム間画像の変化量で現すことが実用的であ
る。
【００３４】フレーム間画像の変化量は、フレーム間で
の各画素の動きとして表現される。カメラ撮影位置の変
更が無い操作の場合、画素の動きには撮影被写体に関わ
らず規則性がある。パン、チルト、ズーム操作は、フレ
ーム画像間にグローバルの動きを生じさせる。一方、カ
メラ撮影位置の変更がある操作の場合、撮影被写体とカ
メラの相対的な距離の違いに応じて各画素の動きは異な
る。この動きの違いからドリー、トラック、ブーム操作
は、映像に撮影空間の３次元情報を含ませる。これらの
操作も、フレーム画像内の微少な領域で見れば、カメラ
撮影位置の変更が無い操作の場合として考えられる。カ
メラ撮影位置の変更が無い操作に伴う画素の動きは、一
般に次式で表現される。
の各画素の動きとして表現される。カメラ撮影位置の変
更が無い操作の場合、画素の動きには撮影被写体に関わ
らず規則性がある。パン、チルト、ズーム操作は、フレ
ーム画像間にグローバルの動きを生じさせる。一方、カ
メラ撮影位置の変更がある操作の場合、撮影被写体とカ
メラの相対的な距離の違いに応じて各画素の動きは異な
る。この動きの違いからドリー、トラック、ブーム操作
は、映像に撮影空間の３次元情報を含ませる。これらの
操作も、フレーム画像内の微少な領域で見れば、カメラ
撮影位置の変更が無い操作の場合として考えられる。カ
メラ撮影位置の変更が無い操作に伴う画素の動きは、一
般に次式で表現される。
【００３５】
【数１】
【００３６】フレーム画像内の（ｘ，ｙ）は、（ｘ’、
ｙ’）にカメラ操作によって変更され８つの係数で表現
される。図２にカメラ操作の様子を示す。２０１が時間
ｔのフレーム画像を現し、２０２がカメラ操作を行った
後の時間ｔ＋αのフレーム画像を現す。この係数を算出
することをカメラ操作抽出過程で行う。これら係数の算
出方法として、フレーム間で対応する基準点を複数先ず
求め、それらの対応点の組から最小２乗法を用いて算出
することが可能である。また、別な方法として、次式の
評価関数を最小にする係数として非線型方程式をニュー
トン法等で解くことでも算出可能である。
ｙ’）にカメラ操作によって変更され８つの係数で表現
される。図２にカメラ操作の様子を示す。２０１が時間
ｔのフレーム画像を現し、２０２がカメラ操作を行った
後の時間ｔ＋αのフレーム画像を現す。この係数を算出
することをカメラ操作抽出過程で行う。これら係数の算
出方法として、フレーム間で対応する基準点を複数先ず
求め、それらの対応点の組から最小２乗法を用いて算出
することが可能である。また、別な方法として、次式の
評価関数を最小にする係数として非線型方程式をニュー
トン法等で解くことでも算出可能である。
【００３７】 ｍｉｎΣ‖Ｉ（ｘ，ｙ）−Ｉ’（ｘ’、ｙ’）‖ ここで、Ｉ（ｘ，ｙ）、Ｉ’（ｘ’，ｙ’）はそれぞれ
フレーム画像の輝度値、色度値等を表す。
フレーム画像の輝度値、色度値等を表す。
【００３８】次に、変形係数算出部において算出した係
数を用いた、フレーム画像幾何変換部でのフレーム画像
の幾何変換について説明する。図４にフレーム画像の幾
何変換の様子を示す。４０１が変形前のフレーム画像で
あり、４０２が変形後の画像である。変形前の画像は格
子状に配列された画素で構成されているが、変換後は、
格子状に配列されるとは限らない。即ち、変換に伴い内
挿処理が必要である。内挿処理としては、最近隣内挿
法、共一次内挿法、三次畳み込み内挿法などを用いて行
う。
数を用いた、フレーム画像幾何変換部でのフレーム画像
の幾何変換について説明する。図４にフレーム画像の幾
何変換の様子を示す。４０１が変形前のフレーム画像で
あり、４０２が変形後の画像である。変形前の画像は格
子状に配列された画素で構成されているが、変換後は、
格子状に配列されるとは限らない。即ち、変換に伴い内
挿処理が必要である。内挿処理としては、最近隣内挿
法、共一次内挿法、三次畳み込み内挿法などを用いて行
う。
【００３９】次に撮影空間作成部では、変形係数を用い
た撮影空間の再構築を行う。変形係数のａ1，ａ4は平行
移動に関する係数であり、これらの係数を用いて変換し
たフレーム画像間で合成を行う。
た撮影空間の再構築を行う。変形係数のａ1，ａ4は平行
移動に関する係数であり、これらの係数を用いて変換し
たフレーム画像間で合成を行う。
【００４０】図５に撮影空間構築の様子を示す。５０
１，５０２は時間的に連続する変換されたフレーム画像
である。５０３は変形係数ａ１を表し、５０４は変形係
数のａ4をそれぞれ表す。図５に示した撮影空間座標系
（Ｘ−Ｙ−Ｏ系）で５０１と５０２を合成する時にＸ−
Ｙ−Ｏ系で同じ座標値が割り当てられた場合はそれぞれ
の画素が持つ値（輝度、色度等）の平均で良いが、一般
的には同じ座標値が割り当てられるとは限らない。この
合成処理の場合も幾何変換と同様内挿処理が必要であ
る。内挿処理としては、最近隣内挿法、共一次内挿法、
三次畳み込み内挿法などを用いて行う。ここで内挿処理
をする際に、レーザー光反射領域は避けて処理を行う。
即ち再構築された撮影空間画像には、レーザー光の反射
による領域を視覚的に含まない。
１，５０２は時間的に連続する変換されたフレーム画像
である。５０３は変形係数ａ１を表し、５０４は変形係
数のａ4をそれぞれ表す。図５に示した撮影空間座標系
（Ｘ−Ｙ−Ｏ系）で５０１と５０２を合成する時にＸ−
Ｙ−Ｏ系で同じ座標値が割り当てられた場合はそれぞれ
の画素が持つ値（輝度、色度等）の平均で良いが、一般
的には同じ座標値が割り当てられるとは限らない。この
合成処理の場合も幾何変換と同様内挿処理が必要であ
る。内挿処理としては、最近隣内挿法、共一次内挿法、
三次畳み込み内挿法などを用いて行う。ここで内挿処理
をする際に、レーザー光反射領域は避けて処理を行う。
即ち再構築された撮影空間画像には、レーザー光の反射
による領域を視覚的に含まない。
【００４１】次に、座標系変換部では、空間位置対応部
１０３において算出された画像座標系（ｘ−ｙ−ｏ系）
における座標値を再合成した撮影空間における座標系
（Ｘ−Ｙ−Ｏ）に変換することを行う。
１０３において算出された画像座標系（ｘ−ｙ−ｏ系）
における座標値を再合成した撮影空間における座標系
（Ｘ−Ｙ−Ｏ）に変換することを行う。
【００４２】続いて、図１に示した１０５の合成部につ
いて説明する。ここでは、再構築された撮影空間画像と
距離入力部１０２で入力された距離情報を画像的に合成
して重ね合わせることを行う。予め与えたフォント、大
きさ、スタイル、色情報を、文字を画像化する際に用い
る。ここで、画像化された文字画像をＢ、撮影空間画像
をＦでそれぞれ表す。予め与えた透過率をαで表すと合
成される合成画像Ｇは、以下のように表現できる。
いて説明する。ここでは、再構築された撮影空間画像と
距離入力部１０２で入力された距離情報を画像的に合成
して重ね合わせることを行う。予め与えたフォント、大
きさ、スタイル、色情報を、文字を画像化する際に用い
る。ここで、画像化された文字画像をＢ、撮影空間画像
をＦでそれぞれ表す。予め与えた透過率をαで表すと合
成される合成画像Ｇは、以下のように表現できる。
【００４３】Ｇ＝αＦ＋（１−αＢ） 合成された画像（６０１）の例を図６に示す。
【００４４】続いて、図１に示した１０６の出力部で
は、ユーザの要求に応じた各種フォーマットでの出力を
行う。このためフォーマット変換部を備えて、入力され
た映像データ、距離情報データ、レーザー領域を数値的
に表したデータ、合成画像データをユーザ要求のフォー
マットに変換することを行う。フォーマット変換には、
大きく分けて静止画べ一スと動画べ一スのフォーマット
変換がある。静止画べースのフォーマット変換では、Ｊ
ＰＥＧ，ＢＭＰ，ＰＩＣＴ，ＧＩＦＦ，ＴＩＦＦ等の各
種フォーマットヘの変換を行う。動画べ一スのフォーマ
ット変換では、映像は、未圧縮か圧縮されたデータと
し、圧縮形式としてＭｏｔｉｏｎＪＰＥＧ，ＭＰＥＧ，
Ｈ．２６３等のデファクトスタンダード、スタンダード
でよく用いられている形式を採用する。映像フォーマッ
トとしては、ＱＴ，ＡＶＩ等が良く用いられている。Ｑ
Ｔ，ＡＶＩ等は、その内部に圧縮データを含む形の形式
である。出力部１０６で出力するデータの形式の概略を
示した図を図７に示す。ここで示した形式をＱＴやＡＶ
ＩやＭＰＥＧ等へ変換し、出力することも可能である。
また、統合部を備えて、映像入力部１０１で読み込んだ
映像データに距離入力部１０２で読み込んだ距離情報、
空間位置対応部１０３で算出した数値データ、撮影空間
再構築部１０４で再構築した撮影空間画像、合成部１０
５で合成した画像の一部、もしくは全てを統合、すなわ
ち関連付けするようにしてもよい。
は、ユーザの要求に応じた各種フォーマットでの出力を
行う。このためフォーマット変換部を備えて、入力され
た映像データ、距離情報データ、レーザー領域を数値的
に表したデータ、合成画像データをユーザ要求のフォー
マットに変換することを行う。フォーマット変換には、
大きく分けて静止画べ一スと動画べ一スのフォーマット
変換がある。静止画べースのフォーマット変換では、Ｊ
ＰＥＧ，ＢＭＰ，ＰＩＣＴ，ＧＩＦＦ，ＴＩＦＦ等の各
種フォーマットヘの変換を行う。動画べ一スのフォーマ
ット変換では、映像は、未圧縮か圧縮されたデータと
し、圧縮形式としてＭｏｔｉｏｎＪＰＥＧ，ＭＰＥＧ，
Ｈ．２６３等のデファクトスタンダード、スタンダード
でよく用いられている形式を採用する。映像フォーマッ
トとしては、ＱＴ，ＡＶＩ等が良く用いられている。Ｑ
Ｔ，ＡＶＩ等は、その内部に圧縮データを含む形の形式
である。出力部１０６で出力するデータの形式の概略を
示した図を図７に示す。ここで示した形式をＱＴやＡＶ
ＩやＭＰＥＧ等へ変換し、出力することも可能である。
また、統合部を備えて、映像入力部１０１で読み込んだ
映像データに距離入力部１０２で読み込んだ距離情報、
空間位置対応部１０３で算出した数値データ、撮影空間
再構築部１０４で再構築した撮影空間画像、合成部１０
５で合成した画像の一部、もしくは全てを統合、すなわ
ち関連付けするようにしてもよい。
【００４５】以上、本発明を実施形態例に基づき具体的
に説明したが、本発明は、前記実施形態例に限定される
ものではなく、その要旨を逸脱しない範囲において種々
の変更が可能であることは言うまでもない。
に説明したが、本発明は、前記実施形態例に限定される
ものではなく、その要旨を逸脱しない範囲において種々
の変更が可能であることは言うまでもない。
【００４６】なお、図１で示した構成の一部もしくは全
部を、コンピュータを用いて機能させることができるこ
と、あるいは、図１や図３で説明した処理の手順をコン
ピュータで実行させることができることは言うまでもな
く、コンピュータをその手段として機能させるためのプ
ログラム、あるいは、コンピュータでその処理の手順を
実行させるためのプログラムを、そのコンピュータが読
み取り可能な記録媒体、例えば、ＦＤ（フロッピーディ
スク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶ
Ｄ、リムーバブルディスクなどに記録して提供し、配布
することが可能である。
部を、コンピュータを用いて機能させることができるこ
と、あるいは、図１や図３で説明した処理の手順をコン
ピュータで実行させることができることは言うまでもな
く、コンピュータをその手段として機能させるためのプ
ログラム、あるいは、コンピュータでその処理の手順を
実行させるためのプログラムを、そのコンピュータが読
み取り可能な記録媒体、例えば、ＦＤ（フロッピーディ
スク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶ
Ｄ、リムーバブルディスクなどに記録して提供し、配布
することが可能である。
【００４７】
【発明の効果】上記のように、本発明によれば、映像デ
ータをデジタルデータとして読み込む映像入力部（／手
順）と被写体までの距離情報をデジタルデータとして読
み込む距離入力部（／手順）と読み込まれた映像データ
と距離データとを空間的に対応付ける空間位置対応部
（／手順）と、映像入力部（／手順）で読み込んだデー
タ列から撮影空間を再構築する撮影空間再構築部（／手
順）と、空間位置対応部（／手順）で関係付けられた距
離情報の空間位置座標を撮影空間の空間座標値へ変換し
その距離情報を合成する合成部（／手順）と、合成され
た距離情報付き画像のフォーマットをユーザの要求に応
じて出力する出力部（／手順）とを具備して、映像とカ
メラから被写体までの距離情報とを空間的に対応付けて
距離情報付き画像を作成し、出力することを特徴とする
ため、従来技術の単純な応用や組み合わせで実現できな
い、広範囲な実空間を対象とした濃淡画像の取得とその
画像中の被写体に対してのカメラからの距離情報を取得
しそれら濃淡情報と距離情報の空間的な対応付けを行っ
た濃淡情報を持つ距離画像を容易に作成することができ
る。本発明は、映像によるより高度なスポーツ解析、実
空間に忠実なバーチャルリアリティースペースの構築、
デジタルライブラリー、知的映像編集、ＣＧ、映像を用
いた教育等の分野に対する大きな貢献が見込まれる。
ータをデジタルデータとして読み込む映像入力部（／手
順）と被写体までの距離情報をデジタルデータとして読
み込む距離入力部（／手順）と読み込まれた映像データ
と距離データとを空間的に対応付ける空間位置対応部
（／手順）と、映像入力部（／手順）で読み込んだデー
タ列から撮影空間を再構築する撮影空間再構築部（／手
順）と、空間位置対応部（／手順）で関係付けられた距
離情報の空間位置座標を撮影空間の空間座標値へ変換し
その距離情報を合成する合成部（／手順）と、合成され
た距離情報付き画像のフォーマットをユーザの要求に応
じて出力する出力部（／手順）とを具備して、映像とカ
メラから被写体までの距離情報とを空間的に対応付けて
距離情報付き画像を作成し、出力することを特徴とする
ため、従来技術の単純な応用や組み合わせで実現できな
い、広範囲な実空間を対象とした濃淡画像の取得とその
画像中の被写体に対してのカメラからの距離情報を取得
しそれら濃淡情報と距離情報の空間的な対応付けを行っ
た濃淡情報を持つ距離画像を容易に作成することができ
る。本発明は、映像によるより高度なスポーツ解析、実
空間に忠実なバーチャルリアリティースペースの構築、
デジタルライブラリー、知的映像編集、ＣＧ、映像を用
いた教育等の分野に対する大きな貢献が見込まれる。
【図１】本発明装置の一実施形態例を示すとともに、本
発明方法の一実施形態例を説明する構成図である。
発明方法の一実施形態例を説明する構成図である。
【図２】上記実施形態例におけるレーザー光領域とカメ
ラ操作を説明する図である。
ラ操作を説明する図である。
【図３】上記実施形態例における統計量算出手順を示す
図である。
図である。
【図４】上記実施形態例におけるフレーム画像の幾何変
換の様子を説明する図である。
換の様子を説明する図である。
【図５】上記実施形態例における撮影空間構築の様子を
説明する図である。
説明する図である。
【図６】上記実施形態例における合成画像の例を示す図
である。
である。
【図７】上記実施形態例における出力フォーマットの例
を示す図である。
を示す図である。
１０１…映像入力部 １０２…距離入力部 １０３…空間位置対応部 １０４…撮影空間再構築部 １０５…合成部 １０６…出力部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/765 Ｈ０４Ｎ 5/781 ５１０Ｌ 5/781 Ｆターム(参考） 2F065 AA04 AA06 AA17 AA58 FF01 FF04 FF11 GG04 JJ03 JJ26 QQ00 QQ03 QQ17 QQ18 QQ33 QQ41 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD11 CE06 DA08 DB02 DB06 DB09 DC04 DC06 DC25 5J084 AA05 AD01 BA03 BA34 BA40 CA31 CA32 CA49 CA67 FA03
Claims (11)
- 【請求項１】 映像とカメラから被写体までの距離情報
とを空間的に対応付けて距離情報付き画像を作成し、出
力する装置であって、 映像データをデジタルデータとして読み込む映像入力部
と、 被写体までの距離情報をデジタルデータとして読み込む
距離入力部と、 前記読み込んだ映像データと距離情報とを空間的に対応
付ける空間位置対応部と、 前記映像入力部から映像データ列を読み出し、撮影空間
を再構築する撮影空間再構築部と、 前記空間位置対応部で関係付けられた距離情報の空間位
置座標を前記再構築された撮影空間の空間座標値へ変換
し、その距離情報を前記映像データの画像に合成する合
成部と、 前記合成された距離情報付き画像のフォーマットをユー
ザの要求に応じて出力する出力部とを、 具備することを特徴とする距離情報付き画像作成装置。 - 【請求項２】 前記空間位置対応部は、 距離情報観測での光反射領域を表す予め与えた色の分布
を示す領域を検出する領域検出部と、 前記検出された領域の画像座標系における座標値、面
積、重心位置、モーメント、分散値等領域を数量的に表
す数値データを算出する統計量算出部とを、 具備することを特徴とする請求項１記載の距離情報付き
画像作成装置。 - 【請求項３】 前記撮影空間再構築部は、 映像データからカメラ操作情報を規定し数量的に抽出す
るための時間的に連続する映像のフレーム画像間でそれ
らの幾何学的な変形関係を表す変形係数を算出する変形
係数算出部と、 前記算出した変形係数を用いてフレーム画像を幾何変換
するフレーム画像幾何変換部と、 前記幾何変換されたフレーム画像を前記変形係数に基づ
いて再合成する撮影空間作成部と、 前記空間位置対応部において算出された画像座標系にお
ける座標値を前記再合成した撮影空間における座標系に
変換する座標系変換部とを、 具備することを特徴とする請求項２記載の距離情報付き
画像作成装置。 - 【請求項４】 前記合成部は、 前記撮影空間再構築部で再構築された撮影空間画像に、
前記距離入力部で読み込んだ距離情報を前記座標系変換
部で変換された座標値に基づいて予め与えた文字の大き
さ、形、色、透過率で合成する重ね合わせ部を具備する
ことを特徴とする請求項３記載の距離情報付き画像作成
装置。 - 【請求項５】 前記出力部は、 前記合成部で合成された画像を予め与えた画像フォーマ
ットに変換するフォーマット変換部と、 前記映像入力部で読み込んだ映像データに前記距離入力
部で読み込んだ距離情報、前記空間位置対応部で算出し
た数値データ、前記撮影空間再構築部で再構築した撮影
空間画像、前記合成部で合成した画像の一部、もしくは
全てを統合する統合部とを、 具備することを特徴とする請求項４記載の距離情報付き
画像作成装置。 - 【請求項６】 映像とカメラから被写体までの距離情報
とを空間的に対応付けて距離情報付き画像を作成し、出
力する方法であって、 映像データをデジタルデータとして読み込む映像入力手
順と、 被写体までの距離情報をデジタルデータとして読み込む
距離入力手順と、 前記入力された映像データと距離情報とを空間的に対応
付ける空間位置対応手順と、 前記映像入力手順で読み込んだ映像データ列から撮影空
間を再構築する撮影空間再構築手順と、 前記空間位置対応手順で関係付けられた距離情報の空間
位置座標を撮影空間の空間座標値へ変換し、その距離情
報を前記映像データの画像に合成する合成手順と、 前記合成された距離情報付き画像のフォーマットをユー
ザの要求に応じて出力する出力手順とを、 具備することを特徴とする距離情報付き画像作成方法。 - 【請求項７】 前記空間位置対応手順において、 距離情報観測での光反射領域を表す予め与えた色の分布
を示す領域を検出する領域検出手順と、 前記検出された領域の画像座標系における座標値、面
積、重心位置、モーメント、分散値等領域を数量的に表
す数値データを算出する統計量算出手順とを、 具備することを特徴とする請求項６記載の距離情報付き
画像作成方法。 - 【請求項８】 前記撮影空間再構築手順において、 映像データからカメラ操作情報を規定し数量的に抽出す
るための時間的に連続する映像のフレーム画像間でそれ
らの幾何学的な変形関係を表す変形係数を算出する変形
係数算出手順と、 前記算出した係数を用いてフレーム画像を幾何変換する
フレーム画像幾何変換手順と、 前記幾何変換されたフレーム画像を前記変形係数に基づ
いて再合成する撮影空間作成手順と、 前記空間位置対応手順において算出された画像座標系に
おける座標値を前記再合成した撮影空間における座標系
に変換する座標系変換手順とを、 具備することを特徴とする請求項７記載の距離情報付き
画像作成方法。 - 【請求項９】 前記合成手順において、 前記撮影空間再構築手順で再構築された撮影空間画像
に、前記距離入力手順で読み込んだ距離情報を前記座標
系変換手順で変換された座標値に基づいて予め与えた文
字の大きさ、形、色、透過率で合成する重ね合わせ手順
を具備することを特徴とする請求項８記載の距離情報付
き画像作成方法。 - 【請求項１０】 前記出力手順において、 前記合成手順で合成された画像を予め与えた画像フォー
マットに変換するフォーマット変換手順と、 前記映像入力手順で読み込んだ映像データに前記距離入
力手順から読み込んだ距離情報、前記空間位置対応手順
で算出した数値データ、前記撮影空間再構築手順で再構
築した撮影空間画像、前記合成手順で合成した画像の一
部、もしくは全てを統合する統合手順とを、 具備することを特徴とする請求項９記載の距離情報付き
画像作成方法。 - 【請求項１１】 請求項６から請求項１０までのいずれ
か１項記載の距離情報付き画像作成方法における手順を
コンピュータに実行させるためのプログラムを、該コン
ピュータが読み取り可能な記録媒体に記録したことを特
徴とする距離情報付き画像作成プログラムを記録した記
録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11029499A JP2000227963A (ja) | 1999-02-08 | 1999-02-08 | 距離情報付き画像作成装置及び方法、並びにこの方法のプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11029499A JP2000227963A (ja) | 1999-02-08 | 1999-02-08 | 距離情報付き画像作成装置及び方法、並びにこの方法のプログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000227963A true JP2000227963A (ja) | 2000-08-15 |
Family
ID=12277785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11029499A Pending JP2000227963A (ja) | 1999-02-08 | 1999-02-08 | 距離情報付き画像作成装置及び方法、並びにこの方法のプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000227963A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004212129A (ja) * | 2002-12-27 | 2004-07-29 | Ishikawajima Harima Heavy Ind Co Ltd | 環境状況把握装置 |
| CN111869198A (zh) * | 2018-03-15 | 2020-10-30 | 株式会社村上开明堂 | 合成影像制作装置、合成影像制作方法以及合成影像制作程序 |
| CN115473998A (zh) * | 2021-06-11 | 2022-12-13 | 明泰科技股份有限公司 | 检测社交距离的摄影装置及系统 |
| CN115473998B (zh) * | 2021-06-11 | 2024-05-31 | 明泰科技股份有限公司 | 检测社交距离的摄影装置及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06258048A (ja) * | 1993-03-05 | 1994-09-16 | Toshiba Corp | 物体入力装置 |
| JPH0997344A (ja) * | 1995-09-29 | 1997-04-08 | Fujitsu Ltd | テクスチャ生成方法およびテクスチャ生成システム |
| JPH09304055A (ja) * | 1996-05-10 | 1997-11-28 | Nec Corp | 距離計測装置 |
| WO1998021698A1 (de) * | 1996-11-11 | 1998-05-22 | Giesecke & Devrient Gmbh | Verfahren zur bearbeitung von blattgut, wie z.b. banknoten |
| JPH10160422A (ja) * | 1996-12-03 | 1998-06-19 | Pioneer Electron Corp | ３次元測定装置 |
| JPH10224731A (ja) * | 1997-02-04 | 1998-08-21 | Nippon Telegr & Teleph Corp <Ntt> | 映像の時空間管理・表示・アクセス方法及び装置 |
| JPH10337272A (ja) * | 1997-06-09 | 1998-12-22 | Fuji Photo Film Co Ltd | 生体内距離測定装置 |
| JPH118845A (ja) * | 1997-04-21 | 1999-01-12 | Sony Corp | パノラマ画像生成装置および方法 |
-
1999
- 1999-02-08 JP JP11029499A patent/JP2000227963A/ja active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06258048A (ja) * | 1993-03-05 | 1994-09-16 | Toshiba Corp | 物体入力装置 |
| JPH0997344A (ja) * | 1995-09-29 | 1997-04-08 | Fujitsu Ltd | テクスチャ生成方法およびテクスチャ生成システム |
| JPH09304055A (ja) * | 1996-05-10 | 1997-11-28 | Nec Corp | 距離計測装置 |
| WO1998021698A1 (de) * | 1996-11-11 | 1998-05-22 | Giesecke & Devrient Gmbh | Verfahren zur bearbeitung von blattgut, wie z.b. banknoten |
| JPH10160422A (ja) * | 1996-12-03 | 1998-06-19 | Pioneer Electron Corp | ３次元測定装置 |
| JPH10224731A (ja) * | 1997-02-04 | 1998-08-21 | Nippon Telegr & Teleph Corp <Ntt> | 映像の時空間管理・表示・アクセス方法及び装置 |
| JPH118845A (ja) * | 1997-04-21 | 1999-01-12 | Sony Corp | パノラマ画像生成装置および方法 |
| JPH10337272A (ja) * | 1997-06-09 | 1998-12-22 | Fuji Photo Film Co Ltd | 生体内距離測定装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004212129A (ja) * | 2002-12-27 | 2004-07-29 | Ishikawajima Harima Heavy Ind Co Ltd | 環境状況把握装置 |
| CN111869198A (zh) * | 2018-03-15 | 2020-10-30 | 株式会社村上开明堂 | 合成影像制作装置、合成影像制作方法以及合成影像制作程序 |
| CN111869198B (zh) * | 2018-03-15 | 2021-12-14 | 株式会社村上开明堂 | 合成影像制作装置、合成影像制作方法以及记录介质 |
| CN115473998A (zh) * | 2021-06-11 | 2022-12-13 | 明泰科技股份有限公司 | 检测社交距离的摄影装置及系统 |
| CN115473998B (zh) * | 2021-06-11 | 2024-05-31 | 明泰科技股份有限公司 | 检测社交距离的摄影装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
| US7769205B2 (en) | Fast three dimensional recovery method and apparatus | |
| CN111292239B (zh) | 一种三维模型拼接设备及方法 | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| JP5725953B2 (ja) | 撮像装置及びその制御方法、並びに情報処理装置 | |
| CN107517346B (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| EP2870428A1 (en) | 3-d scanning and positioning system | |
| US9704255B2 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
| KR19990028281A (ko) | 패럴랙스에 기반을 둔 기술을 사용한 이미지 조합 방법 및 시스템 | |
| CN107590828B (zh) | 拍摄图像的虚化处理方法和装置 | |
| JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| JPH10210486A (ja) | 画像撮像装置および方法 | |
| JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
| JP3925266B2 (ja) | ３次元形状入力装置および位置ずれ検出方法 | |
| JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
| CN107370952B (zh) | 图像拍摄方法和装置 | |
| JP2001167276A (ja) | 撮影装置 | |
| CN111340959B (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 | |
| JP2022024688A (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
| JP2000227963A (ja) | 距離情報付き画像作成装置及び方法、並びにこの方法のプログラムを記録した記録媒体 | |
| JP4046973B2 (ja) | 情報処理方法および画像混合装置 | |
| JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
| Rioux | Colour 3-D electronic imaging of the surface of the human body | |
| Rioux | Color 3-D electronic imaging of the surface of the human body | |
| JP2004170277A (ja) | ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040127 |