JP2000132676A - 立体物形成装置 - Google Patents

Abstract

(57)【要約】 【課題】 手軽に立体模型が得られ、作業量が少なく、
スペースを必要せず、模型上の自然な遠近感が得られる
立体物形成装置を実現することが課題である。 【解決手段】 複数の入力画像を格納する入力画像格納
手段と、前記入力画像格納手段から得られた入力画像か
ら背景及び被写体の三次元位置を求める三次元位置検出
手段と、背景あるいは被写体の三次元位置及び入力画像
から背景画像と被写体画像を作成する背景・被写体画像
作成手段と、前記三次元位置及び前記背景画像、被写体
画像から、台紙上に背景画像と被写体画像を配置し、台
紙を開閉することによって背景画像と被写体画像が起き
上がる展開図を作り出す展開図算出手段と、前記展開図
算出手段から得られた展開図を印刷する印刷手段を有す
ることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字や図・写真を
含む画像を画像処理を用いて動きのある立体模型を実現
するのに適する立体物形成装置に関する。

【０００２】

【従来の技術】Ｚ．Ｚｈａｎｇ，‘‘Ｅｓｔｉｍａｔｉ
ｎｇ Ｍｏｔｉｏｎ ａｎｄ Ｓｔｒｕｃｔｕｒｅ ｆ
ｒｏｍ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ ｏｆ Ｌｉ
ｎｅＳｅｇｍｅｎｔｓ ｂｅｔｗｅｅｎ Ｔｗｏ Ｐｅ
ｒｓｐｅｃｔｉｖｅ Ｉｍａｇｅｓ’’：ＩＥＥＥ Ｔ
ｒａｎ． Ｐａｔｔｅｒｎ ａｎａｌｙｓｙｓ ａｎｄ
ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏ
ｌ．１７，Ｎｏ．１２，ｐｐ．１１２９−１１３９，Ｄ
ｅｃ １９９５にあるように、左右から撮影した画像に
対し、対応点を探し、三次元情報を取り出す技術は従来
からある。

【０００３】また、特開平８−６３５０３号公報に示さ
れているように、立体データの断層画面を印刷し重ねる
ことで、立体模型を作成する技術がある。

【０００４】

【発明が解決しようとする課題】しかしながら、画像か
ら三次元情報を得られたとしても、ＶＲＭＬ（Ｖｉｒｔ
ｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇ
ｕａｇｅ）などのようにコンピュータ上で利用されるこ
とが主であり、立体模型として扱うことはなされていな
い。

【０００５】また、立体模型を作る為に断層画面を重ね
る方法は、印刷や工作に手間がかかるという欠点があ
る。また、立体模型はたたむことが難しいため、保存す
るのに模型と同じだけのスペースが必要となる欠点があ
る。さらに、立体模型は動きがなく、静的な表現しかで
きないという欠点がある。

【０００６】本発明は、保存スペースが少なくて済み、
処理が簡便で、処理時間が短く、画像処理を用いて立体
模型を扱うことのできる立体物形成装置を実現すること
を目的とする。

【０００７】

【課題を解決するための手段】請求項１に記載の立体物
形成装置は、異なる位置で撮影された複数の入力画像を
格納する入力画像格納手段と、前記入力画像格納手段の
入力画像から背景及び被写体の三次元位置を求める三次
元位置検出手段と、前記背景及び被写体の三次元位置と
入力画像から背景画像と被写体画像を作成する背景・被
写体画像作成手段と、前記三次元位置及び前記背景画像
と被写体画像から、台紙上に背景画像と被写体画像を配
置し、前記台紙を開閉することによって背景画像と被写
体画像が起き上がる展開図を作り出す展開図算出手段
と、前記展開図算出手段から得られた展開図を印刷する
印刷手段を有することを特徴とする。

【０００８】請求項２に記載の立体物形成装置は、請求
項１に記載の立体物形成装置において、前記背景・被写
体画像作成手段は、被写体で隠れて抜け落ちている背景
部分を周囲の画像を使って埋めることを特徴とする。

【０００９】請求項３に記載の立体物形成装置は、請求
項１に記載の立体物形成装置において、前記展開図算出
手段は、透視変換による背景や被写体の画像上の大きさ
変化を補正して展開図を作ることを特徴とする。

【００１０】請求項４に記載の立体物形成装置は、請求
項１に記載の立体物形成装置において、前記展開図算出
手段は、台紙部分が背景画像中の地面部分となるように
し、背景画像と被写体画像が地面に直接接する展開図を
作ることを特徴とする。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。図１は本願の発明の実施の
形態を示すブロックである。

【００１２】図１において、入力画像格納手段１は入力
画像を格納しておくもので、実際には画像を格納してい
るＩＣメモリであったり、磁気メモリなどの記憶手段で
ある。あるいは、画像を引き出すことができるという意
味でビデオキャプチャー装置などでも実現することがで
きる。

【００１３】格納されている画像は被写体を異なる位置
から撮影したもので、背景や被写体がほとんど動いてい
ない場合は一つのカメラで位置を変えて撮影したもので
良い。背景や被写体が動いている場合は、異なる位置に
置いた複数のカメラで撮影したものや、ミラーやプリズ
ムを使ったステレオアダプターを使い、一つのカメラの
撮像内で左右あるいは上下に視差のある画像を同時に得
るものであっても良い。

【００１４】図１の三次元位置検出手段２は、入力画像
格納手段１から得た複数の画像から、背景と被写体の三
次元位置を計算する。ここではまず、２枚の入力画像の
場合で説明する。以降、これら２枚の入力画像を左画
像、右画像と呼ぶ。

【００１５】三次元位置を計算するには、２枚の入力画
像間の画素もしくはブロックの対応関係を検出し、その
対応画素もしくは対応ブロックの画像上の位置からカメ
ラとの三次元相対位置を計算する。

【００１６】なお、厳密に計算するには、カメラのレン
ズパラメータ、ＣＣＤなどの撮像面のパラメータ、撮影
時のカメラの三次元位置、レンズの光軸方向などの情報
が必要であり、これらを全て考慮して計算するには、前
記Ｚ．Ｚｈａｎｇ氏の論文にあるような方法が必要であ
る。

【００１７】ここでは説明を簡単にする為に、同じカメ
ラを使ってレンズのズーム率などをいじらずに２箇所で
撮影し、カメラの光軸は互いに並行でかつ地面に平行で
あり、撮影した位置は光軸に対して垂直に移動した２箇
所で撮影した場合の図２と図３で説明する。なお、ＣＣ
Ｄは正方ピクセルで、光軸に対する傾きや回転はないも
のとする。

【００１８】図２は、物体（被写体）とカメラの位置関
係を上から示した図である。図２の６は物体（被写体）
であり、７は左側位置で撮影したカメラのレンズ中心位
置であり、９は左側カメラの撮像面であり、１１は左側
カメラの左側光軸方向であり、８は右側位置で撮影した
カメラのレンズ中心位置であり、１０は右側カメラの撮
像面であり、１２は右側カメラの右側光軸方向である。

【００１９】左側光軸方向１１と右側光軸方向１２は平
行であり、レンズ中心位置７、８を結ぶ直線は各光軸方
向１１、１２と垂直に交わり、撮像面９、１０を結ぶ直
線は各光軸方向１１、１２と垂直に交わる。

【００２０】まず２枚の入力画像間の画素もしくはブロ
ックの対応関係を検出する。対応を検出するには、相互
相関値や残差絶対値を使って検出するのが一般的であ
る。ここでは、ブロックの残差絶対値を使った場合で説
明する。

【００２１】左右の画像の全体の大きさは共にｗ×ｈで
あり、左画像中の任意の位置（ｘ、ｙ）の画素値をｆ
（ｘ、ｙ）とし、右画像中の任意の位置（ｘ、ｙ）の画
素値をｇ（ｘ、ｙ）で表現する。なお、以下、原点は画
像の左上の点であり、右方向がｘ＋方向、下方向がｙ＋
方向であるとする。また、特に断りがない場合は、ブロ
ックの位置はブロックの左上座標で表すとする。

【００２２】位置（ａ、ｂ）、大きさｃ×ｄの左画像中
のブロックＢ１に対応するブロックを右画像中から検出
する場合を考える。右画像中の任意の位置（ｐ、ｑ）の
ブロックＢｘと左画像中のブロックＢ１との残差絶対値
Ｖ（ｐ、ｑ）は、次式で定義される。

【００２３】

【数１】

【００２４】対応ブロックを検出するには、残差絶対値
Ｖ（ｐ、ｑ）が最も小さくなるブロックＢｘの位置を検
出すれば良い。これは、ｐを０から（ｗ−ｃ）、ｑを０
から（ｈ−ｄ）までそれぞれ独立に値を変化させて、残
差絶対値Ｖ（ｐ、ｑ）が最も小さくなる（ｐ、ｑ）を求
めることによって得ることができる。以降、ブロックＢ
１のように対応を検出する際のベースとなるブロックを
参照ブロック、参照ブロックに対応するブロックを探索
ブロックと呼ぶ。

【００２５】対応の検出結果は、例えば図４のようにし
て格納しておく。図４の２０は全ての対応ブロックの数
Ｎｂであり、２１は最初の対応の参照ブロックのｘ座標
Ｌｒ［０］であり、２２は参照ブロックのｙ座標Ｔｒ
［０］であり、２３は参照ブロックと探索ブロックの横
幅Ｗ［０］であり、２４は参照ブロックと探索ブロック
の縦幅Ｈ［０］であり、２５は最初の対応の探索ブロッ
クのｘ座標Ｌｓ［０］であり、２６は探索ブロックのｙ
座標Ｔｓ［０］であり、２７は２番目の対応の参照ブロ
ックのｘ座標Ｌｒ［１］である。

【００２６】次に参照ブロックの取り方について述べ
る。最も簡単な方法は、ユーザーに参照ブロックを指示
してもらうことである。例えば、ＧＵＩを用いて、画面
上の被写体（物体）を枠で囲うようにして指示してもら
う、ようにする。もし、ユーザーの指示が望めない場合
は、左画像をｃ×ｄの大きさのブロックがメッシュ状に
上下左右に並ぶように取る。

【００２７】次に三次元位置を算出する。図２の撮像面
９、１０をレンズ中心位置７、８を中心に点対称に折り
返した画像面１３、１４を定義する。通常、カメラから
送られてくる画像は撮像面の画像ではなく、画像面に変
換した後の画像である為この方が計算しやすい。レンズ
中心位置７をこの座標系の原点Ｏとし、光軸方向１１に
垂直右方向をｘ＋方向、光軸方向１１をｚ＋方向とす
る。

【００２８】図３は、図２の状態を右側（ｘ＋方向）か
ら見た図である。光軸方向１１，１２をｚ＋方向、光軸
方向１１，１２に垂直下方向をｙ＋方向とする。なお、
画像面１３を参照ブロックのある参照画像面、画像面１
４を探索ブロックのある探索画像面と呼ぶ。求める物体
の位置を（Ｘｏ、Ｙｏ、Ｚｏ）とし、レンズ中心位置８
の位置を（Ｘｃ、０、０）とし、物体６とレンズ中心位
置７とを結ぶ直線と参照画像面１３との交わる点１５の
位置を（Ｘｒ、Ｙｒ、Ｚｃ）とし、物体６とレンズ中心
位置８とを結ぶ直線と探索画像面１４との交わる点１６
の位置を（Ｘｃ−Ｘｓ、Ｙｒ、Ｚｃ）とする（なお、先
にあげた物体とカメラの設置条件により、１４と１５の
ｙ座標Ｙｒは参照画像面と探索画像面で一致する）。

【００２９】すると、幾何学的な比例関係、Ｘｒ：Ｘｏ
＝Ｚｃ：Ｚｏ、Ｘｓ：Ｘｃ−Ｘｏ＝Ｚｃ：Ｚｏ、Ｙｒ：
Ｙｏ＝Ｚｃ：Ｚｏから、求める物体の位置（Ｘｏ、Ｙ
ｏ、Ｚｏ）は、次式で求まる。

【００３０】

【数２】

【００３１】

【数３】

【００３２】

【数４】

【００３３】Ｘｒ、Ｘｓ、Ｙｒは物体を含んだブロック
対応を求めることで求められる。但し、Ｘｒ、Ｘｓは、
図２の参照画像面１３、探索画像面１４の面の中心から
の距離なので、変換する必要がある。参照位置が（Ｌｒ
［０］、Ｔｒ［０］）、探索位置が（Ｌｓ［０］、Ｔｓ
［０］）、ブロックの大きさがＷ［０］×Ｈ［０］の場
合、Ｘｒ＝Ｌｒ［０］−（Ｗ［０］／２）、Ｘｓ＝Ｌｓ
［０］−（Ｗ［０］／２）、Ｙｒ＝Ｔｒ［０］−（Ｈ
［０］／２）となる。先にあげた条件から、Ｔｒ［０］
＝Ｔｓ［０］となるはずなので、ＹｒはＴｒ［０］ある
いは、Ｔｓ［０］のどちらを使って計算しても良い。

【００３４】Ｚｃは、撮像面（ＣＣＤなど）上の１画素
の大きさと計算に用いる単位系（例えばｍｍ）とが一致
するような値を予め測定、計算しておく。Ｘｃは、基本
的には測定しておくのが望ましいが、測定できていなく
ても、被写体の位置（Ｘｏ、Ｙｏ、Ｚｏ）は、Ｘｃが１
次係数としてかかっているので、カメラと物体の相対位
置関係は求めることができる。

【００３５】求めた三次元位置情報は、例えば図５の３
１、３２、３３のように、図４の対応ブロック情報の後
ろにブロックの三次元位置（Ｘｏ、Ｙｏ、Ｚｏ）を付け
加えておく。ここで、図５の３４は物体の識別子として
のＩＤ番号であり、ここではブロックの順に従って、０
から１ずつ増やした数を入れておく。このＩＤ番号は、
背景・被写体画像作成手段３で使われる。図５の３０の
Ｎｏは、物体の数であり、ここではブロックの数２０の
Ｎｂと同じにしておく。

【００３６】背景・被写体画像作成手段３は、三次元位
置検出手段２からの三次元位置情報を使って、背景と被
写体を分離し、入力画像格納手段１の入力画像から背景
と被写体の画像を作成する。三次元位置検出手段２で対
応ブロックを得る部分で説明したように、ユーザーが被
写体を指定している場合は、特に分離処理は必要なく、
各ブロック自身が被写体となっているとして良い。もし
ユーザーの指定がない場合は、メッシュに区切られた参
照画面のそれぞれの参照ブロックの対応を見て分離する
必要がある。求め方は色々考えられるが、単純な方法と
して、三次元位置が近いブロックは、同じ被写体に属す
ると考えて、統合していく方法がある。

【００３７】図６は、ブロックの統合を説明するフロー
チャートの例である。まず、ステップＳ１でブロックイ
ンデックスＢｉを０にして、ステップＳ２へ進む。ステ
ップＳ２ではブロックインデックスＢｊを０にして、ス
テップＳ３へ進む。ステップＳ３では、ブロックＢｉ
（ブロックインデックスＢｉの示すブロック、の意）と
ブロックＢｊ間の距離が近いかどうかを判断し、近いと
判断した場合はステップＳ４へ、近いと判断されなかっ
た場合はステップＳ５へ進む。次に、下式を定義する。

【００３８】

【数５】

【００３９】

【数６】

【００４０】ブロックＢｉ、ブロックＢｊ間の距離の近
さは上式をどちらも満たす場合は、近いと判断するよう
にする。なお、上式中のＴ１、Ｔ２は閾値である。

【００４１】ステップＳ４では、物体ＩＤ番号Ｏ［Ｂ
ｊ］の値を物体ＩＤ番号Ｏ［Ｂｉ］の値にし、物体の数
Ｎｏを１減らし、ステップＳ１へ進む。ステップＳ５で
は、Ｂｊが最後であるかどうか判別し、最後ならステッ
プＳ６へ、最後でないならステップＳ７へ進む。なお、
最後かどうかは、Ｂｊが（Ｎｂ−１）と等しいかどうか
で判断できる。

【００４２】ステップＳ６では、Ｂｉが最後であるかど
うか判別し、最後なら処理を抜け、最後でないならステ
ップＳ８へ進む。最後かどうかは、Ｂｉが（Ｎｂ−１）
と等しいかどうかで判断できる。ステップＳ７では、Ｂ
ｊを１増やして、ステップＳ３へ進む。ステップＳ８で
は、Ｂｉを１増やして、ステップＳ２へ進む。これらの
処理によって、物体の識別子が同じブロックは同じ物体
の一部であるとみなせる。

【００４３】物体の情報が図５の状態では利用しにくい
ので、図７の様な形式にまとめなおす。図７の４０は全
物体数で、図５の３０と同じ値である。図７の４１は物
体を構成するブロックの数を表し、例えばここではこの
値が２であるとする。４２、４３、４４、４５は物体の
左上位置と大きさで、構成するブロックを全て含む範囲
である。４６はこの物体のＩＤ番号である。４７のＩ
［０］は物体の画像領域へのポインタ値である。ここで
はまだ代入されていない。４８のＢｉ［０、０］と４９
のＢｉ［０、１］は、物体を構成するブロックのブロッ
クインデックス番号で、ブロック数４１の値が２だった
ので、２つしかブロック番号がない。

【００４４】図８は、図７の形式の情報の作成の仕方を
説明するフローチャートである。説明を分かりやすくす
るため、図５の情報格納形式をブロックテーブル、ブロ
ックテーブル中の各ブロックの情報領域をブロック行、
図７の情報格納形式をオブジェクトテール、オブジェク
トテーブル中の各オブジェクトの情報領域をオブジェク
ト行と呼ぶことにする。

【００４５】ステップＳ１０でブロックインデックスＢ
ｉを０にし、ステップＳ１１へ進む。ステップＳ１１で
は、既にブロックＢｉがオブジェクトテーブルに登録さ
れているかどうかを調べ、もしまだ登録されていなけれ
ばステップＳ１３へ、登録されていればステップＳ１２
へ進む。登録されているかどうかは、オブジェクトテー
ブル中の各オブジェクト行を順に走査して、オブジェク
ト行の物体ＩＤ番号とブロックＢｉの物体ＩＤ番号が一
致するものがあるかどうかを調べれば良い。一致するも
のがあれば既に登録されており、一致するものがなけれ
ばまだ登録されていないことになる。ステップＳ１２で
は、新規ブロックを追加し、ステップＳ１４へ進む。

【００４６】新規ブロックの追加の手順は次の通りであ
る。まず、オブジェクトテーブルの物体ＩＤ番号が同じ
オブジェクト行（例えば、Ｏｉ行とする）にブロック番
号を追加する。ブロック番号の追加とは、オブジェクト
行Ｏｉの最後にＢｉ［Ｏｉ、Ｎｂ［Ｏｉ］］用の領域を
確保し、ブロックＢｉのブロックインデックス値Ｂｉを
代入することである。次にオブジェクト行Ｏｉのブロッ
ク数Ｎｂ［Ｏｉ］を１増やす。次に物体の位置と大きさ
情報を更新する。

【００４７】まず、ブロックＢｉの左端位置Ｌｒ［Ｂ
ｉ］がＬｏ［Ｏｉ］より小さければＬｏ［Ｏｉ］をＬｒ
［Ｂｉ］で更新する。同様に、ブロックＢｉの上端位置
Ｔｒ［Ｂｉ］がＴｏ［Ｏｉ］より小さければＴｏ［Ｏ
ｉ］をＴｒ［Ｂｉ］で更新する。次にブロックＢｉの右
端位置（Ｌｒ［Ｂｉ］＋Ｗ［Ｂｉ］）を求め、（Ｌｏ
［Ｏｉ］＋Ｗｏ［Ｏｉ］）より大きければＷｏ［Ｏｉ］
を（Ｌｒ［Ｂｉ］＋Ｗ［Ｂｉ］−Ｌｏ［Ｏｉ］）で更新
する。同様に、ブロックＢｉの下端位置（Ｔｒ［Ｂｉ］
＋Ｈ［Ｂｉ］）を求め、（Ｔｏ［Ｏｉ］＋Ｈｏ［Ｏ
ｉ］）より大きければＨｏ［Ｏｉ］を（Ｔｒ［Ｂｉ］＋
Ｈ［Ｂｉ］−Ｔｏ［Ｏｉ］）で更新する。これで新規ブ
ロックが追加される。

【００４８】ステップＳ１３では、新規物体を追加し、
ステップＳ１４へ進む。新規物体の追加の手順は次の通
りである。まず、最後のオブジェクト行の次に新たなオ
ブジェクト行領域を確保し（新たなオブジェクト行をＯ
ｉ行とする）、ブロック数Ｎｂ［Ｏｉ］として１を代入
し、オブジェクトの位置と大きさとして、ブロックの位
置と大きさをそのまま代入すれば良い。ブロックＩＤ番
号をＯ［Ｂｉ］にし、最後にオブジェクトを構成するブ
ロック情報として、ブロック番号Ｂｉを追加する。画像
ポインタＩ［Ｏｉ］はまだ特に設定しなくて良い。これ
で新規物体が追加される。

【００４９】ステップＳ１４では、Ｂｉが最後かどうか
を判断し、最後ならオブジェクトテーブル作成処理を抜
け、最後でないなら、ステップＳ１５へ進む。最後かど
うかは、Ｂｉが（Ｎｂ−１）と等しいかどうかで判断す
る。ステップＳ１５では、Ｂｉを１増やして、ステップ
Ｓ１０へ進む。

【００５０】次に、背景と被写体の分別だが、背景は遠
い物体と思われるので、まずオブジェクトテーブルの各
オブジェクト行の中で最も遠いものを探す。例えば、Ｏ
ｉ行を処理しているとすると、最初のブロックＢｉ［Ｏ
ｉ、０］のＺ座標値Ｚ［Ｂｉ［Ｏｉ、０］］がその物体
の距離と定義する。Ｏｉを０から（Ｎｏ−１）まで変え
て、最も距離の遠い（大きい）時のＯｉを記録してお
く。例えば、最も遠い物体をＯｄ行とする。

【００５１】次に、背景は最も遠い物体から閾値Ｔｄの
距離内の物体と定義する。再び、Ｏｉを０から（Ｎｏ−
１）まで変えて、次式を満たす物体を背景の物体とす
る。

【００５２】

【数７】

【００５３】閾値Ｔｄは、固定値でも良いし、Ｚ［Ｂｉ
［Ｏｄ、０］］の１０％などとしても良い。結果は、図
７と同じ形で格納しておく。但し、最初のオブジェクト
は、背景とみなされたオブジェクトを全て集めたものに
する。背景とみなされなかったオブジェクトは従来通
り、単独のオブジェクトとして登録する。説明のため、
最初のオブジェクトテーブルを初期オブジェクトテーブ
ル、背景を集めたオブジェクトテーブルを分離オブジェ
クトテーブルと呼ぶことにする。分離オブジェクトテー
ブルを作成するのは、次の手順で良い。

【００５４】まず、分離オブジェクトテーブル領域を確
保する。次にＯｉを０から（Ｎｏ−１）まで変えて、上
式を満たす初期オブジェクトテーブルの物体（背景の物
体）の構成ブロックを、分離オブジェクトテーブルの最
初のオブジェクト行の構成ブロックに追加する。もしま
だ最初のオブジェクトが作成されていなかったら、オブ
ジェクト行を作成する。これによって、分離オブジェク
トテーブルが作成できる。

【００５５】次に物体の画像を作成する。以下、特に断
りが無い場合、「オブジェクトテーブル」は、「分離オ
ブジェクトテーブル」を指すものとする。オブジェクト
テーブルの各オブジェクト行を順に操作して、次の処理
を行う。例えば、Ｏｉ行のオブジェクト行を現在処理し
ているとする。まず、オブジェクトの大きさＷｏ［Ｏ
ｉ］×Ｈｏ［Ｏｉ］の画像領域を確保し、そのポインタ
値をＩ［Ｏｉ］に代入する。この画像領域の任意の位置
（ｘ、ｙ）の画素値は、ｈ（ｘ、ｙ）でアクセスできる
とする。次にＯｉ行の各ブロックの画像をコピーする。
これは次式で表現できる。

【００５６】

【数８】

【００５７】

【数９】

【００５８】

【数１０】

【００５９】

【数１１】

【００６０】これらの処理を、Ｏｉを０から（Ｎｏ−
１）まで変えて、順に行なえば良い。最初の行（０行）
のオブジェクトの画像が背景画像であり、それ以外は被
写体画像となる。

【００６１】なおこの手法では、背景画像は被写体部分
の画像が抜けた画像になってしまう。第２の発明にある
ように、抜けた部分を周囲の画素から推測して埋めるこ
とで、見た目に自然な画像にすることができる。推測の
仕方は色々考えられるが、最も簡単な手法は、１画素単
位で周囲の平均輝度値を取って、埋めていくことであ
る。図９（ａ）はこの手法で埋めた例である。四角は画
素を表し、中の値は輝度値を表す。斜線が引かれた周囲
の画素は既に値の割り当てられた輝度値であり、斜線が
引かれていない画素は抜けている部分とする。図９
（ａ）は、１回の埋め処理を行なった状態の図である。
例えば、抜けた部分の左上の画素は周囲に、輝度値３
９、１００、２５の画素がある。これらを単純平均する
と、平均輝度値は５４となる。その下の画素は、左の３
つの画素の輝度値が３９、５８、４３なので、平均輝度
値は４６となる。このようにして、画素値が割り当てら
れている画素と接している抜けた画素の画素値を求める
ことを繰り返すことで、全ての抜けた部分を埋めること
ができる。

【００６２】図９（ｂ）はパターンの繰り返しで埋める
手法である。この図では最も簡単な２画素単位の繰り返
しにしてある。５行目は、斜線のある左端２画素（１０
０、５０）をパターンとして、その右の２画素を同じ輝
度値（１００、５０）にしている。４行目は、左からと
上からのパターンが重なっているのでその平均を取る。
その結果、左の９３と上の２１６の平均で１５４、その
右の画素は、左の６５と上の２３７の平均で１５１、３
行目の左の画素は、左の２１と上の１０３の平均で６
２、その右の画素は、左の１８と上の１０８の平均で６
３とし、このような処理を繰り返して、抜けた部分を埋
めていく。なお、パターンで埋めていくと、模様を保存
することができ、見た目がより自然になる効果がある。

【００６３】また、被写体や背景の画像を作る際、入力
画像上の大きさをそのまま画像の大きさとしてしまう
と、透視変換（遠近法）により遠くにあるものほど小さ
くなってしまう。立体物を作成する際に、縮尺を小さく
して実物よりも小さく作成すると、立体物を観察した時
の遠近法の効果が小さくなり、見た目が不自然な場合が
ある。第３の発明にあるように、画像の大きさに関して
奥行きを考慮して補正してやることで、この不自然さを
軽減することができる。例えば、オブジェクトテーブル
のＯｉ行の物体を補正するとし、補正係数をＲｃとし、
基準奥行きをＺｂとする。特に補正を行なわない場合
は、Ｒｃ＝０とすれば良い。

【００６４】補正された横幅Ｗｃ［Ｏｉ］は（Ｗｏ［Ｏ
ｉ］×（１＋Ｒｃ×Ｚ［Ｂｉ［Ｏｉ、０］］／Ｚ
ｂ））、補正された縦幅Ｈｃ［Ｏｉ］は（Ｈｏ［Ｏｉ］
×（１＋Ｒｃ×Ｚ［Ｂｉ［Ｏｉ、０］］／Ｚｂ））、補
正された左端位置Ｌｃ［Ｏｉ］は（Ｌｏ［Ｏｉ］−Ｗｏ
［Ｏｉ］×（Ｒｃ×Ｚ［Ｂｉ［Ｏｉ、０］］／Ｚｂ）／
２）、補正された上端位置Ｔｃ［Ｏｉ］は（Ｔｏ［Ｏ
ｉ］−Ｈｏ［Ｏｉ］×（Ｒｃ×Ｚ［Ｂｉ［Ｏｉ、０］］
／Ｚｂ）／２）となる。次式は、上式（式８〜１０）を
補正したものである。式１１は補正をしないままで良
い。

【００６５】

【数１２】

【００６６】

【数１３】

【００６７】

【数１４】

【００６８】図１０は展開図算出手段４を説明するフロ
ーチャートである。ステップＳ２０では、台紙部品を出
力ページ上に作成し、ステップＳ２１へ進む。出力ペー
ジとは、位置を指定して、線分やビットマップ画像、テ
キストなどが描画表現できるものを指す。ＰｏｓｔＳｃ
ｒｉｐｔ言語インタプリタのキャンバスやＷｉｎｄｏｗ
ｓ ＯＳのＤｅｖｉｃｅ Ｃｏｎｔｅｘｔ（ＤＣ）であ
っても良いし、単純にビットマップ画像と考えても良
い。

【００６９】台紙部品は、この段階では単なる長方形の
領域なので、出力画像上へ長方形の枠を描き、長方形の
中央に線を引いておく。図１１（ａ）は、出力ページ上
に台紙を描画したものである。５０は台紙枠、５６は中
央に引かれた線である。５１〜５５は、物体部品を配置
する目印であるが、詳細は後ほど説明する。

【００７０】ステップＳ２１では、背景部品の配置を台
紙上に描画し、ステップＳ２２へ進む。ステップＳ２２
では、背景部品を出力ページ上に描画し、ステップＳ２
３へ進む。ステップＳ２３では、オブジェクトインデッ
クスＯｉを１にし、ステップＳ２４へ進む。ステップＳ
２４では、物体Ｏｉの部品の配置を台紙上に描画し、ス
テップＳ２５へ進む。ステップＳ２５では、物体Ｏｉの
部品の配置を背景部品上に描画し、ステップＳ２６へ進
む。ステップＳ２６では、物体Ｏｉの部品を出力ページ
上に描画し、ステップＳ２７へ進む。ステップＳ２７で
は、Ｏｉが最後かどうか判断し、最後と判断された場合
は展開図算出手段４の処理を抜け、最後でないと判断さ
れた場合はステップＳ２８へ進む。ステップＳ２８で
は、Ｏｉを１増やし、ステップＳ２４へ進む。

【００７１】図１１（ａ）の５１、５２は、ステップＳ
２１で描画された背景部品の配置位置である。線でなく
厚みがあるのは、糊白の部分を付加しているからであ
る。糊白部分は、前から見た時に見えないように、部品
の配置線より後ろの部分に作成した方が良い。糊白部分
には、オブジェクトインデックス番号を描画しておく。
背景は、０行なので、図１１（ａ）の５１、５２の様
に、糊白内部に０と描画しておく。背景部品は、オブジ
ェクトテーブルの最初のオブジェクトなので、背景の三
次元位置は、左上位置（Ｌｃ［０］、Ｔｃ［０］）、大
きさＷｃ［０］×Ｈｃ［０］である。５６の線は、図２
のＺ軸１１と重なるようにするとすると、５６上の画素
はＸ座標が０の値となるはずである。従って、５１の部
分は、Ｘ座標値がＬｃ［０］から０の範囲、５２の部分
は０から（Ｌｃ［０］＋Ｗｃ［０］）の範囲となる。５
１、５２の奥行き位置だが、基本的には５０の手前
（下）の枠線をＺ＝０の線とし、物体の奥行きＺ［Ｂｉ
［０、０］］の直線上に位置するとする。但し、台紙を
開く時に背景や物体が立ち上がり易い様に、Ｘ＝０の直
線５６上では正しい奥行き位置とするが、その点を中心
に５１、５２の様に、１８０度弱の折れ線となるように
する。すなわち、５６から左側と右側で、Ｚ軸が曲がっ
ていると解釈すれば良い。このＺ軸の曲がりは、以降の
被写体部品の配置に際しても同じものが適用される。

【００７２】図１１（ｂ）の５７〜６１は、背景部品を
出力ページに描画したものである。６０、６１の横幅
は、図１１（ａ）の５１、５２と同じである。縦幅は、
Ｈｃ［０］である。５７の内部（斜線部）は、背景画像
である。次に被写体の配置、描画であるが、ここでは図
１１（ａ）の５３、５４と５５の２個あるとする。

【００７３】ステップＳ２４で行なわれている最初の被
写体部品の台紙上の位置の求め方は、背景部品と同じで
ある。被写体部品の奥行きＺ［Ｂｉ［Ｏｉ、０］］と横
幅Ｈｃ［Ｏｉ］が分かれば位置は決まる。５３の場合、
５６を跨がない位置なので、一つの線分と一つの糊白で
済む。線分は、背景部品の折れ線と平行になる。５３の
場合は、Ｘ座標値がＬｃ［Ｏｉ］から（Ｌｃ［Ｏｉ］＋
Ｗｃ［Ｏｉ］）の範囲の一つの線分となる。５４、５５
の場合は、被写体部品の位置が５６のＸ＝０を跨いでい
るので、背景部品と同様に、５４はＸ座標値がＬｃ［Ｏ
ｉ］から０の範囲、５５は０から（Ｌｃ［Ｏｉ］＋Ｗｃ
［Ｏｉ］）の範囲となる。奥行き位置は、５３と同様に
計算する。糊白部分には、オブジェクトインデックス番
号を描画しておく。図１１（ａ）の５３の様に糊白内部
に１と描画したり、５４、５５の様に糊白内部に２と描
画したりする。

【００７４】ステップＳ２５の、被写体部品の配置を背
景部品上に描画する処理は、以下の通りである。図３の
様にカメラを原点とし、地面が高さＹｃと定義されてい
るので、まず、被写体部品の高さＹ［Ｂｉ［Ｏｉ、
０］］を使って、地面からの高さ（Ｙｃ−Ｙ［Ｂｉ［Ｏ
ｉ、０］］）を求める。５７の下端を地面の高さとし、
この下端から（Ｙｃ−Ｙ［Ｂｉ［Ｏｉ、０］］）の高さ
に被写体部品の切り込み用の線分を引く。線分の長さ
は、被写体部品の横幅と同じでも良いが、画像以外の部
分が太くて目立ってしまうので、この部分は細くした方
が良く、固定幅Ｗｐとする。横位置は、Ｗｐ幅の部分が
被写体部品の真中に来るように、（Ｌｃ［Ｏｉ］＋（Ｗ
ｃ［Ｏｉ］−Ｗｐ）／２）からＷｐ分とする。５８は５
３の被写体部品の背景部品上の位置である。５９は、５
４、５５の被写体部品の背景部品上の位置である。５９
は一直線で良いので、５４、５５で分ける必要はない。
切り込み用線分部分には、オブジェクトインデックス番
号を描画しておく。図１１（ｂ）の５８、５９の様に、
線分周囲に１、２と描画しておく。

【００７５】ステップＳ２６は被写体部品の出力ページ
への描画モジュールであるが、例えば以下の処理を行
う。図１１（ｂ）の６２〜６６は５３の被写体部品、６
７〜７２は５４、５５の被写体部品を出力ページ上へ描
画した様子である。６４、６９の斜線部分は被写体部品
の画像部分であるので、大きさはＷｏ［Ｏｉ］×Ｈｏ
［Ｏｉ］で、中には被写体部品の画像をコピーしてお
く。６５、７０は、高さを補う補助部分なので、幅は部
品と一緒のＷｏ［Ｏｉ］である。高さは画像の分を引い
た（Ｙｃ−Ｙ［Ｂｉ［Ｏｉ、０］］−Ｈｏ［Ｏｉ］）と
なる。６６、７１、７２は糊白部分だが、６６は５６を
跨がないので単一で良い。横幅は６５と同じで、高さは
固定幅Ｈｐで良い。図のように、角の部分を少しカット
しておくと仕上がりが美しくなる。７１、７２は、５
４、５５と同じく分離している。横幅は、５４、５５と
同じで良い。高さは固定幅Ｈｐで良い。６３、６８は奥
行きを補う補助部分で、縦幅は背景までの奥行きの差
（Ｚ［Ｂｉ［０、０］］−Ｚ［Ｂｉ［Ｏｉ、０］］）と
なる。横幅は５８、５９と同じく固定幅Ｗｐで良い。６
２、６７は糊白部分であり、横幅はＷｐ、縦幅はＨｐと
なる。糊白部分には、オブジェクトインデックス番号を
描画しておく。図１１（ｂ）の６２、６４の様に糊白内
部に１と描画したり、６７、７１、７２の様に糊白内部
に２と描画したりする。

【００７６】なお、背景部品と被写体部品の出力ページ
上への配置は、図１１（ｂ）のように、被写体部品を横
に並べて無駄なく配置するようにしても良いし、配置計
算が複雑な場合は、出力ページの大きさを考慮して、単
純に縦あるいは横に並べても良い。もし出力ページをは
み出す場合は、次のページの出力ページを用意し、そこ
に出力するようにする。

【００７７】また、第４の発明にあるように、ステップ
Ｓ２１において、背景部品の配置だけでなく、背景画像
中の地面部分の画像を図１２（ａ）の８０の様に台紙部
分に描画するようにし、ステップＳ２５、ステップＳ２
６において、図１２（ｂ）の様に背景８１と被写体８
４，８５の部品を作成すると、被写体が宙に浮いた様な
感じがなくなり、自然に見える効果がある。背景画像か
ら地面画像を作成するには、消失点（水平線）を求める
必要があるが、レンズの光軸は地面に平行という条件を
つけてあるので、単純に背景画像の下半分を地面画像で
あるとしても良い。地面画像は、背景画像の下半分を図
１２（ａ）の様にコピーする。その際、手前の部分と奥
の部分では、Ｚ軸方向の引き延ばし倍率が変わってく
る。

【００７８】図３より、地面上のＺ＝Ｚｇ上の点とカメ
ラ中心を結ぶ線と参照画像１３上の交点は、Ｚｇ：Ｙｃ
＝Ｚｃ：Ｙｊの関係があるので、Ｙｊ＝Ｙｃ×Ｚｃ／Ｚ
ｇとなる。また、図２より、地面上の（Ｘｇ、Ｙｇ）上
の点とカメラ中心を結ぶ線と参照画像１３上の交点は、
Ｘｇ：Ｚｇ＝Ｘｊ：Ｚｃの関係があるので、Ｘｊ＝Ｘｇ
×Ｚｃ／Ｚｇとなる。これによって、地面上の（Ｘｇ、
Ｙｃ、Ｚｇ）に対応する画素は、参照画像１３の（Ｘｇ
×Ｚｃ／Ｚｇ、Ｙｃ×Ｚｃ／Ｚｇ）の画素である。これ
によって図１２（ａ）の８０の様に、地面部分を描画す
ることができる。また、ステップＳ２５において、被写
体部品は、地面に接するように配置できるので、図１２
（ｂ）の８２、８３の切り込みの高さは、図１２（ｂ）
の８４、８５の高さで良い。また、ステップＳ２６にお
いて、図１２（ｂ）の８４、８５の下の底あげ部分（図
１１（ｂ）の６５、７０の部分）は必要ないので作らな
いようにする。

【００７９】印刷手段５は、展開図算出手段４で作成さ
れた出力ページを印刷する。印刷対象は、一般的な紙で
良い。複数の出力ページがある際は、複数の紙に印刷す
る。

【００８０】次に、立体物作成の手順を説明する。印刷
された展開図は、ユーザーがはさみやカッターなどで台
紙、背景部品、被写体部品を切り抜く。被写体部品は被
写体の実際の輪郭に関わらず、包含する長方形にしてし
まっているので、このまま使うと輪郭外の部分が不自然
になる。このため被写体を切り抜く際に、ユーザーが輪
郭を認識して、余分な輪郭外の部分を切り落とすように
する。これにより自然な被写体部品を作成できる。台紙
５０は、同じ大きさの硬く厚い紙などに接着しておく
と、後の開閉操作の時に楽である。

【００８１】背景部品の被写体の配置位置５８、５９は
切り込みを入れておく。まず、背景部品の６０、６１の
糊白部分が台紙上の５１、５２の糊白部分に合うよう
に、接着する。接着は糊白部分に糊を塗って接着しても
よいし、テープなどを用いて止めても良い。

【００８２】次に被写体部品の６６の糊白部分が台紙上
の５３の糊白部分に合うように接着する。次に被写体部
品の６２の糊白部分を背景部品上の５８の切り込み部分
に差し込み、背景部品の裏側で糊白部分を接着する。こ
うすることで、糊白部分が表に出ず、仕上がりがきれい
になる。

【００８３】同様に、被写体部品の７１、７２の糊白部
分が台紙上の５４、５５の糊白部分に合うように接着
し、被写体部品の６７の糊白部分を背景部品上の５９の
切り込み部分に差し込み、背景部品の裏側で糊白部分を
接着する。なお、５１、５２や５３、５４、５５の接着
を台紙表面でなく、切り込みにして、裏側で接着する方
法もある。この方が仕上がりはよりきれいである。この
ようにして、立体物が作成できる。

【００８４】次に、５６の線を中心にして、内側に折り
込み、被写体部品がすべて内側に折り込まれるようにす
れば、画像処理を用いた立体模型（例えば飛び出す絵
本）が実現できる。すなわち、折り込んだ台紙を開け
ば、背景部分が立ち上がり、それに引っ張られて、被写
体部品も立ち上がる。

【００８５】

【発明の効果】以上の説明により、本発明によれば、複
数の異なる方向から撮影した画像から物体の三次元情報
を得、背景と被写体の画像を作成し、台紙上に背景画像
と被写体画像を配置し、台紙を開閉することによって背
景画像と被写体画像が起き上がるような展開図を作り出
し、印刷することで、手軽に立体模型が得られる効果が
ある。

【００８６】また、断層画面を重ねる作業にくらべ、面
の展開図であるので、作業量も格段に少なくできる効果
がある。

【００８７】また、台紙を折り畳むことができるため、
保存の際、ほとんどスペースを必要としない利点があ
る。

【００８８】また、開く際に背景や被写体が起き上がっ
てくるので、いわゆる飛び出す絵本と同じく、動きのあ
る立体模型を作ることができ、ユーザーの注目を集めや
すい効果がある。

【００８９】また、背景画像を作成する際に、被写体で
隠れて抜けてしまっている部分を周囲の画像を使って埋
めることで、背景に不自然な抜けが発生することを防ぐ
ことができる。周囲の１画素だけでなく、周囲のブロッ
ク単位で埋めることで、テクスチャの連続性が出てくる
ので、より自然な埋め方ができる効果がある。

【００９０】また、遠近法（透視変換）による拡大縮小
を考慮して、背景画像と被写体画像を作成することで、
模型上で遠近感が不自然に強調されることを防ぐ効果が
ある。

【００９１】また、台紙部分が背景画像中の地面部分と
なるようにし、背景画像と被写体画像が地面に直接接す
るようにすることで、遠くの物体が宙に浮いたような状
態になることを防ぐ効果がある。

【図面の簡単な説明】

【図１】本願発明のブロック図である。

【図２】撮影状態を上から説明した図である。

【図３】撮影状態を横から説明した図である。

【図４】ブロック間の対応の結果の格納の仕方を説明し
たものである。

【図５】ブロックと物体の三次元情報の格納の仕方を説
明したものである。

【図６】ブロックの統合を説明するフローチャートであ
る。

【図７】物体の情報の格納の仕方を説明したものであ
る。

【図８】図７の形式の情報の作成の仕方を説明するフロ
ーチャートである。

【図９】（ａ）は背景画像の抜けの１画素単位の埋め方
を説明したものであり、（ｂ）は背景画像の抜けのブロ
ック単位の埋め方を説明したものである。

【図１０】展開図算出手段４を説明するフローチャート
である。

【図１１】（ａ）は台紙の展開図を説明したものであ
り、（ｂ）は背景部品と被写体部品の展開図を説明した
ものである。

【図１２】（ａ）は台紙の地面部分に地面画像をつけた
時の台紙の展開図を説明したものであり、（ｂ）は台紙
の地面部分に地面画像をつけた時の背景部品と被写体部
品の展開図を説明したものである。

【符号の説明】

１ 入力画像格納手段 ２ 三次元位置検出手段 ３ 背景・被写体画像作成手段 ４ 展開図算出手段 ５ 印刷手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】 異なる位置で撮影された複数の入力画像
   を格納する入力画像格納手段と、 前記入力画像格納手段の入力画像から背景及び被写体の
   三次元位置を求める三次元位置検出手段と、 前記背景及び被写体の三次元位置と入力画像から背景画
   像と被写体画像を作成する背景・被写体画像作成手段
   と、 前記三次元位置及び前記背景画像と被写体画像から、台
   紙上に背景画像と被写体画像を配置し、前記台紙を開閉
   することによって背景画像と被写体画像が起き上がる展
   開図を作り出す展開図算出手段と、 前記展開図算出手段から得られた展開図を印刷する印刷
   手段を有することを特徴とする立体物形成装置。
2. 【請求項２】 前記背景・被写体画像作成手段は、被写
   体で隠れて抜け落ちている背景部分を周囲の画像を使っ
   て埋めることを特徴とする請求項１に記載の立体物形成
   装置。
3. 【請求項３】 前記展開図算出手段は、透視変換による
   背景や被写体の画像上の大きさ変化を補正して展開図を
   作ることを特徴とする請求項１に記載の立体物形成装
   置。
4. 【請求項４】 前記展開図算出手段は、台紙部分が背景
   画像中の地面部分となるようにし、背景画像と被写体画
   像が地面に直接接する展開図を作ることを特徴とする請
   求項１に記載の立体物形成装置。