JP2000293703A - 画像合成装置及びその方法並びにその方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 従来の前景画像を加工して背景画像と合成す
る画像合成は、画一的な合成方法が採られている。 【解決手段】 ユーザが、入力操作部１０１から背景画
像と合成させたい前景画像とその前景画像を象徴するキ
ーワード等とを入力すると、制御部１０４は、前景画像
データ等を、前景画像データ記憶部１０２に記憶させ
る。背景画像データ記憶部１０３には、背景画像データ
と複数のレコードを有するデータベースが記憶されてい
る。各レコードは、典型要素の属性と異なる画像合成方
法等とをフィールドに記載している。制御部１０４は、
前景画像のキーワード等と一致するキーワード等を有す
るレコードを１つ選択し、当該レコードに格納された画
像合成法等を固有処理命令として画像加工部１０５に出
力する。画像加工部１０５は、固有処理命令に従い前景
画像を加工し、画像合成部１０６は、背景画像と合成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像を組み
合わせて合成する画像合成装置及びその方法に関する。

【０００２】

【従来の技術】近年、コンピュータグラフィックス（Ｃ
Ｇ）の技術は、めざましく発展し、画像合成の処理は、
専門家によって、大型のコンピュータを使用して大規模
な演算処理を行い実現されている。しかし、ＣＧ技術の
専門家でないユーザが使用できる従来の画像合成の単純
なものとしては、クロマキーと呼ばれる手法があり、こ
の手法は、前景画像となる人物等が青色等の単色の壁の
前で動く様子を撮影し、前景画像の単色部分を用意され
た背景画像と入れ替えるものである。

【０００３】また、市販の画像合成の処理のソフトで
は、ＣＧ技術の専門家が背景画像と背景画像に重ねられ
る前景画像とを想定し、背景画像に応じた前景画像の加
工処理の手順が決められている。この画像合成の処理ソ
フトを利用するユーザは、前景画像を用意し、処理ソフ
トの加工処理の手順に従って前景画像を処理し、処理さ
れた前景画像を用意されている背景画像に合成する。

【０００４】

【発明が解決しようとする課題】ところが、クロマキー
処理によるものでは、背景画像に重ねられる前景画像が
差し替えられれば、専門家がその度に前景画像の特徴に
応じて合成処理しなければならず、また、前景画像その
ものは、既に撮像したものをそのまま用いるため前景画
像の動きまで制御することはできない。

【０００５】また、市販の画像合成の処理ソフトで、ユ
ーザが簡単に使えるものでは、一の背景画像に対する一
の前景画像の加工処理の手順が固定的に実現できるよう
にされているので、ユーザが用意した前景画像を背景画
像と合成する場合に、その加工処理の手順が前景画像の
処理に適したものである保証はない。また、市販の画像
合成の処理ソフトで、一の背景画像に対する前景画像の
加工処理の手順が多数用意されているものでは、画像処
理の専門知識を有しないユーザは、どのような加工処理
がなされるのか理解できない。したがって、本来、前景
画像と背景画像との関連において、前景画像の加工処理
を決めなければならないのに、その加工処理の手順を選
ぶことが難しい。そのため、得られる合成画像は、処理
ソフトの提供者が期待した合成画像にならない場合もあ
る。

【０００６】本発明は、上記課題に鑑み、前景画像が与
えられたとき、一の背景画像に適した加工処理を前景画
像に施し、その処理された前景画像を背景画像に重ねる
ことがＣＧ技術の専門家でないユーザにも可能な画像合
成装置及び画像合成方法を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、背景画像に重ねられ、背景画像に合成さ
れる複数の典型要素が用意されている画像合成装置であ
って、背景画像の画像データと、データベースとを記憶
している背景画像記憶手段と、データベースは、背景画
像との合成時に施す画像処理方法毎の複数のレコードか
ら成り、各レコードは、典型要素としての属性と、各画
像処理方法と、各方法に係る画像データとを格納するフ
ィールドから成り、ユーザが前記背景画像と合成を希望
する前景画像の画像データと、その属性とを入力する入
力手段と、入力手段で入力された前景画像の属性と前記
データベースの典型要素の属性とが一致するレコードを
検索する検出手段と、検索手段で検索されたレコードに
記述された画像処理方法に従い、前記前景画像の画像デ
ータを加工処理する画像加工手段とを備えることとして
いる。

【０００８】

【発明の実施の形態】以下、本発明に係る画像合成装置
の実施の形態について図面を用いて説明する。 （実施の形態）図１は、本発明に係る画像合成装置のー
実施の形態の構成図である。

【０００９】この画像合成装置は、入力操作部１０１
と、画像合成の対象となる前景画像の前景画像データを
記憶する前景画像データ記憶部１０２と、前景画像が合
成される背景画像の背景画像データを記憶する背景画像
データ記憶部１０３と、各部を制御する制御部１０４
と、前景画像を合成のために加工する画像加工部１０５
と、加工された前景画像と背景画像とを合成する画像合
成部１０６と、合成された画像等を表示する表示部１０
７とを備えている。

【００１０】なお、この画像合成装置のハードウエア構
成を図２に示す。入出力手段２０１は、入力操作部１０
１と表示部１０７とを構成する。記録再生手段２０２
は、前景画像データ記憶部１０２と、背景画像データ記
憶部１０３と画像加工部１０５の一部とを構成する。数
値演算プロセッサ２０３は、制御部１０４と、画像加工
部１０５の一部と画像合成部１０６とを構成する。

【００１１】入力操作部１０１は、キーボード等を含
み、図示しないネットワーク、コンピュータ、カメラ、
スキャナ等と接続されており、ユーザから画像合成の対
象となる前景画像の入力を受け付け、制御部１０４を介
して前景画像データ記憶部１０２に記憶させる。図３
は、ユーザが前景画像として合成したい「はばたく鳥」
の画像３０１を示している。この画像３０１をスキャナ
で読み込み、デジタル画像データとして制御部１０４に
出力する。

【００１２】また、入力操作部１０１は、画像３０１を
デジタル画像データとして入力した際、この画像３０１
の特徴データの入力をユーザからキーボードを用いて受
け付ける。特徴データには、ユーザから入力される画像
の名前（ファイル名）と画像フォーマットの識別子（拡
張子）、制御部１０４で生成されるビットマップデータ
の色数（分解能）とビットマップデータの配置方法等と
がある。

【００１３】図４は、特徴データの一例を示す図であ
る。特徴データ４０１は、入力操作部１０１から制御部
１０４に出力される画像のデジタル画像データの特徴
（属性）を示している。特徴データ４０１には、画像の
名前「はばたく鳥」４０２、フォーマット「３次元Ｃ
Ｇ」４０３、要素ジャンル「生き物・飛行物体」４０
４、色情報「テクスチャの色、透明度」４０５、画素数
「テクスチャの画素数」４０６、３次元情報「３次元Ｃ
Ｇモデル（ポリゴン数、格子点位置など）」４０７、２
次元情報「射影形状、マスク情報、テクスチャなど」４
０８、その他属性「作成ハードウエア、Ｚバッファな
ど」４０９、実例部分「時間経過に伴う全格子点の運動
パターン」４１０と汎用部分「主格子点の運動パター
ン」４１１等が含まれる。なお、３次元情報には、光源
情報等を含める場合もある。

【００１４】前景画像データ記憶部１０２は、背景画像
に合成される前景画像の前景画像データを記憶してい
る。前景画像データは、制御部１０４によって書き込ま
れる。図５は、前景画像データの具体例を示す図であ
る。前景画像データ５０１は、素材ビットマップデータ
５０２と素材ヘッダデータ５０３とから構成される。素
材ビットマップデータ５０２には、例えば図３に示した
画像３０１がスキャナによって読み込まれた場合に、そ
の二次元画像データが書き込まれる。素材ヘッダデータ
５０３は、素材ビットマップデータ５０２の属性を示す
データであり、画像（ファイル）の名前５０４，画像フ
ォーマットの識別子５０５，色数５０６及び配置方法５
０７等を含んでいる。

【００１５】画像の名前５０４には、ユーザによって入
力された画像３０１の名前「はばたく鳥」が記載されて
いる。画像フォーマットの識別子５０５には、二次元画
像データが書き込まれた際、その画像フォーマットの識
別子としてユーザによって「ｂｍｐ」が与えられ、記載
されている。

【００１６】ビットマップデータの色数５０６には、素
材ビットマップデータ５０２に「３２」ビットデータが
記載されているので、制御部１０４によって「３２」が
記載されている。また、配置方法５０７には、素材ビッ
トマップデータ５０２がどのような配列で記載されてい
るかが示されており、制御部１０４によってスキャナの
読み込まれた際の順序である「並び方Ａ」が記載されて
いる。

【００１７】ここで「並び方Ａ」は、図６に矢符６０１
で示すように画像３０１の存在する領域の左上の位置
（１、１）から右下の位置（１０２４、７６８）の画像
を順に並べたものである。画像３０１は、１０２４×７
６８＝７８６４３２個の画素の３２ビットデータで示さ
れる。また、前景画像データ記憶部１０２は、図７に示
すように画像キーワード情報である「はばたく鳥」の画
像を象徴する言葉「飛行物体」７０１と画像フォーマッ
ト情報「ｂｍｐ」７０２と画像実例情報である図５に示
した画像データ５０１とが記憶されている。なお、３次
元ＣＧ画像の場合には、幾何データ（座標、位置）も含
まれている。

【００１８】背景画像データ記憶部１０３は、ユーザが
前景画像を合成しようとする背景画像の背景画像データ
を予め記憶している。図８は、背景画像データ記憶部１
０３に記憶されている背景画像を示している。この背景
画像８０１は、山８０２と平野８０３との差し替えので
きないオブジェクトを含む画像を含んでいる。なお、
ｘ、ｙ、ｚ座標７０４は、この背景画像の空間座標（ワ
ールド座標）を示している。

【００１９】図９は、この背景画像８０１の特徴データ
の一例を示している。特徴データ９０１は、上述した前
景画像３０１の特徴データ４０１と同様、背景画像８０
１の属性が示されている。背景画像データ記憶部１０３
は、また、典型要素を背景画像データとして記憶してい
る。図１０は、典型要素を模式的に示した図である。典
型要素「航空旅客機」１００１と「溶岩流」１００２と
「噴煙」１００３とが示されている。これらの典型要素
１００１〜１００３は、背景画像８０１の前方（紙面の
上方）に合成（重ね合わせ）を想定された画像であり、
後述するように、専門家によって、予めその画像の加工
方法が設定されている。

【００２０】図１１は、これらの典型要素１００１〜１
００３の特徴データ１１０１の一例を示している。これ
らの特徴データ１１０１は、典型要素１００１〜１００
３ごとに画像データを記憶させた際、その画像データ及
び専門家により入力される属性１１０２、１１０３、１
１０４をそれぞれ含む。この特徴データ１１０１を基本
にして、図１２、図１３に具体例を示すデータベースが
専門家により作成される。

【００２１】背景画像データ記憶部１０３は、典型要素
毎に固有データベース１２０１，１３０１等から成るデ
ータベース群を記憶している。データベース１２０１は
典型要素「航空旅客機」１１０１、データベース１３０
１は典型要素「溶岩流」１００２に対応している。デー
タベース１２０１，１３０１等は、各典型要素の特徴デ
ータ（属性）及びその画像加工方法などの情報をデータ
ベース化したものである。たとえばデータベース１２０
１は５つのレコード１２０２を保有し、各レコードはレ
コードを検索するためのキーワードを記載したフィール
ドや前景画像の処理方法等を記載したフィールド等から
なる。入力された前景画像のファイルフォーマットにマ
ッチングするレコードをここから検索することで、前景
画像の特徴に依存する異なった５種類の処理方法から１
種類の処理方法を選んで前景画像の処理を実現する。

【００２２】フィールドｂ１１には、キーワードが記述
されている。キーワードには、典型要素「航空旅客機」
について、ユーザが用意するであろう前景画像の特徴を
象徴する言葉を候補として記述する。たとえば、航空旅
客機から容易に類推できる「飛行物体」、「乗り物」、
あるいは意外な言葉として、「爆弾」なども盛り込まれ
る。記述されるキーワードは「乗り物」のようにグルー
ピングを目的とする単語を選ぶだけでなく、具体的な固
有名詞「ポーイング×××」などが記述されていてもよ
い。

【００２３】フィールドｂ１２には、フォーマット識別
子が記述されている。一般的にファイル拡張子がファイ
ルフォーマットの識別に用いられる。ここでは、拡張子
「ｄｘｆ」、「ｍｐｇ」、「ｂｍｐ」を持つ３種類のフ
ォーマットを想定する。拡張子「ｄｘｆ」は３次元ＣＧ
データ、拡張子「ｍｐｇ」は実写の動画データ、拡張子
「ｂｍｐ」はビットマップ形式の静止画データをそれぞ
れ識別している。

【００２４】フィールドｂ１３には、処理方法が記述さ
れ、各キーワードと各ファイルフォーマットとの組み合
わせに応じて、処理方法を記述したプログラムが格納さ
れている。このプログラムによって画像加工部１０５お
よび画像合成部１０６は、画像処理を実行する。このフ
ィールドｂ１３にプログラムを完全に格納してもよい
し、関数へのエントリポイントのみを記述しておいても
よい。その場合は、そのエントリポイントによって呼び
出し可能な関数を記述した実行形式のプログラムを背景
画像データ記憶部１０３に記憶させておく。

【００２５】フィールドｂ１４には、汎用情報が記述さ
れている。汎用情報とは、典型要素「航空旅客機」デー
タの部分集合であり、合成処理の前後で変更されないデ
ータをいう。フィールドｂ１５には、実例情報が記述さ
れている。実例情報とは、典型要素「航空旅客機」デー
タの部分集合であり、ユーザの入力した前景画像を含む
データに置き換えられるデータをいう。入力操作部１０
１は、スキャナ（図示せず）が画像３０１をスキャン
し、生成した前景画像データ５０１をファイル名と拡張
子との組「飛行物体ｂｍｐ」として受け取る。ファイル
名は入力操作部１０１からユーザに入力され、拡張子は
スキャナの出力仕様に依存する。制御部１０４は、入力
操作部１０１から前景画像データ５０１を受け取り、前
景画像データ記憶部１０２に書き込む。

【００２６】続いて、制御部１０４は、前景画像データ
５０１のファイル名と拡張子とに基づいてデータベース
群１２０３，１３０１等を検索する。データベース群１
２０１，１３０１等からキーワードとフォーマットとが
一致するデータベース１２０１のレコード３がヒットす
ると、該レコードに格納されたプログラムｚ０、汎用情
報ｚ１，実例情報ｚ２および前景画像データ記憶部１０
２に記憶されている前景画像データ５０１を画像加工部
１０５へ構造体「固有処理命令」として出力する。

【００２７】なお、ユーザのファイル名の与え方によっ
ては、制御部１０４は、一致するレコードを検索できな
い場合がある。たとえば前景画像データ５についてファ
イル名と拡張子とを「羽ばたく鳥ｂｍｐ」とする場合、
制御部１０４はデータベース群１２０１，１３０１等に
ついてキーワード検索しても一致するレコードを発見で
きない。このとき、関連語データベース（図示せず）を
検索し「羽ばたく鳥」の類語「飛行物体」を得た上で、
類語（関連語）を用いてデータベース１２０１のレコー
ド３をヒットさせ、二次的な候補として出力してもよ
い。あるいは、「可能な処理がありません」と表示部１
０７へ出力し、ユーザからのファイル名の再入力を待っ
てもよい。レコードが複数個ヒットした場合、レコード
にフィールドｂ１６に記述しているようにプライオリテ
ィ（優先順位）を予め定めておいてもよいし、また、表
示部１０７にヒットしたレコードについてリスト表示
し、入力操作部１０１においてユーザに選択させてもよ
い。データベース１２０１のレコード４とレコード５は
同じキーワードとフォーマット識別子との組み合わせを
持つため検索に同時にヒットするが、おのおのは異なる
プログラムｘｘ０，ｙｙ０を格納している。プライオリ
ティに準じて処理するオプションが設定されていれば、
レコード４がユーザとの対話なしに選択され、プライオ
リティに準じないオプションが設定されている場合は選
択肢としてレコード４とレコード５がリスト表示され
る。

【００２８】制御部１０４は画像加工部１０５から前景
画像の加工の終了通知を受けると画像合成部１０６を起
動する。また、画像合成部１０６から前景画像と背景画
像との合成の終了通知を受けると、合成画像を表示部１
０７へ出力する。画像加工部１０５は固有処理命令（前
景画像データ５０１、プログラムｚ０、汎用情報ｚ１，
実例情報ｚ２をメンバとする構造体）の記憶領域を有
し、制御部１０４から固有処理命令を受け取り、プログ
ラムｚ０に基づいて画像を生成する。

【００２９】画像加工部１０５に固有処理命令として出
力された実例情報ｚ２を図１４に示す。この実例情報ｚ
２は、「航空旅客機」１００１の機体表面のテクスチャ
データ１４０１のデータ構造を示している。テクスチャ
データ１４０１は、このテクスチャのビットマップデー
タを６４０×４８０＝３０７２００個の画素の３２ビッ
トデータで示している。また、ビットマップデータは、
図１５に矢符１５０1に示すような配置方法「並び方
Ｂ」で配列されている。

【００３０】前景画像データ５０１は、上述したように
図６に示した「並び方Ａ」で７８６４３２個の画素の３
２ビットデータで示されているので、典型要素のデータ
構造とは異なる。したがって、プログラムｚ０に含まれ
るデータ変換プログラムに従い、前景画像データ５０１
を加工する。図１６は、データ変換プログラムのフロー
チャートを示す。

【００３１】先ず、画像加工部１０５は、前景画像の画
像データ５０１を読み込み（Ｓ１６０２）、典型要素
「航空旅客機」の実例情報ｚ２のビットマップデータの
サイズ６４０×４８０に対応した画素座標（１９３、１
４５）から画素座標（８３２、６２４）までの画素の画
像データを切り出す（Ｓ１６０４）。切り出した前景画
像の画像データ５０１を「航空旅客機」１００１のテク
スチャデータ１５０１と同じ配列「並び方Ｂ」に並べ替
える（Ｓ１６０６）。並べ替えた前景画像の加工済みビ
ットマップデータを記憶し、（Ｓ１６０８）、制御部１
０４に前景画像の加工が終了したことを通知し、処理を
終了する。

【００３２】図１７は、画像加工部１０５によって、加
工された画像データを画素の座標を示して説明する図で
ある。元の前景画像の画像データ５０１の座標（１９
３、１４５）を加工後は座標（１、１）と、元の座標
（８３２、６２４）を加工後は座標（６４０、４８０）
としている。なお、加工済みビットマップデータは、後
述する図２０に示す。

【００３３】画像合成部１０６は、制御部１０４に起動
されると、背景画像データ記憶部１０３に記憶されてい
るプログラムｚ０を読み出し、プログラムｚ０に従い、
加工された前景画像データを背景画像８０１の画像デー
タと合成する。なお、プログラムｚ０は、ＣＧ技術の専
門家が予め作成した背景画像データと典型要素「航空旅
客機」１００１の画像データとを合成する合成方法の手
順が記載されたものであり、その手順が前景画像データ
５０１の合成に適用されるものである。

【００３４】図１８は、背景画像データ記憶部１０３に
記憶されている典型要素「航空旅客機」１００１の３次
元ＣＧモデルの素材データ１８０１のデータ構造を示し
ている。素材データ１８０１は、ヘッダデータ１８０２
と、機体表面に与えるビットマップデータ１８０３と、
窓ガラスに与えるビットマップデータ１８０４と、座標
データ１８０５とから構成されている。

【００３５】図１９は、この典型要素「航空旅客機」１
００１と背景画像８０１とのプログラムｚ０による合成
を模式的に示した図である。「航空旅客機」１００１の
３次元ＣＧモデルの素材データ１８０１と背景画像デー
タ１９０１とから典型要素を背景画像に合成した２次元
の合成画像データ１９０２を得る。先ず、画像合成部１
０６は、「航空旅客機」１００１の素材データ１８０１
を３次元データからレンダリング処理して、２次元デー
タに変換し、２次元の画像データ１９０３を得る。一
方、背景画像データ１９０１は、「航空旅客機」１００
１の画像データで隠れる部分の画像データ１９０４と隠
れない部分の画像データ１９０５とからなる。２次元の
画像データ１９０３と隠れない部分の画像データ１９０
５とを合成し、合成画像データ１９０２を得る。なお、
素材データ１８０１の機体表面に与えるビットマップデ
ータ１８０３には、色情報として「白」を示す「０００
００００７」が記録されている。

【００３６】次に、本実施の形態での前景画像３０１と
背景画像８０１とのプログラムｚ０による画像合成につ
いて説明する。画像合成部１０６は、図２０に示すよう
に、「航空旅客機」１００１の３次元ＣＧモデルの素材
データ１８０１の機体表面のビットマップデータ１８０
３部分を画像加工部１０５で加工された前景画像の加工
済みビットマップデータ２００１と入れ替える。これに
よって、前景画像を合成した「航空旅客機」の３次元Ｃ
Ｇの画像データ２００２を得る。この画像データ２００
２をレンダリング処理し、２次元データに変換した「航
空旅客機」の合成画像データ２００３を得る。

【００３７】図２１は、この合成画像データ２００３を
表示した合成画像２１０２を得るまでを模式的に示した
ものである。前景画像３０１の画像データ５０１は、図
５に示したものであり、典型要素「航空旅客機」１００
１の３次元ＣＧモデルの画像データ１８０１は、図２０
に示したものである。画像加工部１０５によって、画像
データ５０１は、「航空旅客機」１００１のテクスチャ
データ１５０１と同じデータサイズと配列方法とに変換
された画像データ２００１に変換される。画像合成部１
０６は、「航空旅客機」１００１の３次元ＣＧモデルの
素材データ１８０１中のビットマップデータ１８０３を
画像データ２００１に置換した３次元ＣＧモデルの画像
データ２００２をレンダリング処理して、合成画像デー
タ２００３を得る。この２次元の合成画像データ２００
３を表示すると、合成画像２１０１となる。

【００３８】画像合成部１０６は、背景画像データ１９
０１の画像データ１９０４と合成画像データ２００３と
を置換して、即ち、画像データ１９０５と合成画像デー
タ２００３とを合成して、背景画像と前景画像とを合成
した合成画像データ２００５を得る。画像合成部１０６
は、得られた合成画像データ２００５を記憶部（図示せ
ず）に記憶させる。

【００３９】また、画像合成部１０６は、画像合成を終
了したことを制御部１０４に通知する。なお、３次元Ｃ
Ｇモデルの画像データ２００２から２次元の画像データ
２００３への変換は、公知の技術であるので、一般的な
テクスチャマップを用いたレンダリング処理について、
簡単に説明する。

【００４０】図２２は、立方体２２０１の２次元投影図
を考える場合の座標系の説明図である。Ｅｘｙｚは視点
を原点とする座標系、Ｖｘｙｚは投影面２２０２（画像
を出力するデバイス）に固有の座標系であり、Ｏｘｙｚ
は物体に固有の座標系であり、そしてＷｘｙｚは基準座
標系であり、Ｅｘｙｚ,Ｖｘｙｚ,Ｏｘｙｚの各座標系の
原点及び方位角、仰角の基準となる。ただし、投影面座
標系ＶｘｙｚのＸｖ軸は視点座標系ＥｘｙｚのＹｅ軸に
平行であり、Ｙｖ軸はＸｅ軸と平行かつ逆向きである。
Ｚｖ値はＺバッファ法に基づくレンダリングで必要とな
る視点から注目点までの距離であり、Ｚｖ軸は、投影面
に垂直な軸ではない。

【００４１】図２３は、レンダリング処理に必要な座標
データの内容とその処理に従いデータが変化する様子を
示す図である。この座標データは、図１８に示した３次
元ＣＧモデルの素材データ１８０１の座標データ１８０
５に相当するものである。図２４は、画像合成部１０６
のレンダリング処理の流れの概略を説明するフローチャ
ートである。

【００４２】形状座標データ２３０１は、物体表面の注
目点を物体に固有の座標系Ｏｘｙｚで記述されている。
視野データ２３０２は、各座標系の原点座標、各座標系
を変換するための方位角θと仰角Φ、投影面の端点、視
軸方向ベクトルから成る。投影面座標系の方位角／仰角
は視点座標系から決定される。画像合成部１０６は、物
体上の注目点を物体に固有の座標系Ｏｘｙｚから基準座
標系Ｗｘｙｚの表現に変換し、さらに視点座標系Ｅｘｙ
ｚの表現２３０３に変換する（Ｓ２４０１）。

【００４３】ここで、座標変換は、式（１）を用いて行
う。

【００４４】

【数１】

【００４５】式（１）は、方位角θ、仰角Φを用いて座
標変換を行う数式である。座標系Ａの点（Ｘ,Ｙ,Ｚ）に
対して式（１）で別の座標系Ｂ上の表現（Ｘ’,Ｙ’,
Ｚ’）が得られる。ここで（Ｘｂ,Ｙｂ,Ｚｂ）は座標系
Ａにおける座標系Ｂの原点である。物体上の注目点につ
いてまず上記の逆変換として物体に固有の座標系Ｏｘｙ
ｚから基準座標系Ｗｘｙｚへ座標変換を行った後、視点
座標系Ｅｘｙｚへの変換を行う。

【００４６】次に、Ｖｘｙｚ座標系の投影図２３０４を
算出する（Ｓ２４０２）。ここで、投影図（投影座標）
の算出方法を図２５を用いて説明する。図２５は、視点
座標系Ｅｘｙｚへ変換済みの物体上の注目点を、投影面
座標Ｖｘｙｚにおける投影座標へ変換する概略図であ
る。図２６は、その変換のフローチャートを示す。

【００４７】画像合成部１０６は、視距離ｆを投影面原
点Ｖ０と視点Ｅ０との距離として求める（Ｓ２６０
１）。図２５に示す関係から投影座標Ｖｘ１及びＶｙ１
を求める（Ｓ２６０２、Ｓ２６０３）。描画時の前後判
定をＺバッファ法に基づいて行うため、Ｖｚ１を求める
（Ｓ２６０４）。また、ビットマップデータ２３０５と
投影図２３０４との対応から、Ｚバッファ値を含む投影
図のビットマップデータ２３０６を生成する（Ｓ２４０
３）。

【００４８】最後にＺバッファ法に基づく描画される投
影図のビットマップデータ２３０７を算出する（Ｓ２４
０４）。Ｚバッファ値を含む投影図のビットマップデー
タ２３０６において、Ｖｘ１＝Ｖｘ２かつＶｙ１＝Ｖｙ
２であった場合、画素データ１または画素データ２のど
ちらかを（Ｖｘ１,Ｖｙ１）上に描画するかが問題にな
る。この場合、先に求めたＶｚ１とＶｚ２を比較し、Ｖ
ｚ１＜Ｖｚ２であればＶｚ１のほうが視点に近いため手
前に見えるべきであり、したがって画素データ１が採用
される。

【００４９】以上でレンダリング処理が終了する。な
お、図２３において、変換処理を示す矢符に付記された
ステップ番号は、図２４のフローチャートのステップ番
号に対応する。表示部１０７は、液晶ディスプレイ等か
らなり、制御部１０４の制御によって、レコード選択の
ためのリスト表示をし、画像合成部１０６で合成された
合成画像データ２００５を表示する。

【００５０】次に、本実施の形態の主題となる動作を図
２７に示すフローチャートを用いて説明する。先ず、制
御部１０４は、入力操作部１０１からユーザが入力した
前景画像３０１のファイル名と拡張子との通知を受ける
（Ｓ２７０２）。前景画像３０１のファイル名と拡張子
とをキーにして背景画像データ記憶部１０３に記憶され
ているデータベース群１２０１等を検索する（Ｓ２７０
４）。

【００５１】一致するフィールドを有するレコードがあ
るか否かを判断する（Ｓ２７０６）。該当するレコード
がなければＳ２７０２に戻り、あるときには、複数ある
か否かを判断する（Ｓ２７０８）。複数なければそのレ
コードを選択する。複数のときには、例えば表示部１０
７にそれらのレコードのリスト等を表示させ、入力操作
部１０１からユーザがレコードを１つ選択するのを待つ
（Ｓ２７１０）。なお、レコードのフィールドに記載さ
れた優先順位により制御部１０４が選択してもよい。

【００５２】これによって、前景画像を背景画像に合成
する際、利用又は置換するのに一番適当な典型要素とそ
の画像処理方法とを選ぶことができる。なお、ユーザに
よって入力操作部１０１から入力されたファイル名と拡
張子とが予めＣＧ技術の専門家によって作成されている
データベース群のレコードに含まれるフィールドと全く
一致しなければ、効果的な合成画像を得ることができな
いので、処理を終了するようにしてもよい。

【００５３】制御部１０４は、該当するレコードに格納
されている処理方法、汎用情報、実例情報と、前景画像
データとを画像加工部１０５に固有処理命令として出力
する。（Ｓ２７１２）。次に、画像加工部１０５は、固
有処理命令に従い、前景画像の画像データを背景画像の
合成に適するように加工し（Ｓ２７１４）、処理を終了
する。

【００５４】なお、本実施の形態では、前景画像３０１
を「はばたく鳥」の２次元のビットマップデータとして
典型要素の「航空旅客機」１００１の機体に張り付ける
ようにしたけれども、他の具体例として、「はばたく
鳥」の３次元ＣＧモデルの素材データを入力することも
できる。この場合には、画像フォーマットは「ｄｘｆ」
となり、レコード１が選ばれ、専門家により予めプログ
ラムされた方法ｘ０が画像処理方法となり、図２８に示
すように、典型要素「航空旅客機」１００１が備える動
きに従い、前景画像「はばたく鳥」２８０１を「航空旅
客機」１００１と置換したものとして、背景画像に合成
する映像２８０２とすることができる。

【００５５】なお、上記実施の形態では、図１に画像合
成装置の構成を示しているけれども、各構成部分の機能
を発揮するプログラムをコンピュータ読み取り可能な記
録媒体に記録しておき、このような機能を有しない画像
合成装置に記録媒体を装着してプログラムを読み取ら
せ、本発明の画像合成装置と同様の機能を発揮させるこ
とができる。

【００５６】

【発明の効果】以上説明したように、本発明は、背景画
像に重ねられ、背景画像に合成される複数の典型要素が
用意されている画像合成装置であって、背景画像の画像
データと、データベースとを記憶している背景画像記憶
手段と、データベースは、背景画像との合成時に施す画
像処理方法毎の複数のレコードから成り、各レコード
は、典型要素としての属性と、各画像処理方法と、各方
法に係る画像データとを格納するフィールドから成り、
ユーザが前記背景画像と合成を希望する前景画像の画像
データと、その属性とを入力する入力手段と、入力手段
で入力された前景画像の属性と前記データベースの典型
要素の属性とが一致するレコードを検索する検出手段
と、検索手段で検索されたレコードに記述された画像処
理方法に従い、前記前景画像の画像データを加工処理す
る画像加工手段とを備えることとしている。このような
構成によって、ユーザの入力する前景画像の属性と一致
する用意されたデータベースの典型要素に適合する画像
処理方法に従い、前景画像を加工処理方法に従い、前景
画像を加工処理することができる。この結果、ユーザが
画像合成の専門知識を有していなくても、予めＣＧ技術
の専門家が用意した典型要素を用いて、専門家が期待す
るように前景画像を背景画像に合成することができる。

【００５７】また、前記典型要素の属性には複数の異な
るキーワードと複数の画像フォーマットとが用意され、
各レコードには、キーワードと画像フォーマットとに対
応する画像処理方法と画像データとが記載されており、
前記前景画像の属性は、前景画像を象徴するキーワード
と画像フォーマットであることとしている。このような
構成によって、予め用意されているデータベース群のレ
コードのフィールドに記載された典型要素のキーワード
と画像フォーマットが入力された前景画像を象徴するキ
ーワードと画像フォーマットに一致したレコードを選択
して、そこに記載された画像処理方法に従い前景画像が
加工処理されるので、背景画像に合成される前景画像
は、ＣＧ合成の専門家の期待する典型要素の画像データ
に適合した前処理を受けることができる。

【００５８】また、前記検索手段は、一致するレコード
を検索できなったとき、前記前景画像を象徴するキーワ
ードを類語に置き換えて一致するレコードを検索するこ
とを特徴とすることとしている。このような構成によっ
て、用意されたデータベース群のレコードに入力された
前景画像を象徴するキーワードと完全に一致するものが
ない場合にも、次善のレコードに記載された画像処理方
法に従うことができる。

【００５９】また、前記典型要素の画像データは、前記
画像加工手段で加工処理された前景画像データに置換さ
れる実例情報と、そのまま用いられる汎用情報との各デ
ータとしてフィールドに記載されていることとしてい
る。このような構成によって、加工処理された前景画像
のデータを典型要素の実例情報部分の画像データと置換
して、背景画像に合成される画像を生成できる。

【００６０】また、前記画像処理方法には、前記画像加
工手段で前景画像データを処理するプログラムが含ま
れ、前記画像加工手段は、前記プログラムに従い前景画
像データを加工処理することとしている。このような構
成によって、前景画像の画像データを加工処理するプロ
グラム（データ変換プログラム）によって、容易に背景
画像に合成するための前景画像の前処理ができる。

【００６１】また、前記画像処理方法には、前景画像の
画像データを加工する第１プログラムと、典型要素を背
景画像に合成する第２プログラムとが含まれ、前記画像
加工手段は、前記第１プログラムに従い前景画像データ
を加工し、加工処理された前景画像データを第２プログ
ラムに従い実例情報のデータを置換して汎用情報のデー
タと合成した後、背景画像データに合成する合成手段を
更に備えていることとしている。このような構成によっ
て、入力された前景画像データを選ばれた典型要素の実
例情報部分の画像データに適合するよう第１プログラム
に従い加工し、第２プログラムに従い加工済の前景画像
データを典型要素の汎用情報部分の画像データと合成し
た後、背景画像に容易に合成することができ、専門家が
期待するように前景画像を背景画像に合成できる。

【００６２】また、本発明は、背景画像に重ねられ、背
景画像に合成される複数の典型要素が用意され、背景画
像の画像データと、データベースとが予め記憶領域に記
憶されており、データベースは、背景画像との合成時に
施す画像処理方法毎の複数のレコードから成り、各レコ
ードは典型要素としての属性と各画像処理方法と各方法
に係る画像データとを格納するフィールドから成り、入
力された前景画像を前記背景画像に合成する画像合成方
法であって、ユーザが前記背景画像と合成を希望する前
景画像の画像データと、その属性とを入力する入力ステ
ップと、入力ステップで入力された前景画像の属性と前
記データベースの典型要素の属性とが一致するレコード
を検索する検索ステップと、検索ステップで検索された
レコードに記述された画像処理方法に従い、前記前景画
像を加工処理する画像加工ステップとを有して実行する
こととしている。 このような構成によって、ユーザが
画像合成の専門知識を有していなくとも、予めＣＧ技術
の専門家が用意した典型要素を用いて専門家が期待する
ように前景画像を背景画像に合成することができる。

【００６３】更に、本発明は、入力された前景画像を背
景画像に合成する画像合成方法のプログラムを記録した
コンピュータ読み取り可能な記録媒体であって、背景画
像に重ねられ、背景画像に合成される複数の典型要素が
用意され、背景画像の画像データと、データベースとが
予め記憶領域に記憶されており、データベースは、背景
画像との合成時に施す画像処理方法毎の複数のレコード
から成り、各レコードは、典型要素としての属性と各画
像処理方法と各方法に係る画像データとを格納するフィ
ールドから成り、ユーザが前記背景画像と合成を希望す
る前景画像の画像データと、その属性とを入力する入力
ステップと、入力ステップで入力された前景画像の属性
と前記データベースの典型要素の属性とが一致するレコ
ードを検索する検索ステップと、検索ステップで検索さ
れたレコードに記述された画像処理方法に従い、前記前
景画像を加工処理する画像加工ステップとを有して実行
させるためのプログラムを記録したコンピュータ読み取
り可能な記録媒体としている。このようなコンピュータ
読み取り可能な記録媒体を、前景画像の画像データを適
合する画像処理方法に従い画像加工する前処理をする機
能のない画像合成装置に適用して、専門家が期待する前
景画像と背景画像との合成ができる装置とすることがで
きる。

【図面の簡単な説明】

【図１】本発明に係る画像合成装置の一実施の形態の構
成図である。

【図２】上記実施の形態のハード構成を説明する図であ
る。

【図３】上記実施の形態のユーザに入力される前景画像
を示す図である。

【図４】上記実施の形態の前景画像の特徴データの一例
を示す図である。

【図５】上記実施の形態の前景画像の画像データの説明
図である。

【図６】上記実施の形態の画像データのビットマップの
配置方法の説明図である。

【図７】上記実施の形態の前景画像データ記憶部に記憶
されている前景画像の配列表の説明図である。

【図８】上記実施の形態の背景画像の一例を示す図であ
る。

【図９】上記実施の形態の背景画像の特徴データの一例
を示す図である。

【図１０】上記実施の形態の典型要素の一例を示す図で
ある。

【図１１】上記実施の形態の典型要素の特徴データの一
例を示す図である。

【図１２】上記実施の形態の背景画像データ記憶部に記
憶されているデータベースの一例を説明する図である。

【図１３】上記実施の形態の背景画像データ記憶部に記
憶されているデータベースの一例を説明する図である。

【図１４】上記実施の形態の典型要素「航空旅客機」の
実例情報のビットマップデータを示す図である。

【図１５】図１４に示した実例情報の並び方を示す図で
ある。

【図１６】上記実施の形態の画像加工部での前景画像の
画像データの加工の流れを示すフローチャートである。

【図１７】上記実施の形態の画像加工部で典型要素の画
像データに前景画像の画像データを合致させた様子を示
す図である。

【図１８】上記実施の形態の典型要素の３次元ＣＧモデ
ルの素材データのデータ構造の一例を示す図である。

【図１９】典型要素の素材データと背景画像の画像デー
タとの合成を説明するための図である。

【図２０】上記実施の形態の画像加工部で加工された前
景画像データを背景画像の画像データに典型要素の素材
データを用いて合成する様子を説明するための図であ
る。

【図２１】上記実施の形態の画像加工部と画像合成部と
で典型要素に加工した前景画像を合成するのを模式的に
示した図である。

【図２２】上記実施の形態の画像合成部で用いられる座
標系の説明図である。

【図２３】上記実施の形態の画像合成部での画像データ
の変化を示す図である。

【図２４】上記実施の形態のレンダリング処理のフロー
チャートである。

【図２５】上記実施の形態の画像合成部での投影座標へ
の変換の説明図である。

【図２６】上記実施の形態の画像合成部でのＺバッファ
法で用いるＶｚ１を求めるフローチャートである。

【図２７】上記実施の形態の主要な動作を説明するフロ
ーチャートである。

【図２８】実施の形態の他の具体例の前景画像の画像フ
ォーマットが３次元ＣＧモデルの素材データである場合
の合成例を示す図である。

【符号の説明】

１０１ 入力操作部 １０２ 前景画像データ記憶部 １０３ 背景画像データ記憶部 １０４ 制御部 １０５ 画像加工部 １０６ 画像合成部 １０７ 表示部 ２０１ 入出力手段 ２０２ 記録再生手段 ２０３ 数値演算プロセッサ

Claims (8)

【特許請求の範囲】
1. 【請求項１】 背景画像に重ねられ、背景画像に合成さ
   れる複数の典型要素が用意されている画像合成装置であ
   って、 背景画像の画像データと、データベースとを記憶してい
   る背景画像記憶手段と、 データベースは、背景画像との合成時に施す画像処理方
   法毎の複数のレコードから成り、 各レコードは典型要素としての属性と、各画像処理方法
   と、各方法に係る画像データとを格納するフィールドか
   ら成り、 ユーザが前記背景画像と合成を希望する前景画像の画像
   データと、その属性とを入力する入力手段と、 入力手段で入力された前景画像の属性と前記データベー
   スの典型要素の属性とが一致するレコードを検索する検
   出手段と、 検索手段で検索されたレコードに記述された画像処理方
   法に従い、前記前景画像の画像データを加工処理する画
   像加工手段とを備えることを特徴とする画像合成装置。
2. 【請求項２】 前記典型要素の属性には複数の異なるキ
   ーワードと複数の画像フォーマットとが用意され、各レ
   コードには、キーワードと画像フォーマットとに対応す
   る画像処理方法と画像データとが記載されており、 前記前景画像の属性は、前景画像を象徴するキーワード
   と画像フォーマットであることを特徴とする請求項１記
   載の画像合成装置。
3. 【請求項３】 前記検索手段は、一致するレコードを検
   索できなったとき、前記前景画像を象徴するキーワード
   を類語に置き換えて一致するレコードを検索することを
   特徴とする請求項２記載の画像合成装置。
4. 【請求項４】 前記典型要素の画像データは、前記画像
   加工手段で加工処理された前景画像データに置換される
   実例情報と、そのまま用いられる汎用情報との各データ
   としてフィールドに記載されていることを特徴とする請
   求項１記載の画像合成装置。
5. 【請求項５】 前記画像処理方法には、前記画像加工手
   段で前景画像データを処理するプログラムが含まれ、 前記画像加工手段は、前記プログラムに従い前景画像デ
   ータを加工処理することを特徴とする請求項１記載の画
   像合成装置。
6. 【請求項６】 前記画像処理方法には、前景画像の画像
   データを加工する第１プログラムと、典型要素を背景画
   像に合成する第２プログラムとが含まれ、 前記画像加工手段は、前記第１プログラムに従い前景画
   像データを加工し、 加工処理された前景画像データを第２プログラムに従い
   実例情報のデータを置換して汎用情報のデータと合成し
   た後、背景画像データに合成する合成手段を更に備えて
   いることを特徴とする請求項４記載の画像合成装置。
7. 【請求項７】 背景画像に重ねられ、背景画像に合成さ
   れる複数の典型要素が用意され、背景画像の画像データ
   と、データベースとが予め記憶領域に記憶されており、
   データベースは、背景画像との合成時に施す画像処理方
   法毎の複数のレコードから成り、各レコードは典型要素
   としての属性と各画像処理方法と各方法に係る画像デー
   タとを格納するフィールドから成り、入力された前景画
   像を前記背景画像に合成する画像合成方法であって、 ユーザが前記背景画像と合成を希望する前景画像の画像
   データと、その属性とを入力する入力ステップと、 入力ステップで入力された前景画像の属性と前記データ
   ベースの典型要素の属性とが一致するレコードを検索す
   る検索ステップと、 検索ステップで検索されたレコードに記述された画像処
   理方法に従い、前記前景画像を加工処理する画像加工ス
   テップとを有して実行することを特徴とする画像合成方
   法。
8. 【請求項８】 入力された前景画像を背景画像に合成す
   る画像合成方法のプログラムを記録したコンピュータ読
   み取り可能な記録媒体であって、 背景画像に重ねられ、背景画像に合成される複数の典型
   要素が用意され、背景画像の画像データと、データベー
   スとが予め記憶領域に記憶されており、 データベース
   は、背景画像との合成時に施す画像処理方法毎の複数の
   レコードから成り、各レコードは典型要素としての属性
   と各画像処理方法と各方法に係る画像データとを格納す
   るフィールドから成り、 ユーザが前記背景画像と合成を希望する前景画像の画像
   データと、その属性とを入力する入力ステップと、 入力ステップで入力された前景画像の属性と前記データ
   ベースの典型要素の属性とが一致するレコードを検索す
   る検索ステップと、 検索ステップで検索されたレコードに記述された画像処
   理方法に従い、前記前景画像を加工処理する画像加工ス
   テップとを有して実行させるためのプログラムを記録し
   たコンピュータ読み取り可能な記録媒体。