JP2004166221A - 映像イメージの一部を背景に挿入するためのイメージ編集システム - Google Patents

映像イメージの一部を背景に挿入するためのイメージ編集システム Download PDF

Info

Publication number
JP2004166221A
JP2004166221A JP2003199753A JP2003199753A JP2004166221A JP 2004166221 A JP2004166221 A JP 2004166221A JP 2003199753 A JP2003199753 A JP 2003199753A JP 2003199753 A JP2003199753 A JP 2003199753A JP 2004166221 A JP2004166221 A JP 2004166221A
Authority
JP
Japan
Prior art keywords
image
background
computer
hue
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003199753A
Other languages
English (en)
Other versions
JP3936680B2 (ja
Inventor
Arthur M Blank
ブランク,アーサー・エム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Atlus Co Ltd
Original Assignee
Atlus Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US07/919,584 external-priority patent/US5577179A/en
Application filed by Atlus Co Ltd filed Critical Atlus Co Ltd
Publication of JP2004166221A publication Critical patent/JP2004166221A/ja
Application granted granted Critical
Publication of JP3936680B2 publication Critical patent/JP3936680B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/622Retouching, i.e. modification of isolated colours only or in isolated picture areas only with simulation on a subsidiary picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】三次元におけるデジタルイメージを編集するための手法であって、Z軸方向にならぶ複数のイメージを組合せた合成イメージが自然な外観を供することができるシステムを提供する。
【解決手段】コンピュータは予め選択された何種類かの背景シーンを表示する。ユーザはある場面の人々のグループからどの人物を自分の写真と置換えたいかを選ぶこともできる。ユーザ112は、ビデオスクリーン110上の適当な背景を触ることにより、希望する背景シーンを選択するように促される。ユーザと置換えられるように選択された元のコンピュータに貯蔵されたシーンの中の人物は、頭や首が無い状態のままでプリンタ118のフレーム貯蔵部に送られる。コンピュータは、対象物の縁を決定し、縁の外側にあるイメージ部分を取り除く。そして対象物は複合イメージを形成するように他の一つまたは複数の背景または前景イメージの予め選択された一つと組み合わせられる。
【選択図】図1

Description

【0001】
【発明の属する技術的分野】
本発明はイメージ処理に関し、特にデジタルイメージを編集するためのシステムに関する。
【0002】
【関連技術】
たとえば、テレビジョン放送の天気予報における、背景の天気図とその前にいる天気予報者のように、1の映像イメージともう1つの映像イメージを結合して、合成された映像イメージを作ることが必要となる場合が多い。このような合成映像イメージを作る技術の1つとしてよく知られているものに、「クロマキー」と一般に称されるものがある。このクロマキー技術は、クロマすなわちテレビジョン信号のカラー信号部分を合成イメージの情報をコントロールするキーとして用いるために、そのように名付けられている。クロマキー装置は基本的に、2つの映像信号のうちの1つから、クロマ信号を決定ロジックに供給して、1つの入力信号を選択するための、映像マルチプレクサである。
【0003】
上記の天気予報の応用例では、テレビジョンカメラは、マット(つや消し)と呼ばれる、所定のブルー色相あるいは色合いを有する垂直のシートの前にいる、天気予報者に向けられる。色相は色の単位であり、赤から黄色、グリーン、ブルーを経て赤に戻る範囲を、知覚尺度で表したものである。天気予報者とマット前景ソースのイメージがクロマキー装置に供給される。クロマキー装置は所定のブルー色相を有する部分のイメージを除いて、カメラから受取ったすべての映像信号を選択するようにプログラムされている。したがって、クロマキー装置は、予報者のイメージをマットのイメージから効果的に除去することができる。
【0004】
前述の動作が行なわれると同時に、天気図のイメージあるいは衛星から見た地球の映像イメージが、背景ソースとして、クロマキー装置に与えられる。この天気図あるいは衛星からみた地球のイメージには、市の名前や高温低温等の映像がスーパインポーズされる。クロマキー装置の決定ロジックは、前景ソースにブルーの色相が検出されると、背景ソースを映像出力として選択し、結果として前景と背景が合成された画像を構成し、予報者がこれを見られるようにスタジオモニタに映しだす。予報者は背景ソースの地理的に対応するマット上の位置を示し、テレビの番組を見る者は、天気図と予報者の合成された映像を見ることとなる。そのような合成イメージが、クロマキー装置の目的とする出力である。
【0005】
しかしながら、ベルマレス−サラビア(Belmares-Sarabia)等による米国特許番号第4,811,084号に示されるように、クロマキーシステムの大きな欠点は、キー誤まりが生じることである。たとえば、天気予報者がブルーやストライプのスーツを着ている場合、さらにブルーの目をしている等の場合には、クロマキーシステムでは、不正確に分割された合成イメージを生じることがある。さらにクロマキー装置を、マットと予報者の間の距離が大き過ぎ反射が生じる状態で用いると、キー誤りを生じてしまうため、予報者の移動を制限する必要がある。
【0006】
このクロマキー固有の問題を解決するために、ベルマレス−サラビア等による特許では、キー動作が単一色によらない映像色相の検出装置について検討している。たとえば、そのような装置では、その装置で認識できる、色相の帯域幅や飽和結合により限定することにより、類似した色相間を区別している。
【0007】
ベルマレス−サラビア等により開示された装置では、テレビジョン信号をマルチプレクスするために、アナログ信号を用いている。しかし、アナログ処理は、デジタル処理ほど、イメージ合成に融通性が無い。デジタル処理では、イメージを変更したり編集する為に、洗練されたイメージ処理アルゴリズムを、デジタル化したイメージに与えるように、プログラムすることができる。したがって、上記のような問題や制限を被ることなく、対象物のデジタルイメージを背景から切出し、そのデジタル対象物を異なるデジタル背景や複数の背景(合成)と結合できるような、デジタルイメージシステムを提供することは、技術の進歩に寄与することである。
【0008】
合成イメージを作成する他の方法として、アップルコンピュータ社(Apple Computer, Inc.)から入手できるマッキントッシュ(Macintosh(登録商標))コンピュータや、アイビーエム(IBM)その他の会社から入手できるピーシー(PC)互換コンピュータにより、イメージ編集ソフトウェアを走らせる方法がある。これらのプログラムの例としては、マイクログラフィックス社(Micrografx, Inc.)により作られたPC用の「ピクチャパブリッシャ(Picture Publisher(登録商標))」や、マッキントッシュ用に作られたアドウブシステムズ社(Adobe Systems Incorporated)の「アドウブフォトショップ(Adobe Photoshop(TM))」がある。「ピクチャパブリッシャ」は、マイクログラフィックス社の登録商標であり、「アドウブフォトショップ」はアドウブシステムズ社の商標である。また「マッキントッシュ」はアップルコンピュータ社の登録商標である。
【0009】
これらのプログラムにより、使用者は背景シーンの前に、対象イメージを当てはめたり、その対象イメージを切出したり移動したりすることができる。しかし、これらのプログラムは1つの対象物にしか機能できない。これらのプログラムは、対象物と背景の多層セットを形成することはできず、使用者が対象イメージを合成イメージの異なる深さの階層に移動することはできない。換言すれば、人のイメージを背景シーンの家の前には置けても、同時にフェンスの後ろに置くことできない。したがって、対象物を他の対象物あるいは背景シーンの前あるいは後ろに、合成イメージの所望の深さ階層に位置させることができるシステムを提供することは、技術の進歩に寄与することである。また、特定の階層に移動した対象物を、その対象物の所望の属性に基づいて、透明にすることが望ましいことがある。たとえば、対象物の1の属性として色相、すなわち知覚された色合いがある。木の葉は、グリーンの色相を有するが、これを不透明から透明に設定することができる。したがって、そうする以前は木の葉に遮られていた空が、次には木の枝の間から見ることができる。
【0010】
人の顔を含む合成イメージを形成する場合、元の人の顔を他の人の顔と置換えたいという要請が生じる。多くの場合、2つの顔は同一サイズではなく、たとえば、1つの顔はクローズアップであり、他はそうでない。したがって、合成イメージを作成する者は、置換える顔のサイズを縮小または拡大しなければならない。この作業は、満足する外観を得るまでに、多数の試行錯誤を要する。したがって、試行錯誤をすることなく、置換える顔のサイズを自動的に決めて、自然な外観を得ることができるシムテムを提供することが望まれている。
【0011】
1つの顔を他の顔と置換える場合に検討すべき他の態様は、皮膚の色付けである。合成イメージを作成する使用者が、色黒の顔を色白の顔に置換えたとする。そのとき、残りの身体部分、たとえば手や腕、脚等が元のイメージで見えることになる。したがって合成イメージは、その置換えを行なった後は、不自然に見える。よって、手作業を何ら介在することなく、置換えた顔の肌のトーンが、元の顔のそれに自動的にマッチして、合成イメージが自然な外観を供することができるシステムが望まれている。
【0012】
合成イメージの構成において、1つの顔を他の顔と置換える場合に、検討すべき更に他の態様は、置換える顔の位置合せである。この位置合せには、自然で満足のいく外観を得るために、異なる配置を試行するための、反復プロセスが必要になる。よって、合成イメージが満足できる外観を有するように、置換えるべき顔を、自動的に最適な場所に、位置合せすることのできるシステムが望まれている。
【0013】
対象物のイメージを1の照明条件のもとで形成し、それを別の照明条件でイメージ形成された背景上に重ねる場合がときどきある。その結果、合成イメージは不自然に見える。よって、編集システムが、合成イメージの全体にわたり、同一の照明条件、すなわち「ガンマ」を確立することができれば、より有益である。たとえば、蛍光灯の光の下で形成された対象物のイメージを、日中の光のもとで形成された背景に挿入し、かつ同一の照明条件を維持したい場合がある。合成イメージにおける照明条件は第3の条件、たとえば月の光としたい場合もある。
【0014】
したがって、対象物のデジタルイメージを、その対象物のイメージが形成された背景から分離することができる、デジタルイメージ編集システムを提供するニーズが存在している。この発明のさらなる目的は、置換え対象物あるいは複数の対象物のデジタルイメージを、自動的にサイズ合せ、位置合せ、階層合せをして、所定の背景に所望の深さで入れることができ、さらに置換え対象物の照明条件を1または2以上の対象物および背景に合致させることができる、デジタルイメージ編集システムを提供することにあり、また実行が容易でかつ費用効果のよいデジタルイメージ編集システムを提供することにある。
【0015】
【発明の概要】
本発明は上述したニーズを満足するものであり、デジタルイメージを選択的に結合するシステムおよび方法を含む。本シムテムは、イメージを表す信号を発生するビデオカメラ等の装置が接続されるコンピュータを有する。対象物、たとえば人物がビデオカメラの前に配置され、ビデオカメラは対象物とその対象物の後ろにある背景とを表す信号を発生する。
【0016】
したがって、カメラからの信号は、対象物のイメージを表す対象物要素と、背景のイメージを表す背景要素とを有している。対象物は縁を有しており、コンピュータはこの縁を検出して、対象物の縁の外側にあるイメージ(すなわち背景要素)を、その縁の内側にあるイメージ(すなわち対象物要素)から分離する。
【0017】
1の実施例においては、背景は単一の連続な色相を有しており、対象物と背景の間の色相の相違に基づいて、コンピュータは対象物の縁の位置を決定する。この決定に基づいて、コンピュータは信号から背景要素を取除く。
【0018】
より具体的には、ビデオカメラは、デジタル化の工程により、列(row)に配置された複数のピクセルにより構成されるデジタル信号を作成する。各ピクセルは色相ガンマを有し、各色相ガンマはその色相の明暗を表す数値を有する。コンピュータはまず、映像ウィンドウの最上列の端に位置する(すなわち映像イメージの周辺に位置する)最初のピクセルの色相ガンマの数値を確認して、対象物の縁の位置を決定する。コンピュータはその列の近接した2番目のピクセルの色相ガンマの数値を決定し、その差異を予め決められた差異と比較する。
【0019】
第1のピクセルの色相ガンマと第2のピクセルの色相ガンマとの差異が、所定の差異より小の場合、コンピュータは第2のピクセルの色相ガンマと、第1第2ピクセルと同列で、かつ第2にピクセルに近接する第3のピクセルの色相ガンマとを比較する。同様な比較が繰返される。2つのピクセル間の差異が、所定の値を越えるときは、対象物の縁の一部が存在することを示す。コンピュータは次に、最上列のすぐ下の列について、上述したプロセスを繰返す。希望であれば、コンピュータは上述したようなプロセスを、底部列のピクセルから上方に進める、等のように、異なる方向に動作することもできる。
【0020】
コンピュータはこのプロセス、すなわち映像ウィンドウの境界から内側にピクセル対ピクセルの比較をするプロセスを、対象物のすべての縁が描かれるまで継続する。この対象物の縁が描かれた後は、コンピュータは、背景ピクセルを所定の透明値に設定することにより、対象物要素から、背景要素を「ストリップ」(すなわち除去)する準備が整う。
【0021】
もう1つの実施例では、背景は複数の四角形の箱が記載された、白の基板とされる。各箱は複数のドットを有しており、プロセッサはその背景のマップをメモリに記録している。対象物が背景の前に配置されると、その対象物により、幾つかの箱の頂点やその箱中の幾つかのドットが遮蔽される。この結果、プロセッサは背景の記憶されたマップとデジタル映像信号を比較して、四角形の箱の頂点やドットが遮蔽された対象物の位置を決定することができる。対象物の位置がこのように決定されると、プロセッサは対象物のイメージから、背景のイメージを除去する。
【0022】
対象物のイメージから、背景のイメージを除去した後は、コンピュータはもし希望であれば、もとの対象物がイメージされた背景と異なる、予め選定された背景イメージにその対象物イメージを統合する。より具体的には、コンピュータはそのメモリに、1または2以上の予め選定された背景イメージを記憶することができる。コンピュータはこの記憶された背景の複数の階層を表す複数の信号や、そのシステムのオペレータや使用者により印加された付加的なテキストと、映像信号の対象物要素とを結合して、ビデオ表示器上に合成イメージを表す。よって、もし希望であれば、もとの対象物がイメージされた背景と異なる、予め選定された背景イメージにその対象物イメージを統合することができ、使用者のテキストを加え、合成イメージを表示することができる。このイメージの結合は使用者がリアルタイムで行なうことができ、使用者はビデオ表示器を見て、編集システムに接続された、マウス、キーボードやジョイスティックあるいは他の入力装置により、予め選定された背景上に、対象物の位置や方向を合せることができる。
【0023】
換言すれば、コンピュータは、デジタル映像信号から、対象物のイメージを、その対象物の後ろに位置された背景イメージから、除去することにより、基本的にイメージ結合器として機能する。次にプロセッサは、対象物のイメージと予め選定されたイメージとを結合し、また使用者によりリアルタイムで形成された信号に応答した、イメージ結合を行なう。具体的には、プロセッサのメモリには、3次元光景を表す、2次元デジタルイメージが蓄積されている。プロセッサは次に、対象物を選択された背景に混合して、その対象物が3次元光景に統合されたように表示されるようにする。
【0024】
好ましくは、予め選定されたイメージに対象物を混合するために、プロセッサは対象物の縁の色相と、予め選定された背景でその縁に隣接する部分の色相とを平均化する。プロセッサはその後、その対象物の色相を、平均化された色相と同一に調整する。
【0025】
さらに、本発明のプロセッサは、対象物および予め選択された記憶背景のうち一方またはその両方についてガンマを調整し、統合されたイメージにおける対象物が、その予め選択された背景の照明条件と同一条件でイメージされたように表現することができる。たとえば、プロセッサは予め選定された背景のガンマを確認し、対象物のイメージを構成するピクセルの色相の数値を調整して、その対象物がその背景の照明条件の下でイメージされたように現れるようにする。
【0026】
本発明によるシステムは、対象物の画像を作成するための映像プリンタを、プロセッサに電気的に接続することができる。さらに本システムは、プロセッサと協同して貨幣を受け取るための貨幣アクセプタを有することができ、このアクセプタに貨幣が挿入されたとき、それに応答して本システムを起動させるようにできる。よって、本システムは、1つの応用例として、一般の人が使用できるように公共の場所に設けられた、電気的イメージブースとすることができる。
【0027】
上述したシステムに加えて、ビデオ編集のための方法、すなわち対象物、たとえば人物のイメージを、所定の3次元空間を表す2次元表示に統合する方法が開示される。本発明の方法によれば、第1の色相を有する対象物と第2の色相を有する背景とを含む、第1のデジタルイメージが、その対象物と背景間の色相の相違により規定された縁を有している。この縁が検出され、この縁の外側のイメージ(すなわち背景)が、そのイメージから除去される。対象物は次に予め選定された背景上に重ねられ、対象物と所定の背景との統合イメージが形成される。
【0028】
本発明のシステムは、対象物イメージが合成イメージに自然に統合できるように、自動的に対象物イメージの寸法合せを行なう。コンピュータは、背景上のもとの対象物のサイズと、置換える対象物のサイズを比較し、必要であれば、置換える対象物のサイズを調整する。
【0029】
本発明のシステムは、対象物イメージが合成イメージに自然に統合できるように、自動的に対象物イメージの位置合せを行なう。コンピュータは、背景上のもとの対象物の所定のアドレスを用いて、そのアドレスを置換える対象物の所定位置に移送する。
【0030】
本発明のこれらの目的や特徴は、添付した図面(同様なパーツは同様な番号を付してある)と合せ、以下の記載や付帯した請求範囲からより十分に明確になるであろう。
【0031】
【発明の実施の形態】
まず、図1によると、本発明のデジタルイメージ編集システムにおける実施例は、一般的に100に示される。イメージシステム10は、ある物体をデジタルイメージの背景から分離でき、複合イメージを形成するために異なる背景と組合せることが望ましい、事実上いかなる応用範囲にも用いられるものと理解される。そのような応用例の一つが図1に表されており、システム100は、自動電子イメージシステム104内に、ブラケット102により搭載されている。装置104は、日立製作所(Hitachi Corp.)製のVKC−360のような、電気的にシステム100に接続されているビデオカメラ106を含んでいる。
【0032】
図1において、コダック社(Kodak)製1310RGB/CGAのタッチスクリーンディスプレイのような、ビデオモニタまたは表示器110が装置104に搭載されている。モニタ110は、人物112のイメージのようなビデオのイメージを表示するためにシステム100に電気的に接続されている。図示されているように、図1でシステムを使用している人物112(ユーザ)はモノクロ背景114の前に座っている。モノクロ背景114は、カラーでも良い。
【0033】
図1に示されているように、また装置104は、ロウ(Rowe)社製のOB−A4器のような料金受取器116を含む。本実施例では、料金受取器116は現金を支払いとして受領するために使用している。が、他の実施例では、クレジットカードやトークンなど他の支払い形態も受け取ることができる。さらに、装置104は、カードストック120の空白の用紙が積まれているプリンタ118を含む。料金受取器116に正しい金額が入金されると、または他の始動に基づいて、人物112のイメージはシート120にプリントされ、プリンタ出口122に吐き出される。本実施例においては、プリンタ118はコダック社のSV6510カラープリンタである。
【0034】
さて、図2によると、システム100は様々な電子機器を含んでいることが判る。図2に示されているように、システム100は、デジタルコンピュータ130を含んでいる。これは、できれば33MHzで作動する80386マイクロプロセッサーと8メガバイト(Mb)のメモリを有するアイビーエム社のPC互換コンピュータであることが望ましい。図示のように、コンピュータ130は、インプット信号を受信するためにビデオカメラ106とペイメントアダプタ116に電気的に接続されている。また、コンピュータ130は、相応しいグラフィックス・ビデオインタフェースカード132、好ましくは、2Mbのビデオメモリを有するトゥルービジョン(Truevision)社のターガ(Targa(登録商標))+16−32、に電気的に接続されている。ターガはトゥルービジョン社の登録商標である。グラフィックス・ビデオインタフェースカード132上のビデオメモリは、人物112(図1)や背景、またはユーザ用指示スクリーン情報などの部分のデジタル表現をいろいろなときに記憶する。また、グラフィックス・ビデオインタフェースカード132は、タッチスクリーンビデオモニタ110に電気的に接続されている。システム100のユーザは、システムによって与えられたプロンプトに対し、触るか、また触ったあとビデオモニタスクリーン上の場所を移動(ドラッグ)することによって返答することができる。ビデオモニタ110からコンピュータ130へのRS232(シリアルフォーマット)デジタル接続は、ユーザインプットをシステム100へ移動させることを可能にする。
【0035】
コンピュータ130は、セントロニクス(Centronics)互換性インタフェースを介してプリンタ118に接続する。プリンタ118はさらにアナログ・インタフェースによりビデオモニタ110に接続する。図2は、もし望むなら、ハードディスクドライブのような電子記憶装置134をコンピュータ130に接続できることを表している。本実施例では、ハードディスク134は120Mbの容量を有する。
【0036】
ここで、図1、3a、3bおよび3cについて、一つの好ましい実施例のイメージシステム100に関する動作を述べる。図3a、b、cは、システム100の主またはトップレベルのコントロールフローを表している。図1に示される特定の実施例について、図3aのスタートステップ202で実行開始され、一連の背景シーンがビデオモニタ110(図1)に表示され、システム100のユーザの注意を引く(「アトラクト」モード)ステップ204に進む。コンピュータ130は定期的に判断ステップ206に進み、誰かモニタスクリーン110(図1)の決められた正しい場所を触ったか、またはペイメントアダプタ116(図1)に料金を支払ったかどうかをチェックする。もし、ステップ206でユーザインプットが無ければ、コンピュータ130はステップ204に回帰し「アトラクト」モードを繰返す。
【0037】
ステップ206でユーザインプットがあると、判断ステップ208はユーザがペイメントアダプタ116に料金を入れたかどうかをチェックし、その場合、コンピュータ130は判断ステップ210に進む。判断ステップ210では、その料金が適当な額であるか、また本物であるかをテストする。この実施例では、システム100は5ドル札しか受領しない。しかし、コンピュータ130の構成ファイル(図示されていない)を使用することにより、技術者は支払いの種類をたとえば1ドル札5枚などに変更できる。ステップ210において、何かの理由で支払いが拒絶された場合、コンピュータは再びステップ204に回帰する。
【0038】
ステップ212では、コンピュータ130のサウンドボードからの音声ファイルと音声駆動が作動し、ユーザに5ドル札を挿入するように指示する。サウンドボードには、クリエイティブラブズ社(Creative Labs, Inc.)のサウンドブラスター(Sound Blaster(登録商標))や、メディアビジョン社(Media Vision,Incorporated)のサンダーボード(Thunder Board(TM))などがある。サウンドブラスターは、クリエイティブラブズ社の登録商標である。サンダーボードは、メディアビジョン社の商標である。支払い方法の指示を有するビデオクリップは、記憶ディスク134(図2)に記憶されており、モニタスクリーン110上に15秒間表示される。その15秒間に支払いされたかどうかを判断するためにステップ214でチェックが行なわれる。もし支払われていない場合、コンピュータは再びステップ204に回帰する。ステップ214で料金が支払われていれば、ステップ210で正しい料金額かどうかをテストする。正しい料金額である場合、コンピュータはステップ216に進み、そこでコンピュータ130に対するRS232承認が送られる。主コントロールフローは、コネクタA218を通して図3aを離れ、図3bのステップ220へ続く。
【0039】
ステップ220では、デジタルマスク140(図4a)を有するライブのビデオがビデオ表示器110に映し出される。コンピュータ130からの音声ファイルがユーザ指示を作動させる。図4aは、ビデオ表示器110上でユーザ112に何が見えるかを表したものである。ボックス142は、デジタルマスク140の輪郭を描き、ユーザ112の頭があるべき特定の範囲を定義する。頭がボックス142の範囲内に無い場合、音声でユーザ112に深く座るべきだとか、与えられている椅子(図示されていない)を高くしたり或いは低くしたりするべきとの指示を与える。ユーザ112の頭がボックス142の範囲内にきちんと入れば、さらに頭のサイズを縮める必要は無い。デジタルマスク140は、技術者により形成されるモノクロ色相である。
【0040】
ステップ220からステップ222(図3b)に移動すると、コンピュータ130はビデオカメラ106(図2)を作動させる。そして、たとえば人物またはユーザ112などの対象物と、たとえば継続的な色相背景114などの対象物がイメージされた背景(図4a)とを表わすビデオ信号を捉える。コンピュータ130は判断ステップ224に進み、これが最初に捉えられた映像またはイメージであるかを判断する。もしそうであれば、コンピュータ130は、ユーザ112の2番目のポーズを取るためにステップ220とステップ222に回帰する。ステップ224が2つのイメージが捉えられたと判断すると、コンピュータ130は、両方のビデオイメージがデジタル化されるステップ226に進む。勿論、本システムは、ただ1つや3つ以上のイメージを受信し処理することができるように修正可能である。
【0041】
図4aに示されるように、カメラビューの一部分142だけがコンピュータ130により処理されるためにデジタル化される。通常、カメラ106からの信号はアナログ信号で、それらは、トゥルービジョン社のターガ+カード132上のビデオフレームグラバによりピクセルや(図4bに示される)イメージ144の二次元マトリクスにデジタル化される。本実施例において、ピクセル144のマトリクスはデジタルビデオ方形標準である512×486であるが、640×480かそれ以上の他のマトリクスサイズを用いてもよい。
【0042】
両方のイメージがデジタル化された後、コンピュータはステップ228に移動する。そこでは、両方のイメージがビデオ表示器110(図1)に表示され、音声ファイルがユーザ112に、2つのうち1つを残りのプロセス用に選び、ステップ230でモニタスクリーン110上のそのイメージに触れるように指示する。選択されたイメージ144は、グラフィックインターフェースカード132(図2)のビデオメモリに記憶される。ユーザ112がステップ230で必要な選択をした後、コンピュータ130はステップ232に進む。ステップ232では、異なる背景シーンがビデオ表示器110に表示される。たとえば、背景シーンは、スポーツチームのメンバーが個々にまたグループでスポーツ用具を着けて色々なポーズをしている。本実施例では、コンピュータ130は予め選択された何種類かの背景シーンを表示するが、他の実施例においては、ユーザは別のスポーツチームなどを選ぶこともできる。また他の実施例では、ユーザが、ある場面の人々のグループからどの人物を自分の写真と置換えたいかを選ぶこともできる。この選択は、人物を指さしたり、名前やその人物の役職などを指定したり、または場所の置換えを選択することによって行なわれる。ユーザ112は、ステップ232において、ビデオスクリーン110(図1)上の適当な背景を触ることにより、希望する背景シーンを選択するように促される。
【0043】
ユーザがどちらの背景シーンを選択するか決定している間、ステップ230においてユーザにより選択されたイメージの部分をストリップさせるため、コンピュータは機能234を実行させる。機能234については後に詳述する。ユーザ112が、ステップ236でモニタスクリーン110(図1)上の適当な背景を選択するために触ると、コンピュータ130に選択されたことを告げる割り込みが入る。その間に、機能234が実行からリターンすると、コンピュータ130はステップ238に進み、そこでは、ストリップされた背景ピクセルに沿ったユーザの頭や首のイメージなどの機能234の結果がグラフィックインタフェースカード132(図2)のビデオメモリに書込まれる。ステップ236から背景シーンの選択を示唆する割り込みがコンピュータ130により受信された場合、コントロールフロー200はステップ240に進む。
【0044】
ステップ240では、パーソナルコンピュータキーボードとユーザ112への指示に沿ったテキストエントリースクリーンがビデオモニタ110に表示される。コンピュータ130からの音声ファイルが作動し、ユーザに口頭での指示を与える。ユーザは、最終的な複合イメージを個人化するために、ユーザの名前や他の名称などのテキストを入れるように促される。ユーザ112が入れるテキストを考えている間、コンピュータ130はステップ242に進み、ユーザによりステップ236で選択された背景シーンをプリンタ118のメモリのフレーム貯蔵部に送る。図4eに示されているように、本実施例では、プリンタ118に送られた背景シーンでは、元のコンピュータに貯蔵されたシーンからは予め選択された人物145の頭や首が消えているであろう。他の実施例では、(複数の人物の中から)ユーザと置換えられるように選択された元のコンピュータに貯蔵されたシーンの中の人物は、頭や首が無い状態のままでプリンタのフレーム貯蔵部に送られる。背景がステップ242でプリンタのフレーム貯蔵部に書き込まれている間、ユーザはステップ244で、希望するテキストを作成する文字を選択するためにタッチスクリーンモニタ110の選定箇所を押すことができる。タッチスクリーンモニタ110にはテキスト終了を表示する場所が与えられており、それによりコンピュータは判断ステップ246に進む。ステップ246では、有効なテキストが記入されたかどうかチェックする。記入されていない場合、コンピュータ130はステップ242に回帰し、テキストを訂正するためのタッチスクリーンモニタ110上の選定箇所が与えられる。
【0045】
ステップ246で有効な記入と判断されると、コンピュータ130はステップ248に進み、ステップ230でユーザ112により選択された顔のイメージ(図4b)が、ユーザの写真が撮られた時のもともとのモノクロ背景と共に、ビデオモニタ110に表示される。ステップ248の終了後、主コントロールフロー200はコネクタB250を通して図3bを離れ、図3cのステップ252に続く。
【0046】
ステップ252で、コンピュータ130は、ビデオ表示器110上に平行な基準線を描き、ユーザ112に対して、基準線を両目の瞳孔を通るように触ってドラッグする(触りながら移動する)ように促す。ステップ254で、ユーザ112は、平行線を瞳孔上に位置付け、このステップの終了の合図を送るためタッチスクリーンモニタ110上のボタン箇所を押す。ステップ254からステップ256に移って、コンピュータ130は基準クロスをビデオ表示器110上に描き、ユーザ112に対して、基準クロスに触ってそれを顎の下かつ首の中心までドラッグするように促す。ステップ258で、ユーザ112は、首の中央かつ顎の底部に基準クロスを位置付け、そしてこのステップ258の終了を知らせるためタッチスクリーンモニタ110上のボタン箇所を押す。モニタ110は図4bと類似した表示器を有するが、モノクロ背景114を含む。
【0047】
図3cのステップ258の終了により、コンピュータは機能260を呼出し、(ステップ236から)事前に選択された人物145と置換えられるように、ステップ252から258により決定された如くユーザの顔のサイズの調和を取る。機能260については、残りの主コントロールフローの説明が終了した後で説明する。機能260がリターンした後、コンピュータはさまざまなガンマ値を変更するために機能262を呼出す。
【0048】
全体のガンマは多数の属性を有する。たとえば、色相(H)、彩度(サチュレーション)(S)、明るさ(L)、強度(I)、コントラスト(C)、レッド(R)、グリーン(G)、ブルー(B)、そして、HSL、HSI、HSC、RGBなど、それらの組合せなどがある。トップレベルのガンマ機能262は、ピクセル、イメージ領域や全体のイメージごとにガンマ属性のいかなる組合せも変更することができる。たとえば、イメージ領域の色相や彩度、強度を変える事ができる。トップレベルのガンマ機能により行なわれる他の作用には、ストリップ、ファズ(けば立たせる)やブレンド(混合する)、透明度・不透明度やピクセル強調などがある。これらの機能、そしてそれを達成させるための装置と方法について、この明細書で後述する。たとえば、ユーザは、ある特定のブルーの色相のピクセルを強調することだけを選択し、ある彩度レベルのピクセルをブレンドすることもできる。ガンマ属性と作用のいかなる組合せも可能である。
【0049】
本発明の他の要素と同様、トップレベルのガンマ機能262の応用例をより良く理解するためには、最終的な複合イメージは、層毎にコンピュータ130により処理されることを認識するべきである。なお、層上の各ピクセルは、X、Yデカルト座標を有する。32層が本実施例において使用されているが、他の実施例では、メモリの容量に制限されるが、層の数がもっと多い場合もあろう。最終的な複合イメージは、層を互いに積重ねた状態で見ることができる。層の数はZ座標を提供し、オリジナルの背景シーンはゼロのZ座標を有する。オリジナルの背景シーンの対象物は、より高い、もしくは同様な優先度を持ち、よって、より高い数の層およびZ座標を与えられるように選択される。ユーザ112のイメージなどの他の対象物には、あるZ座標が割当てられ、(そのZ座標に応じて)階層ゼロから予め移動された背景シーンからの対象物の前または後ろに置かれる。
【0050】
たとえば、図4hのように、(Z=0から3)の4つの階層を有する最終的な複合イメージを考えることにする。一番上の階層(Z座標=3)のある特定のX、Yデカルト座標アドレスにおけるピクセル150が透明な属性を有するとすれば、その一つ下(Z=2)のX、Y座標におけるピクセル151は、もし属性が不透明であれば、見ることができる。しかし、もしZ=2のピクセル151が同様に透明である場合、Z=1のX、Y座標におけるピクセル152は、その属性が不透明であれば見ることができる。背景やZ=0の階層上のピクセル153が見えるためには、そのX、Yデカルト座標アドレスを取る、より高い階層上のすべてのピクセルが、透明の属性を持たねばならない。
【0051】
さらに、図4hにおいては、幾つかの物体が元の背景階層(Z=0)から移動されている。跪いている2人のプレーヤー154が最上階層(Z=3)に、また帽子155がZ=1の階層にと移動している。ユーザ112の頭はZ=2の階層に物体156として置かれている。背景シーンの、頭が置換えられるべき人物157の頭の部分158は、透明になっている。最終の階層複合イメージ159では、人物157の体の上でユーザの頭156が帽子155を着けている様子が表されている。
【0052】
前述のガンマ属性と作用は、層毎に、層上で行なわれ得る。たとえば、ユーザは、層1、2および3から特定のレッド色相のピクセルをストリップし、その後、層0と1において、ある強度値のピクセルを鮮鋭化し、そして、層1と3において、すべてのピクセルを所望の彩度レベルでぼかして(ファジング)仕上げることができる。トップレベルのガンマ機能262は以下に詳述される。
【0053】
機能262からのリターン後、コンピュータ130は機能264を呼出し、ユーザ112の肌の色を選択された背景人物145(図4e)のそれと合せる。機能262は以下に説明される。
【0054】
機能264がリターンした後、コンピュータ130は機能266を呼出し、ユーザイメージの属性を背景シーン(図4e)のそれとステップ236で選定されたように合せる。機能266は以下に説明される。
【0055】
本実施例においては、機能260がリターンした後、主コントロールフロー200は機能268に進み、機能262、264、266をバイパスする(このバイパスは図3cには図示されていない)。しかし、機能262、264、266が他の実施例に含まれることを認識するべきである。
【0056】
機能266がリターンした後、コンピュータ130はピクセル強調のために機能268を呼出す。機能268は以下に説明される。
【0057】
機能268がリターンした後、コンピュータ130は機能270を呼出し、対象物を選択された背景シーン(図4e)に位置づける。機能270は以下に説明される。
【0058】
機能270からのリターン後、コンピュータ130はステップ272において、チームロゴなどのディバージョンスクリーンを最終イメージがもうすぐ用意できるとのメッセージと共にビデオモニタ110上に表示する。ディバージョンスクリーンが表示されている間、コンピュータ130はステップ274に進む。ステップ274では、コンピュータ130はユーザの頭や首のイメージをステップ236で選択された背景シーンに積層する(layering)機能を呼出す。機能274は後に説明する。
【0059】
機能274がリターンした後、ステップ276にてコンピュータ130は、積層機能により処理されたユーザの頭や首のブロックを、オーバーレイ(重ね割り付け)モードでプリンタ118のフレームバッファに送る。オーバーレイモードにおいて、フレームバッファに現在送られたブロックは、現在のブロックに関し定義された位置から開始し、バッファに前から存在した情報に上書きされる。重ね割り付けされたブロックの領域の外にあるフレームバッファに前から存在した情報については変わらないまま残存する。最終の複合イメージはプリンタメモリに積み重ねられる。予め、背景シーンはステップ242でプリンタ118に送られる。
【0060】
ステップ276の終了後、コンピュータ130は、ほぼ完了した複合イメージがプリンタメモリからビデオ表示器110に送られるステップ278に進む。そしてコンピュータ130は、ユーザがステップ244で記入した個人化したテキストを重ねるための積層機能274を再び呼出すために前進する。積層機能274がリターンすると、コンピュータ130は、個人化したテキストがオーバーレイモードでプリンタ118のフレームバッファに送られるステップ282に進む。この時点で、最終的な複合がプリンタメモリで終了する。コンピュータ130はステップ284へ進み、そこでは個人化したテキストがプリンタメモリからビデオ表示器110へと送られ、ユーザ112に最終の複合イメージを数秒間表示する。複合イメージが表示されている間、コンピュータ130はステップ286へ進み、コンピュータ130からの音声ファイルがユーザ112にシステム104を使用してくれたことへの礼を告げるように動作させる。そして、コンピュータ130はステップ288で、最終的な複合イメージをカードストック120に印刷し、印刷物をプリンタ出口122から出すようにプリンタ118に信号を送る。最終的な複合イメージがステップ290で印刷された後、主コントロールフロー200はステップ202にリターンし、全体のプロセスを再び開始する。
【0061】
さて、図5において、本発明におけるデジタルイメージ編集システムの別の実施例が1010で概説されている。
【0062】
図5には、システム1010がブラケット1014により自動ポストカードシステム1012内に搭載されることを示す、一つの応用例が示されている。システム1010の以下の特徴の幾つかは、システム100について図1でも述べられた。装置1012は、日立製作所のVKC−360のようなビデオカメラ1016を含み、カメラ1016は装置1012に移動自在に搭載されており、システム1010に電気的に接続されている。また、装置1012は、装置でカメラを手動で操作する目的で、カメラ1016に接続されているハンドル1018を含む。
【0063】
図5において、標準RGB/CGAディスプレイのようなビデオモニタ1020が装置1012に搭載されており、モニタ1020は、モデル1022のイメージのようなビデオのイメージを表示するためにシステム1010に電気的に接続されている。図示されているように、図5のモデル1022は、モノクロ背景1024の前に立っている。モノクロ背景1024は、希望の何色でも良い。
【0064】
図5に示されているように、装置1012は、ロウ社製のOB−A4器のような料金受取器1026を含む。また、装置1012はポストカードストック1030の空白シートが入ったプリンタ1028を含む。料金受取器1026に正しい金額が入金されると、モデル1022のイメージはシート130に印刷され、吐き出される。本実施例においては、プリンタ1028はコダック社のSV6510カラープリンタである。
【0065】
さらに、一つ以上の制御1032が装置1012に取り付けられており、システム1010に接続されている。図5の制御1032はボタンで、モデル1022は、システム1010に電子的に記憶されている予め選定された複数の背景の一つのイメージの上にモデル1022のイメージを手動で位置決めすることができる。
【0066】
図6は、モノクロではない背景に関して使用されるシステム1010を示す。より詳しくは、システム1010はモノクロ(たとえば白)基板1036からなる背景1034と共に使用される。複数の黒のボックス1038が基板1036に印刷されており、各四角の内側には、複数の黒いドット1040が予め決められたパターンで基板1036上に印刷されている。図示されているように、ボックス1036は複数の頂点1042を設けている。一実施例において、各ボックス1036の一辺は約2インチで、各ドット1040の直径は約0.25インチである。よって、背景1034は予め決められたパターンを有し、そのパターンはシステム1010に電子的に記憶されている。この背景1034もまた、システム1010に予め記憶されている。
【0067】
図6、7および8を参照して、チェッカーボード背景1034が使用される時のシステム1010の動作が認識される。図7において、機能1085が開始され、ブロック1086に進む。図7におけるブロック1086と1088でのコンピュータ130の動作は本質的には前述の通りである。第14頁、第19〜31行参照。
【0068】
ブロック1088から、コンピュータ130はブロック1090に進む。ブロック1090では、コンピュータ130はデジタル化されたビデオイメージのピクセルの左上と右下角から同時に開始し、「粗粒度背景ストリップ」を行なう。特に、コンピュータ130は、記憶されたイメージ1054の頂点1042を図6に表され図8中ではローマ数字Iで示された背景1034の記憶されたマップと比較する。この記憶された背景マップは、ボックス1038と背景1034のドット1040のX、Yデカルト座標におけるマップである。言い換えれば、コンピュータ130はブロック1090で、イメージ1054のどの部分がボックス1038を含んでいるかを判断し、その部分を背景として記憶させる。
【0069】
ブロック1090から、コンピュータ130はブロック1092に進み、そこでコンピュータ130は、ブロック1090での比較に基づきメモリに記憶されている背景マップと合うイメージ1054の部分を取り除く。特にブロック1092で、コンピュータ130は、完全な(四辺の)ボックス1038の縁を形成するイメージ1054の部分を取り除く。また、コンピュータ130は、完全なボックス1038内の(つまり白い基板1036とイメージボックス1038内のドット1040などの)イメージ1054の部分を取り除く。
【0070】
ブロック1090でのコンピュータ130の具体的な粗粒度背景ストリップ動作は、図9aによく表されている。コンピュータ130はブロック1093に進んで、粗粒度背景ストリッププロセスを開始する。特定的には、図9aの判断ブロック1094に示すように、コンピュータ130は現在のピクセル、すなわちテストピクセルがボックス1038の縁の部分となるべきかどうかを判断する。前述のように、コンピュータ130は最初に、左上と右下のピクセルをテストピクセルとして選定している。以下の粗粒度ストリップテストをたとえば左上のピクセルで行なった後、コンピュータ130は、後述の粗粒度ストリップ機能を用い、もし縁が検出されなければ最上列の次のピクセルか、もし縁が検出されれば次に低い列の一番左のピクセルを選択する。右下のピクセルから進める場合、当業者には、テストピクセルの選定のシーケンスは左上のピクセルシーケンスのそれと鏡像であることが判るであろう。より詳しくは、右下のピクセルをテストした後、コンピュータ130は、もし縁が検出されなければ最下列の次のピクセルか、もし縁が検出されれば次に高い列の一番右のピクセルを選択する。
【0071】
ブロック1094において、コンピュータ130は、テストピクセルと、テストピクセルと互いに関連のある記憶された背景マップの部分とをX、Yデカルト座標において比較する。仮にこの比較がテストピクセルはボックスの縁と同じ色であるべきだ(つまり、テストピクセルはボックスの一部分であるべきだ)と示唆するなら、コンピュータ130は判断ブロック1096に進む。
【0072】
ブロック1096において、コンピュータ130はイメージ1054の現在のピクセルがボックス1038の縁と同じ色、すなわち黒であるかどうかを判断する。もしそうであれば、コンピュータ130はブロック1098に進み、現在のテストピクセルを背景ピクセルとして記憶させる。ブロック1098から、コンピュータ130はブロック1100に進み、そこで現在のテストピクセルの列の次のピクセルを選択する。
【0073】
もし、コンピュータ130がブロック1096においてテストピクセルが黒でないと判断すると、コンピュータ130はブロック1102に進む。そこでコンピュータ130はテストピクセルを縁のピクセルとしてマップに記し、つまりテストピクセルがデジタル化されたイメージ1054の対象物1022の縁1066の部分であることを確認する。ブロック1102から、コンピュータ130はブロック1100に進み、次のピクセルが上記のように選択される。
【0074】
図9aのブロック1094において、もしコンピュータ130が現在のテストピクセルはボックス1038の一部ではないと判断すると、コンピュータ130は判断ブロック1104へ進む。判断ブロック1104では、コンピュータ130はテストピクセルが白かどうか、つまりテストピクセルが背景1034の白い部分1036の一部であるかどうかを判断する。もし白でなければ、コンピュータ130はブロック1102へ進み上記の動作を行なう。さもなければ、コンピュータ130はブロック1104からブロック1098へ進む。
【0075】
プロセスのこの段階で、テストピクセルは、ブロック1098で背景1034ピクセルとして、またはブロック1102で対象物ピクセル1022として、どちらかで記録されている。コンピュータ130はブロック1100から判断ブロック1106へと進む。そこでコンピュータ130はテストピクセルがその列の最後のピクセルよりも後であるかを判断する。もしそうであれば、コンピュータ130はブロック1108へ進む。そこでは、コンピュータ130は、テストされた列のすぐ後の列の、最初のピクセル(つまり、デジタル化されたイメージの左上の隅から始まったプロセスについては一番左のピクセル、また、右下の隅から始まったプロセスについては一番右のピクセル)を選択する。さもなければ、コンピュータ130は、新しいテストピクセルを処理するために判断ブロック1094に回帰する。
【0076】
コンピュータ130は、ブロック1108からブロック1100へ進む。そこで、コンピュータ130はテストされたばかりの列が最終列であったかどうかを判断する。別な言い方をすれば、コンピュータ130は判断ブロック1110において、もし特定のプロセスがデジタル化されたイメージの左上の隅から開始されたプロセスの部分ならば、テストされたばかりの列がデジタル化されたイメージの最下位の列であるかどうかを判断する。一方、もし特定のプロセスがデジタル化されたイメージの右下の隅から開始されたプロセスの部分ならば、コンピュータ130は、テストされたばかりの列がデジタル化されたイメージの最上位の列であるかどうかを判断する。
【0077】
現在のピクセルが最後の列でない場合、コンピュータ130は、新しい次のテストピクセルを処理するために判断ブロック1094に回帰する。一方、コンピュータ130が最上位の列の最後のピクセルをテストしたと判断するならば、コンピュータ130は機能1111で図9aの粗粒度背景ストリップ機能を退出し、図7のブロック1112にリターンする。
【0078】
再び図7に関して、上記の粗粒度背景ストリップサブルーチンとは対照的に、ブロック1112と1114でコンピュータ130により実行されたプロセスは、細粒度背景ストリップ機能と考えることができる。コンピュータ130がブロック1090と1092で定義された粗粒度背景ストリップを行なった後に残存するイメージは、図8のローマ数字IIIで表される。そこでは、背景1034のほんの少しの部分(つまり完全なボックス1038のイメージ内ではない部分)しかモデル1022のイメージを取り巻いて残っていない。背景1034に残っている少しの部分は、ブロック1112と1114で実行されるプロセスにより除去される。そこでは、残存する背景イメージのドットは背景マップと比較され、コンピュータ130によりデジタルイメージから除去される。
【0079】
ブロック1112の細粒度背景ストリップ機能は、図9bにおいてより理解される。コンピュータ130は、機能1115から開始して、判断ブロック1116に進む。図9bの判断ブロック1116から開始し、コンピュータ130は現在のピクセルがドットであるべきかを判断する。現在のピクセルを選定するにあたって、コンピュータ130は、粗粒度背景ストリップの場合で説明されたルーチンに類似した選択ルーチンを行なうと理解される。具体的に、コンピュータ130は、残存するイメージ1054の左上と右下のピクセルから開始し、引き続き、以下に述べられるテストをピクセル毎に、列毎に行なう。
【0080】
義務ではないが、各ドット1040はデジタル化されたビデオイメージにおいて一つ一つのピクセルを占めているのが好ましい。現在のピクセルがドット1040であるべきかどうかを判断するのに、コンピュータ130は電流、つまりテストピクセルにより占有されている位置に対応するメモリ内に、記憶された背景マップの部分をアクセスし、記憶された背景マップに基づき、テストピクセルがドットであるべきかどうかを判断する。記憶された背景マップによりテストピクセルがドットである場合、コンピュータ130は判断ブロック1118に進み、そこでコンピュータ130はテストピクセルが黒かどうかを判断する。
【0081】
もしテストピクセルが黒である場合、またはソフトウエアにより決定された他の色相である場合、コンピュータ130はブロック1120に進み、テストピクセルを後で除去されるべき背景ピクセルとして指定する。コンピュータ130はブロック1120からブロック1122に進み、そこでコンピュータ130は列の次のピクセル、つまりテストピクセルにすぐ隣接したピクセルを選ぶ。
【0082】
一方、コンピュータ130が判断ブロック1118でテストピクセルは黒ではないと判断した場合、コンピュータ130はブロック1124に進み、テストピクセルを対象物エッジピクセルとして指定する。コンピュータ130はブロック1124からブロック1122に進み、次のピクセルを選択する。
【0083】
もしコンピュータ130がブロック1116で現在のピクセルはドットであるべきでないと判断する場合、コンピュータ130は判断ブロック1126に進み、テストピクセルが白かどうかを判断する。もし白でない場合、コンピュータ130はブロック1124に進み、テストピクセルを対象物エッジピクセルとして指定する。さもなければ、コンピュータ130はブロック1120に進み、そして上述のようにブロック1122に進む。
【0084】
コンピュータ130はブロック1122から判断ブロック1128に進み、そこで、新しいテストピクセルは残存するデジタル化イメージのその列の最後のピクセルよりも後であるかを判断する。もしテストピクセルがその列の最後のピクセルよりも後でなければ、コンピュータ130はブロック1116へと回帰する。さもなければ、コンピュータ130はブロック1130へと進み、そこで残存するデジタル化イメージの次の列に移動し、その列の最初のピクセルを選択する。
【0085】
コンピュータ130はブロック1130から判断ブロック1132に進み、テストピクセルは残存するデジタル化イメージの最後の列にあるかどうかを判断する。もし最後の列になければ、コンピュータ130はブロック1116に回帰する。さもなければ、コンピュータ130は機能1132’で図9bの機能を出て図7のブロック1114へとリターンする。
【0086】
ブロック1114において、コンピュータ130は、ブロック1112の背景ピクセルとして指定されたピクセルにより表されているイメージ1054の部分を除去する。残存する背景が除去された後、イメージ1954は図8のローマ数字IIIで指定される図のように表される。
【0087】
コンピュータ130は図7のブロック1134に進む。そこではシステム1010のオペレータ(たとえばモデル1022)が、背景1133に対してコンピュータ130のメモリから選んだ対象物のイメージを希望どおり配置する。この背景の選択は、オペレータが置きたいイメージの背景を選択できるように制御1032を正しく動作させることにより行なわれる。さもなければ、背景はコンピュータ130により自動的に選択される。
【0088】
コンピュータ130はブロック1134から図7のブロック1136に進み、そこでシステム1010のオペレータはモニタ1020の複合イメージを見ながら、また制御1032(図5)を正しく操作しながら選ばれた背景に対象物を希望通りに位置修正をする。さらに、オペレータは対象物を背景に希望通りに配置することができる、つまりオペレータが希望する背景のどの部分にでも対象物をスーパーインポーズできる。この位置修正は、図示されていない制御機構により達成されるか、またはコンピュータ130により自動的に達成される。
【0089】
再び図7について見ると、コンピュータ130はブロック1138に進み、そこでコンピュータ130は、図8に関して説明されたように対象物の縁のファズを行なう。コンピュータ130はブロック1138からブロック1140に進む。ブロック1140においてコンピュータ130は、図8のローマ数字IVで表されるように対象物の縁を鮮鋭化するために、周囲の背景と対象物1022の縁をブレンドする。
【0090】
ブレンド機能1140は、図19を参照してより完全に理解される。コンピュータ130は図19のブロック700で開始し、そこで対象物の最初の列から開始する。次にコンピュータ130はブロック702に進み、そこで対象物の縁ピクセルを選択し、縁ピクセルの色相ガンマ値を判断する。対象物の縁ピクセルの選択は、ソフトウエアで決められたアドレス、たとえば左上の縁ピクセルで行なわれる。コンピュータ130はブロック702からブロック704に進み、縁ピクセルと同列の選択された対象物の縁ピクセルのすぐ隣またはすぐ下の背景ピクセルの色相を判断する。そして、コンピュータ130はブロック706に進み2つのピクセルの平均色相を判断する。コンピュータ130はブロック706からブロック708に進み、そこでコンピュータ130は、呼出し関数において設定されたブレンドファクターに従って、縁ピクセルの透明度/不透明度の属性を設定する(図7)。ブレンドファクターは、ファイルのヘッダにある。不透明から透明までの値を有するこのブレンドファクターは、対象物の動的に変化する透明性に対して用いられ、また、どのような結果が望ましいかプログラマによって試行錯誤された上で、この範囲内の値から選定される。
【0091】
コンピュータ130はブロック708からブロック710に進み、そこでその列内に他の縁があるかどうかを判断する。もしあれば、コンピュータ130はブロック712に進んで、ブロック708でその透明度/不透明度を設定したばかりのピクセルのすぐとなりの縁ピクセルを選定し、その後ブロック702に回帰する。その列内に他に縁がなければ、コンピュータ130はブロック714で、その列が対象物の最終列であるかどうかを判断する。もしそうであれば、コンピュータ130は図7にリターンする。最終列でなければ、コンピュータ130はブロック716に進んで次の列で次の縁ピクセルを得る。その後コンピュータ130はブロック702に回帰する。テストされたピクセルが背景とブレンドされるべき最後の縁ピクセルであった場合、コンピュータ130は図19に示される機能から出て、図7のブロック1152に進む。
【0092】
図7のブロック1152において、コンピュータ130はビデオイメージの対象物の選択された部分の色相ガンマ値と、複合ビデオイメージの背景の選択された部分の色相ガンマ値とを変化させて、対象物がそれに対してデジタルでスーパーインポーズされている背景と、その対象物とが、同じ明るさの条件下でイメージされたものであるかのように見せる。ブロック1152のガンマ調整ステップが済むと、コンピュータ130はブロック1153に進んで背景ストリッププロセスを終了する。ブロック1152でコンピュータ130が行なうプロセスの詳細は、図13を参照してよりよく理解される。図13を参照して、対象物またはユーザのガンマを選択された背景場面(図4e)のガンマとマッチさせるための機能266(図3c)について説明する。
【0093】
コンピュータ130は図13のブロック266で開始して、対象物内のソフトウェアによって決定されたアドレスにおける背景1034(図6)の色相ガンマを測定する。ソフトウェアによって決定されたアドレスは、イメージされた人物の手、顔または服など、予め定められた部分であってもよく、また、相対座標で規定されてもよい。コンピュータ130はブロック266からブロック400に進み、そこで、予め定められた、ソフトウェアが決定したアドレスにおける背景の色相ガンマを測定する。
【0094】
次に、コンピュータ130はブロック402に進んで、予め定められた、ソフトウェアが決定したアドレスにおける対象物1022の色相ガンマを測定する。
【0095】
コンピュータ130は、ブロック402からブロック404に進み、そこで望ましいガンマが選定される。換言すれば、ブロック404においてコンピュータ130は、どの照明条件が望ましいかを選択する。そして、コンピュータ130は判断ブロック406に進んで、対象物の色相ガンマが背景の色相ガンマにマッチするよう変更されるか、それとも、背景の色相ガンマが対象物の色相ガンマにマッチするよう変更されるかを決定する。対象物の色相ガンマが変更される場合には、コンピュータ130はブロック408に進んで、対象物のガンマを背景の色相ガンマに等しくなるように設定する。反対に、背景の色相ガンマが変更される場合には、コンピュータ130はブロック410に進んで、背景のガンマを対象物のガンマと等しくなるように設定する。
【0096】
代替的に、システム1010のユーザまたはオペレータがどのような照明システムが望ましいかを選択する。コンピュータ130によるこの判断は、システム1010のオペレータによる対話型コマンドに応答して行なうことができる。すなわち、システム1010のオペレータが、ステップ410のように、背景の照明条件を、オペレータがその下でイメージされた照明条件にマッチするよう変更したいか、それとも、ステップ408のように、オペレータがその下でイメージされた見た目の照明条件を背景の照明条件にマッチするよう変更したいかを決定することができる。さらに、所望であれば、対象物および背景の見た目の照明条件をどちらも第3の照明条件にマッチするよう変更することも可能である(図13には示さない)。
【0097】
ステップ408または410を終えると、コンピュータ130は図7のステップ412にリターンし、チェッカーボード背景ガンマプロセスを終了する。
【0098】
別の実施例においては、イメージは対象物と背景とを含み、その背景は連続した色相である。次に、主コントロールフローの機能を説明する。(主コントロールフローについてはこれまでに、図3において説明した。)図10では、イメージの背景部分のストリップを行なう機能234(図3b)に関して説明される。機能234が始動し、コンピュータ130が図4bに示される機能に渡されるビデオイメージ144の左上または右下のピクセルを選択するステップ310に進む。しかし、以下に述べられるコンピュータ130により実行されるプロセスの原則は、ただ1つのピクセルを開始地点として選択する時や、3つ以上のピクセルを同時開始地点として選択する時にも適用される。たとえば図4cに示されるように、コンピュータ130は、イメージ144の4つの角で同時に開始して、以下に説明されるプロセスを実行することができる。以下に説明されるプロセスはC言語のような適切なコンピュータ言語で記号化される。
【0099】
よって、以下のプロセスは開示目的で、デジタル化されたビデオイメージ144の左上のピクセルを開始地点として使用することに関し説明される。そのプロセスの原則は、コンピュータ130が2つ以上の地点で同時に開始する場合を含む、他の開始地点、たとえばビデオイメージ144の右下のピクセルの場合とほぼ同一であることを認識されたい。複数のプロセス領域のための平行したプロセスの制御は、当業者には知られている。
【0100】
ステップ312は、コンピュータ130が左上のピクセル(ターゲットピクセル)のガンマとビデオイメージ144(図4b)の最上列の次のピクセルのガンマを比較することを示している。先行技術の中で用いられているように、特定のピクセルのガンマは数値であり、ピクセルを特徴付けている1つ以上のデータ属性に言及する。たとえば、ビデオイメージピクセルは、ピクセルによって表されるイメージ部分の色相、強度、明るさ、彩度、およびコントラストに関係する属性を有する。よって、そのようなピクセルは、その特定のピクセルの上述のような属性一つ一つを表す、数字で表した「ガンマ」をそれぞれ有する。
【0101】
本発明において、ピクセル間で比較されるガンマはピクセルの色相ガンマであるが、他のガンマも使用可能である。本実施例では、各ピクセルの色相ガンマは0から255までの整数であり、色相ガンマ値はピクセルにより表されるイメージの部分の色相を示す。ビデオイメージが白黒である場合、ピクセルの色相ガンマはピクセルの灰色の影、または灰色のスケール値を表す。
【0102】
よって、連続する色相背景114(図4b)の場合、隣接する背景ピクセルはほぼ同一の色相ガンマ値を有し、具体的な値は背景114のカラーに依存する。たとえば、背景が飽和状態のブルー、255と定義されれば、背景ピクセルが20から40以上それることはほとんどない。故に、コンピュータ130はビデオイメージ144の左上のピクセルを背景ピクセルであると推察し、このピクセルを標準ピクセルとして用いる。コンピュータ130はその色相ガンマと、ターゲットピクセルと同じ列にある隣接した(したがってテストピクセルであると考えられる)ピクセルの色相ガンマとを比較し、隣接したピクセル(テストピクセル)も同様に背景ピクセルであるかどうかを判断する。このステップは図10の判断ステップ314で表される。
【0103】
より詳しくは、判断ステップ314に示唆される通り、コンピュータ130は、左上隅のピクセル(ターゲットピクセル)の色相ガンマと隣接したピクセル(テストピクセル)の色相ガンマとの間の差と、予め決められた差を比較する。予め決められた差が二つのピクセルの色相ガンマとの間の差よりも大きい場合、テストピクセルはターゲットピクセルとほぼ同じ色相を有し、故に背景ピクセルが後で作動するようにフラグされることを意味し、コンピュータ130は図10のステップ314から判断ステップ316へと進む。ステップ316においてコンピュータ130は、テストピクセルがその列の最後のピクセルであるかどうかを判断する。もしその列にさらにピクセルが存在する場合、コンピュータ130はステップ318に進み、そこで古いテストピクセルを新しいターゲットピクセルと定め、その列の次のピクセルを新しいテストピクセルとして選択する。そしてコンピュータ130はステップ312に進み、ターゲットピクセルの色相ガンマとテストピクセルの色相ガンマの間の差を上記のように決定し、判断ステップ314にてこの差を予め決められた差と比較する。
【0104】
一方、コンピュータ130が判断ステップ316にてテストピクセルがその列の最後のピクセルであると判断した場合、コンピュータ130はイメージ144(図4b)の最後の列に達したかどうかを判定するステップ320に進む。換言すれば、判断ステップ320にてコンピュータ130は、その特定のプロセスがデジタル化したイメージの左上隅のピクセルで開始された処理の一部であるのならば、テストが既に行なわれた列がデジタル化したイメージの最下位の列であるかどうかを判断する。一方、その特定のプロセスがデジタル化したイメージの右下隅のピクセルで開始された処理の一部であるのならば、コンピュータ130は、テストが既に行なわれた列がデジタル化したイメージの最上列であるかどうかを判断する。そうでない場合、コンピュータ130はステップ322に進み、そこで、ターゲットピクセルをその列の最後のピクセルとし、テストピクセルを次の下段の列における最初のピクセルと定める。コンピュータ130はそこで次の列のピクセルの比較を始めるためにステップ312に回帰する。コンピュータ130は、上記のガンマテスト比較を再開する。故にコンピュータ130は、ビデオイメージ144の背景構成のピクセルをピクセル毎に、列毎に読出しテストする。
【0105】
コンピュータ130が判断ステップ314において、テストピクセルは背景ピクセルではなく、よってモノクロ背景114(図1)に対してイメージされたユーザ112(図4c)のイメージの縁146の表現であることを示し、ターゲットピクセルとテストピクセル間の差が予め決められた差を超えると判断すると、コンピュータ130はテストピクセルの位置をメモリに記憶させる。換言すれば、コンピュータ130はテストピクセルを縁146の一部分としてマップに留める。図5に示されるように、コンピュータ130はステップ320に進み、そして上記の処理を再開する。
【0106】
コンピュータ130は、左上と右下隅のピクセルから同時に始め、判断ステップ320における肯定で示されるように、テストされるべきピクセルがもう存在しないと判断するまで、上記の処理を続行させる。テストされるべきピクセルがもう存在しない段階で、コンピュータ130はステップ324に進み、そこで背景ピクセルの色相ガンマをゼロにセットすることにより背景を「氾濫(フラッド)」(つまり透明な縁146の外側にあるすべてのピクセルを裏返す)させる。言い換えれば、コンピュータ130は、イメージ144(図4b)の、ステップ314の背景ピクセル114として指定されたピクセルにより表される部分を除去させる。また、それぞれの背景ピクセル114は、コンピュータ130が特定のピクセルは確かに背景ピクセルであると判断すれば直ちに透明に変えられる。その後コンピュータ130はステップ326に進み、呼出プログラムにリターンする。この処理段階におけるデジタル化されたビデオイメージ114の概観は、図4dに示すようになる。
【0107】
したがって、コンピュータ130は、ビデオイメージ144のうち、実質的に縁146よりも外側の部分(すなわち、イメージの背景コンポーネント)のみを取除き、イメージ144の、縁146の内側にある部分(すなわち、イメージの対象コンポーネント)全体はそのまま残す。この結果、イメージ144の縁146よりも内側の部分は、背景114と同じ色相を有してもイメージ144から除かれることがなくなる。さらに、クロマキー技術とは対照的に、特定の予め定められた色相を背景色相として用いねばならないこともなくなり、どのような色相も背景色相として用いることができるようになる。
【0108】
以上の開示から、予め定められた色相ガンマ差は、ターゲットピクセルの色相ガンマからわずかにずれた色相ガンマを有する背景テストピクセルによって縁がマッピングされるのを防ぐために、十分に大きく選択されるものと理解されるであろう。しかし一方で、予め定められた色相ガンマ差は、縁ピクセルが背景の色相ガンマの値に比較的近い色相ガンマ値を有する場合であっても、対象物の縁ピクセルの存在を正確に検知できるように、十分小さく選択される。予め定められた色相ガンマ差の厳密な値は、応用によって異なり得るが、これは、照明条件、場所、主題等に応じて異なり得る。現時点において好ましい実施例においては、予め定められた色相ガンマ差は20である。
【0109】
図11を参照し、対象物の大きさを、選択された背景の対象物の大きさにマッチングさせるための機能260(図3)について説明する。好ましい実施例においては、対象物はユーザ112の頭および首であり、また選択された背景の対象物は置換されことになる背景の人物145(図4e)の頭および首である。
【0110】
機能260が開始し、コンピュータ130がユーザ112の顔の高さを把握するステップ342に移る。図4fを参照すると、顔と首(破線で示す)が置換されることになる背景の人物145を含む、ステップ236(図3b)においてユーザにより選択された背景シーンの部分が示されている。水平線160は、座標y0において眼の瞳孔上に中心を置いている。クロスシンボル162は座標y1において首の中間上および顎の先端に中心を置いている。ライン164は、そこから下方のユーザの首がユニホームより優先度の低い層であると指定される、服、たとえば、ユニホーム、の縁の境界を示している。したがって、ユニホームは、最終複合イメージにおいてユーザの首を覆うように見え得る。顔の高さは座標y0とy1の間の絶対差である。背景の人物または、複数の人物の選択が与えられている背景シーンにおいては背景の各人に対する顔の高さの情報は、事前に計算され、背景シーンのイメージを含むファイルのためのファイルヘッダに保存されている。現時点において好ましい実施例のためのファイルヘッダフォーマットは記号化されており、その実施例に固有のものである。ヘッダは疑似確率関数でXOR処理することにより記号化される。ファイルヘッダは、ファイルイメージにおける顔または対象物の特徴を明らかにするためのRGB情報、眼の位置、顎の位置(クロスシンボル)、顔の高さ等を含んでいる。
【0111】
図4gを参照し、ユーザの顔と首のイメージが示される。水平線170はy0'座標にある眼の瞳孔の上を中心に置かれている。クロスシンボル172または他の場所指定手段は、y1'座標における首の中心上と顎の先端を中心に置かれている。ユーザの顔の高さは座標y0'とy1'の間の絶対差である。ユーザの顔の高さの情報は、ユーザの頭と首のイメージを含むファイルのためのファイルヘッダに保存されている。
【0112】
図11に戻って、ステップ342を完了後、コンピュータはステップ344に前進する。ステップ344において、コンピュータ130はステップ342で捉えられたユーザの顔の高さを、ステップ236(図3b)においてユーザにより選択された位置における背景の人物の顔の高さと比較する。もし、ステップ346の判断においてユーザの顔の高さが低ければ、たとえば、ユーザ112が子供であれば、コンピュータはステップ348に移る。ステップ348では、コンピュータ130はユーザの顔と首のイメージの釣り合いを取って、ユーザの顔の高さが背景の人物の顔の高さと同等になるまで拡大し、そしてステップ352でリターンする。もし、ステップ346において、ユーザ112の顔の高さが背景の人物のそれより高ければ、コンピュータ130はステップ350に移る。ステップ350において、コンピュータ130はユーザの顔と首のイメージを釣り合いを取って、該ユーザの顔の高さが背景の人物の顔の高さと同等になるまで縮小または拡大し、ステップ352でリターンする。しかし、もし判断ステップ346において、ユーザ112の顔の高さが背景の人物のそれと等しい場合は、コンピュータ130はステップ352でコーリング主フロー200(図3)にリターンする。
【0113】
図12を参照し、対象物すなわちユーザの肌を選択された背景の人物145(図4e)の肌にマッチングさせるための機能264(図3c)について説明する。機能264が開始し、ステップ370に進んで、複合イメージにおいて置換されることになる背景の人物の領域が測定されるように指示される。ステップ372に移り、コンピュータ130は、指定された領域において3つのガンマ属性を測定する。すなわち、全体的色相、全体的彩度、および全体的強度である。次に、ステップ374において、コンピュータ130は測定されるべきユーザの肌の領域を指定する。コンピュータ130は、ライン170により、ユーザ112の眼が図4gで示されたイメージ上どこにあるか把握している。コンピュータはユーザ112のイメージの、ちょうど眼の上の額上の領域を指定する。この領域は次に、ステップ376において、同じ属性、即ち、色相、彩度および強度、について測定される。ステップ378に移行し、コンピュータ130は次に、ストリップ機能234をコールしたときに比較されるユーザの顔のイメージの肌領域を、ステップ376において測定されたユーザの肌を描写する属性を使って決定する。機能234は、このコールにおいて、ユーザの顔のイメージの肌ピクセルをフラグする。髪、眉毛、眼、唇、顎髭および/または口髭(もしあれば)等は、フラグされない。次に、機能234からリターンすると、コンピュータ130はステップ10382に進む。ステップ10382では、機能234により同定されたフラグされた肌ピクセルは、背景の人物の肌の、ステップ372において測定された属性の値に設定され、次に機能264はステップ10384においてコーリング主フロー200(図3)にリターンする。
【0114】
図13を参照し、対象物またはユーザガンマを選択された背景シーン(図4e)のガンマにマッチングさせるための機能266(図3c)について説明する。機能266は、対象物がデジタル的に積層される背景と同じ照明条件で、該対象物がイメージされているかのように表現することを可能とする。機能266が開始し、コンピュータ130が背景シーン(図4e)に対して用いられる照明のタイプを決定するステップ400に進む。照明条件は、ソフトウェアにより決定された背景シーンの領域における色相、彩度、およびコントラストのガンマ属性を測定することにより決定される。ステップ402に移り、コンピュータ130はステップ400におけるのと同じガンマ属性の測定を、今度はユーザイメージ144(図4d)に対して行なう。
【0115】
次に、コンピュータ130は、コンピュータ130が望ましい照明条件を選択するステップ404に進む。換言すれば、ステップ404においてコンピュータ130は、対象物の色相ガンマを背景の色相ガンマと調和するよう変更するか、それとも、背景の色相ガンマを対象物の色相ガンマと調和するよう変更するかを判断する。コンピュータ130によるこの判断は、システム100のユーザによる対話型コマンドに応答して達成され得る。すなわち、システム100ユーザは、背景シーンの照明条件を、ユーザがその下でイメージされた照明条件に調和させるように変化させたいか、または、ユーザがその下でイメージされた照明条件を背景シーンの照明条件に調和させるように変化させたいかを決定することができる。さらに、対象物と背景の見かけの照明条件は、両者とも、もし望むのであれば、第3の照明条件に調和させるように変更してもよい(この選択は図8に図示されていない)。
【0116】
ステップ404から、コンピュータ130は判断ステップ406に進み、対象物ガンマを変更するかを判断する。もしそうであれば、コンピュータ130はステップ408に進んで、対象物の色相、彩度、およびコントラストに対するガンマ属性値を、背景シーンの色相、彩度、およびコントラストに対するガンマ属性値に等価になるようにセットする。さもなければ、コンピュータ130はステップ410に進み、背景シーンのガンマ値を対象物のガンマ値に等しくなるようにセットする。ステップ408かステップ410のいずれかが完了した後、コンピュータ130はステップ412に進み、主コーリングフロー200にリターンする。
【0117】
図14を参照して、イメージのピクセルを強調するための機能268について説明する。機能268は主フロー200(図3C)またはトップレベルガンマ機能262(図17)のいずれかによってコールされる。機能268が始動し、ステップ420に進んで、そこでコンピュータ130が予め決められた場所、たとえばX,Y座標0,0、におけるイメージの処理を開始する。ステップ422に移り、コンピュータ130は現行の列の各ピクセルの色相値を判断して、その列における対象物の縁を見つけようと試みる。もし縁が見つかれば、判断ステップ424により判断されるように、コンピュータ130はステップ426に進む。コンピュータ130が該ピクセルの色相が前のピクセルと比較して大きな変化を有すると判断すれば、該縁は見つかる。好ましい実施例においては、最大範囲の色相値が0から255である場合、色相値が80またはそれ以上変化していれば、そのような変化は見つかるだろう。もちろん、変化のしきい値は、このシステムの特定の用途のために選定される、上記範囲内のいかなる値でもあり得る。
【0118】
ステップ426においては、コンピュータ130は、対象物の縁のちょうど外の3つのピクセルを選定し、それらをブレンドオペレーションの実施の際に縁ピクセルとして使う。該ブレンドオペレーションはコンピュータ130によってステップ428、430、および432において遂行され、前述3つのピクセルが現行対象物層のすぐ下の背景層にブレンドされる。ステップ428において、該3つのピクセルのそれぞれに対して、コンピュータ130は対象物ピクセルの下の層における背景ピクセルの色相を判断し、該3つの背景ピクセルのそれぞれの色相値をステップ430において対応する対象物ピクセルで平均化する。ステップ432に移り、コンピュータ130は、該3つの対象物層の縁ピクセルのそれぞれの透明または不透明を、ファイルヘッダにあるブレンドファクターに従って設定する。不透明から透明までの値を有する該ブレンドファクターは、対象物の動的に変化する透明性に対して用いられ、どんな結果が望ましいかの観点から試行錯誤するプログラマーにより、その範囲内の値から選定される。ステップ432が完了した後、コンピュータはステップ434に移り、そこでコンピュータ130は、ステップ422の決定に従い現行列上で発見された該縁を用いて、対象物の縁の内側の2つのピクセルをファズオペレーションのために選択する。該ファズオペレーションはステップ436、438、および440においてコンピュータ130により遂行されて、該縁がスムーズにされる。ステップ436において、該2つのピクセルのそれぞれに対して、コンピュータ130は、同じ列上でそれらにすぐ近くの3つのピクセルの色相を決定する。その後、ステップ438で示すように、コンピュータ130は該3つのピクセル間の平均色相値を決定する。ステップ440に移り、コンピュータ130は前述2つのピクセルのそれぞれの色相値を前のステップ438において決定された平均値に等しくなるよう設定する。
【0119】
ステップ440が完了した後、コンピュータはステップ422に回帰して、現行列における他の縁を見つけようと試みる。もし、他の縁が見つかれば、判断ステップ424の判断に従い前述したプロセスが遂行される。しかし、もし、縁が見つからないまま現行列の端に達すれば、コンピュータ130は判断ステップ1302に移り、イメージの最終列がちょうど処理されたのかを判断する。もしそうでなければ、コンピュータ130はステップ1304に進み、処理する次の列を選定し、そしてステップ422に戻り、縁を捜す。しかし、もし、最終列が処理されたのであれば、判断ステップ1302の判断に従いコンピュータは傾斜鮮鋭化機能(gradient sharpening function)1306をコールし、対象物の縁を強調する。
【0120】
ファイルヘッダは行なわれる鮮鋭化の程度に対し予め決められた値を持っている。たとえば、イメージは縁上では鮮鋭化させ得ないが、中心ではフルに、即ち中心と境界の間において直線スケールで100%、鮮鋭化させることができる。他のパーセンテージを、鮮鋭化ファクターとして採用することもできる。たとえば、イメージは、中心と境界の間で、直線スケールで、左縁で30%、中心で20%、そして右縁で80%鮮鋭化することができる。機能1306は後述する。機能1306が機能268に戻ってきた後、コンピュータ130はステップ1308においてピクセル強調機能268を出る。
【0121】
図3cの機能270においてコンピュータ130により実行される処理の詳細は図15を参照してより完全に理解される。対象物またはユーザ112を選定された背景シーン(図4e)に配置するための機能270について説明する。機能270が開始し、コンピュータ130がクロスシンボル172(図4g)のアドレスをユーザイメージ上で得るステップ460に進む。このシンボルは、図3cのステップ258においてユーザ112によって配置されるように、ユーザイメージ上の首の中央かつ顎の下にある。クロスシンボル172のアドレスはユーザイメージファイルのファイルヘッダから検索する。コンピュータ130は次にステップ462に進み、背景シーンの選ばれた人物145のためのクロスシンボル162(図4f)のアドレスを検索する。このアドレスは背景シーンのイメージファイルのファイルヘッダから検索する。コンピュータは次に、ユーザのクロスシンボル172のアドレスを、背景シーン内で選ばれた人物145のクロスシンボル162のアドレスに等しくなるように設定する。したがって、複合イメージが共に重ねられたとき、ユーザ112のイメージは正しい位置におかれる。コンピュータ130はステップ464においてコーリング主フロー200(図3)にリターンする。
【0122】
図3cの機能274においてコンピュータ130により実行される処理の詳細は、図16を参照することによりより完全に理解される。対象物または個人化されたテキストを選定された背景シーン(図4e)中に積層するための該機能274について説明する。機能274は主コントロールフロー200によって2回コールされる。好ましい実施例において第1回のコールは、ユーザイメージが最終の複合イメージにおいてたとえばシャツやユニホームにするりと入るように、ユーザの頭と首のイメージを積層するためである。該シャツは、ユーザの首と頭がシャツの上端に見えるように、ユーザイメージよりも優先させる。該シャツとユーザのイメージは両者とも、背景シーンよりも優先させる。
【0123】
好ましい実施例において第2回のコールは、ユーザがステップ244(図3b)で入力した個人化テキストを積層するためである。該テキストは最も優先され、それ故、最終複合イメージにおいては常に見えていることになる。
【0124】
機能274が開始し、判断ステップ480に進む。そこで、このルーチンが好ましい実施例におけるように機能コールか、それとも、代替実施例のようにユーザコールかを判断する。好ましい実施例においては、コンピュータ130はステップ482に進み、テキストまたは対象物等のアイテム、または積層されるべきイメージの領域が、機能コールに対するアーギュメントにおいて特定される。コンピュータ130は次にアイテムまたは領域に対応する情報にアクセスし、ステップ488に進む。しかし、もし、ステップ480において、このルーチンに対するコールがユーザコールであれば、コンピュータ130はステップ484に進む。ステップ484では、背景シーンの領域または対象物は、他の層に移動させるようユーザ112により特定され得る。ステップ486では、選定された領域または対象物は、名前、層、該層内の位置、および透明度ビットを設定するために使われるアルファビットフラグ(alpha-bit flag)の情報とともにメモリに保存される。
【0125】
ステップ486または482のいずれかが完了した後、当該アイテムまたは領域に対応する名前、層、該層内の位置、およびアルファビットフラグが、ステップ488でコンピュータ130によって連結リスト(linked list)に書き込まれる。アルファビットフラグは該アイテムまたは領域の透明または不透明を表示する。その位置はX、Y座標で保存される。ステップ488の完了後、コンピュータ130は判断ステップ490に移り、代替実施例において、同じ層上で複数の対象物を縫合する、または一緒に連結するようなオプションがコールされるかをチェックする。もしそうなら、オプションステップ492で、コンピュータは同じ層上で望ましい複数の対象物を層集合体中へと縫合する。オプションステップ492が完了した後、または判断ステップ490が否であった場合は、コンピュータ130はステップ494に移る。ステップ494では、コンピュータ130は連結リストを呼び出し、透明アルファビットフラグを探し出す。ステップ496において、連結リストによって指示されたアイテムについて、コンピュータ130はモニタ110(図2)上に、名前、層、該層内の位置によって規定された対象物または領域を表示する。
【0126】
代替実施例においては、オプション判断ステップ498において、ユーザ112(図1)が透明アルファビットフラグのリセットを希望しているかを判断する。もしそうなら、コンピュータはオプションステップ500に移って、透明フラグが、たとえばマウス等の指示手段の使用により、またはX、Yデカルト座標を使った領域の定義により、不透明にリセットされる。ステップオプション500が完了した後、またはステップ498が否であった場合は、コンピュータ130はオプション判断ステップ502に移る。代替実施例においては、ステップ502は、ユーザ112がある対象物または複数の対象物をある一層上で背景と一緒に縫合したいかを判断する。もしそうなら、オプションステップ504において、コンピュータ130はある一層上で該対象物を背景と一緒に一集合体中に縫合し、そして該対象物は連結リストから削除される。該集合体は対象物、領域、背景、テキスト等を含み得る。現在好ましい実施例では、背景をまたは新しい背景として集合体を保存するためのファイルフォーマットは、ファイル拡張子「.spo」を有している。オプションステップ504が完了した後、または判断ステップ502が否であった場合は、コンピュータ130は、ステップ506において、コーリング主フロー200(図3)にリターンする。
【0127】
図17aおよび17bを参照し、トップレベルガンマ機能262(図3c)について以下に説明する。ここに開示されている好ましい実施例はトップレベルガンマ機能262は含まないが、代替実施例にはこの機能が含まれていてもよい。機能262は2通りに使うことができる。すなわち、変更すべき属性が予め選定されている機能コールとして、または、変更すべき属性がユーザ112によって選定されるユーザコールとして、である。機能262がユーザコールによってアクセスされれば、システム100は双方向性の高い、極めてパワフルなイメージ編集手段として機能する。
【0128】
機能262が開始し、判断ステップ514に移り、ルーチン262が機能としてコールされるかを判断する。もしそうなら、コンピュータ130はステップ516に進み、予めセットされたガンマ属性、層、および対象物または領域の選択結果、たとえば10から75の値の青色相を有する層上のすべてのピクセル、にアクセスする。コンピュータ130は次にステップ516からオフページコネクタC580を通って進み、図17bのステップ582において再開する。しかし、もしステップ514でルーチン262がユーザコールであると判断されれば、コンピュータ130は判断ステップ520へ進んで、ストリップオペレーションが行なわれるべきかを判断するチェックを行なう。この機能におけるストリップオペレーションは、対象物上または背景シーン上で行なわれ得る。もしそうなら、コンピュータ130はステップ522へ進み、ユーザ112が、ガンマ属性を対応する値とともに選定し、および/または、層および対象物、または該層上の変化されるべき領域を選定する。ステップ522が完了したところで、コンピュータ130はステップ524へ進み、ステップ522からの選定結果をマトリクスに入れる。判断ステップ526においては、コンピュータ130はユーザ112がステップ520で選定したオペレーションを元に戻したいかをチェックする。もしそうなら、ステップ528において、コンピュータ130はステップ520で選択されたオペレーションを取り消す。
【0129】
上述のマトリクスのX軸はガンマ属性を含んでいる。即ち、色相(H)、彩度(S)、明度(L)、強度(I)、コントラスト(C)、赤(R)、緑(G)、青(B)、およびHSL,HSI,HSC,およびRGBの組合せを含んでいる。該マトリクスのY軸はトップレベルガンマ機能により行なわれるオペレーションを含んでいる。即ち、ストリップ、ファズ、ブレンド、ガンマ変更、透明/不透明、およびピクセル強調を含んでいる。該マトリクスには、複合イメージの層数に対応するZ軸が関係している。現時点で好ましい実施例においては、該Z軸は32層を利用している。該マトリクスは、複合イメージの一または複数の層の上で遂行される一または複数のガンマ属性における一または複数のオペレーションを、いかなる組合せでも可能としている。
【0130】
ステップ528の完了後、または判断ステップ526の結果が否であった場合、または判断ステップ520の結果が否であった場合、即ち、ストリップが選定されなかった場合には、コンピュータ130は判断ステップ530に進み、ファズオペレーションがなされるかどうかを判断するためのチェックがなされる。ファズオペレーションは対象物上または背景シーン上で行なわれ得る。もしそうなら、コンピュータは、上述したステップ522〜528と基本的に同じワンセットのステップに移り、その後、判断ステップ540に進む。もしステップ530(そして下記ステップ540、550、および560)で該オペレーションを行なうかの判断が否であった場合には、コンピュータ130は、次に可能なオペレーションのためのテストをする次の判断ステップに進む。
【0131】
ステップ540において、コンピュータ130はブレンドオペレーションがなされるかを判断するためのチェックを行なう。この機能におけるブレンドオペレーションは背景シーン上または近傍層上の対象物上で行なわれ得る。もしそうなら、コンピュータは、上述したステップ522〜528と基本的に同じワンセットのステップに移り、次に判断ステップ550に進む。
【0132】
ステップ550において、コンピュータ130はガンマ変更オペレーションがなされるかを判断するためのチェックを行なう。この機能におけるガンマオペレーションは対象物上および/または背景シーン上で行なわれ得る。もしそうなら、コンピュータは、上述したステップ522〜528と基本的に同じワンセットのステップに移り、次に判断ステップ560に進む。
【0133】
ステップ560では、コンピュータ130は透明/不透明オペレーションを行なうかを判断するためのチェックを行なう。この機能における透明/不透明オペレーションは背景シーン上または近傍層上の対象物上で行なわれ得る。もしそうなら、コンピュータは、上述したステップ522〜528と基本的に同じワンセットのステップに移り、次に判断ステップ570に進む。
【0134】
ステップ570では、コンピュータ130はピクセル強調オペレーションがなされるかを判断するためのチェックを行なう。この機能におけるピクセル強調オペレーションは対象物上または背景シーン上で行なわれ得る。もしそうなら、コンピュータは、上述したステップ522〜528と基本的に同じワンセットのスッテプに移り、次に、図17bのオフページコネクターC580を経由してステップ582に進む。ピクセル強調オペレーションがステップ570で選択されない場合にも、コンピュータ130はやはりオフページコネクターC580を経由して判断ステップ582に進む。
【0135】
機能262の次の3つのステップ(582、584、586)はコンピュータ130によって、ステップ590に備えて、(ステップ516からの)予めセットされたオペレーションまたは(ステップ520から570までで)選定されたオペレーションの各々に対して、連続的に遂行される。ステップ582で、コンピュータ130は層限界アドレステスト(layer limit address test)を行なう。現時点で好ましい実施例では、32の層がある。コンピュータ130は、それが最上層(Z=31)にあるか最下層(Z=0)にあるかをテストする。ステップ584に移り、コンピュータ130は該層とオペレーションに優先順位を付ける。優先される第1のオペレーションは透明/不透明である。層ゼロ(Z=0)は元の背景シーンである。一例として、層ゼロ上の領域を不透明にするには、層ゼロの上の31層分の同じ領域においては何も不透明であってはならず、したがって、その領域は31層分の各層において透明に設定される。別の例として、もし層7(Z=7)が半透明とすれば、層7の上のすべての層(Z=8〜31)は透明でなければならず、層7の下の層(Z=0〜6)は、層7の半透明に相当するよう透明/不透明が調整される。また別の例では、最上層(Z=31)は不透明にしてあり、そのため他の31層においては何の変化も必要ない。予めセットされるかまたは選択された他のオペレーションについても、その後、優先順位が付けられる。ステップ586においては、コンピュータ130は、予めセットされたまたは選択されたオペレーションの各々について、影響を受ける層を捜し出す。優先リストには、ステップ520から570までの6つのオペレーションに対応する6つの異なる層が存在し得る。ステップ582から586は、層限界アドレステストが各オペレーションに対して済むまで連続的に遂行される。
【0136】
ステップ590において、コンピュータ130は、上述したようにステップ520から570でまたはステップ516から選択されたオペレーションの実行を予定に組み込むためのプロセスを、層毎に行なう。判断ステップ592において、コンピュータ130は実施が予定されたオペレーションがストリップオペレーションであるかをチェックする。もしそうなら、ステップ594において、コンピュータ130は、機能234に関連して前述した通り、四隅において開始しそして列を通って前進する方法を使って、(ステップ590によって実施されるよう選定された)層上でストリップを遂行する。もしスッテプ592におけるテストが否(ストリップではない)であれば、コンピュータ130によって予定されているあるオペレーション、たとえばファズが、列毎に実行する方法を使って(ステップ590により実行されるように選定された)層上で実行される。層のすべての列がステップ596において処理された後、コンピュータ130は、判断ステップ598に前進し、更に層が処理されるかをチェックする。もしそうなら、コンピュータ130はステップ590に回帰して、前に実行されたのと同じ、たとえばファズのオペレーションについて、次に選択された層の予定を組む。1つのオペレーションがすべての望ましい層上で行なわれた後に、判断ステップ600に移って、付加的オペレーションが行なわれるかを判断する。もしそうなら、コンピュータ130はステップ590に回帰して、次に選定される新しいオペレーション、たとえばブレンド、の実行が予定に組まれる。もしすべてのオペレーションがステップ600で完了されれば、コンピュータはステップ602においてコール主フロー200(図3)にリターンする。
【0137】
トップレベルガンマ機能262は興味ある複合イメージを創造するために用いることができる。一例として、ユーザは彼の頭のイメージをホッケー競技カード上のホッケー選手の頭のイメージに置換えたいと希望する。ホッケー選手の顔には、ユーザが最終複合イメージにおいて彼の顔のイメージにあればよいと欲する大きな傷跡がある。トップレベルガンマ機能262を使って、該傷跡のイメージは隔離し不透明とすることができる。ホッケー選手の頭のイメージの残りは透明とする。ユーザの頭のイメージは、透明とする傷跡のある領域を除いて不透明とする。得られた複合イメージ競技カードにおいて、該傷跡は、ホッケー選手の体のイメージ上にあるユーザの頭のイメージの上に現れる。
【0138】
4つの機能が、トップレベルガンマ機能262(図17)のステップ530、540、550または560によって選択されるようにオペレーションを実行する。これらの機能の実行のための実際の予定組みおよびコールはステップ590および596によって遂行される。しかし、参照のために、ステップ530によって選択されるオペレーションをファズ機能530’と称し、ステップ540によって選択されるオペレーションをブレンド機能540’と称し、ステップ550によって選択されるオペレーションをガンマ変更機能550’と称し、そしてステップ560によって選択されるオペレーションを透明/不透明機能560’と称する。これら4つの機能を以下に説明する。ステップ520によって選択される機能は、図5との関係で説明したようにストリップ機能234によって遂行される。ステップ570によって選択される機能は、図14との関係で説明したようにピクセル強調機能268によって遂行される。
【0139】
デジタルイメージ144(図4b)の背景成分114が効果的に除去された後、ユーザ112のイメージを表す成分は維持され(図4b)、およそ1個または2個のピクセルのピクセル幅によって特徴付けられる相対的に「ファジー」な縁を有する。したがって、スムーズな縁を有するデジタルイメージを作るために、デジタルコンピュータ130は、図18に示すように、ファズ機能530’を実行する。ファズ機能530’はピクセル強調機能268(図14)またはトップレベルガンマ機能262(図17)のいずれかによってコールされ得る。該機能はステップ530’において開始し、ステップ680に進む。そこでコンピュータ130が(たとえば最上左ピクセルを選択することにより)ソフトウェアにより決定されたアドレスを使用して縁ピクセルの1つ(すなわち「テスト」ピクセル)を選択し、そしてステップ682においてその色相を決定する。次に、ステップ684において示すように、コンピュータ130は、一列上の3ピクセル間隔に対するテストピクセルの直ぐ近傍にある縁ピクセルを選択し、これらのピクセルの色相を判定する。
【0140】
次に、ステップ686において示すように、コンピュータ130は3つのピクセルの平均色相ガンマ値を判定する。ステップ688において示すように、コンピュータ130は次に、テストピクセルの色相ガンマ値をステップ686で計算された平均値と等価になるように設定する。コンピュータ130は判断ステップ690に進み、テストピクセルがファズ機能530’で処理される最終縁ピクセルであるかを判断する。もしそうでないなら、コンピュータ130はステップ692に進み、テストピクセルの直ぐ近傍にある一つの縁ピクセルを選定し、この近傍ピクセルを新しいテストピクセルとして指定し、そしてステップ682に回帰する。もし、ステップ690において、コンピュータ130がテストピクセルは最終縁ピクセルであったと判定すれば、コンピュータ130はステップ694においてファズ機能530’を出る。
【0141】
コンピュータ130は機能540’において、周辺の背景を、背景シーン層に近傍の層の上の対象物のまたは領域の縁にブレンドする。ブレンド機能540’は、図19を参照することでよりよく理解される。ブレンド機能540’はピクセル強調機能268(図14)またはトップレベルガンマ機能262(図17)のいずれかによりコールされ得る。コンピュータ130はステップ540’で開始し、ステップ700に進んで、テストピクセルとして対象物の縁ピクセルを選定する。対象物の縁ピクセルの選定はソフトウェアが決定したアドレス、たとえば対象物の最初の列の左縁ピクセル、においてなされる。ステップ702に移り、コンピュータ130はテストピクセルの色相ガンマ値を判定する。ステップ702から、コンピュータ130はステップ704に進み、テストピクセルと同じ列において選定されたテストピクセルの直ぐ下の層の上にある背景ピクセルの色相を決定する。次にコンピュータ130はステップ706に進み、2つのピクセルの平均色相を決定する。ステップ706から、コンピュータ130はステップ708に進み、コーリング機能におけるブレンドファクタに従って、テストピクセルの透明/不透明を設定する。
【0142】
ステップ708から、コンピュータ130は判断ステップ710に進む。そこでコンピュータ130は、現行の列に他の縁があるかを、すなわち、テストピクセルが現行の列において処理される最終の縁ピクセルであるかを判断する。もし少なくとも一つの付加的縁が現行の列にあれば、コンピュータはステップ712に進み、次の縁ピクセルを選定する。このピクセルは新しいテストピクセルとして指定され、コンピュータ130はステップ702に回帰する。しかし、もしステップ710の判断により現行列に縁ピクセルがもうなければ、コンピュータ130は判断ステップ714に進み、対象物の最終列がすでに処理されたかを判断するためのチェックを行なう。もしされていなければ、コンピュータ130はステップ716に進み、次の新しい列と該列における最初の縁ピクセルを選定する。このピクセルは新しいテストピクセルとして指定され、そしてコンピュータ130はステップ702に回帰する。もし、ステップ714において、コンピュータ130が対象物の最終列はちょうど処理されたところであると判断すれば、コンピュータ130はステップ718においてブレンド機能540’を出る。
【0143】
図20を参照し、イメージのガンマ属性を変更する機能550’を説明する。機能550’はトップレベルガンマ機能262(図17)によりコールされる。変更され得るガンマ属性のリストは図17に関連して開示した。ファイルヘッダは、ガンマ属性または複数の属性が変化される領域または対象物についての情報を含み得る。背景の複雑さに応じて、ヘッダは写真の現実感を適切に達成するのに必要な付加的情報を含み得る。このガンマ変更機能によりユーザは、層全体または層上の領域または対象物における一つまたはそれ以上のガンマ属性を変更することができる。たとえば、彩度属性は全体の層において40から80の値にまで汲み上げることができる。
【0144】
機能550’が開始し、ステップ730に進んで、コンピュータ130がソフトウェアにより決定されるイメージの位置で処理を開始する。この位置はある実施例においては対象物または領域の上端左隅のX、Y座標であり得、または、層全体であり得る。ステップ732に移り、コンピュータ130は選択された属性、たとえば色相、のピクセル値を変更する。コンピュータ130は次に判断ステップ734に移り、現行の列における(対象物、領域または層の)付加的な予め選択されたピクセルが変更された属性を有するかを判断する。もしそうなら、コンピュータ130はステップ736に移り、現行列の次のピクセルに前進する。コンピュータはその後、ステップ732に回帰する。もし、ステップ734での判定により付加的な予め選択されたピクセルが現行列になければ、コンピュータ130は判断ステップ738に移り、選択された領域の最終列がすでに処理されたかを判断する。もしされていなければ、コンピュータ130はステップ740に移り、選択された領域の次の列上の最初のピクセルに前進し、そしてステップ732に回帰する。しかし、もし、選択された領域、対象物、または層の最終列がすでに処理されていれば、コンピュータは判断ステップ742に移り、変更する属性が他にあるか判断する。もしあれば、コンピュータ130はステップ7130に移り、変更すべき次のガンマ属性を得、そして次にステップ730に回帰する。もし、ステップ742の判断により、変更する属性がもうなければ、コンピュータ130はステップ746においてガンマ変更機能550’を出る。
【0145】
図21を参照し、透明/不透明機能560’について説明する。機能560’はトップレベルガンマ機能262(図17)によりコールされる。機能560’が開始し、判断ステップ770へ進む。そこで、コンピュータ130が対象物上または背景シーン上で該機能が遂行されるかを判断する。もしステップ770において対象物が処理されると判断されれば、コンピュータ130はステップ772に移り、ファイルヘッダにより特定される対象物の最初の列において処理を開始する。コンピュータ130はテストピクセルとして現行列上で対象物の縁ピクセルを選択する。対象物の縁ピクセルの選択は、ソフトウェアにより決定されたアドレス、たとえば対象物の最初の列の左縁ピクセル、においてなされる。ステップ774に移り、コンピュータ130はテストピクセルの透明/不透明(T/O)値を判定する。ステップ774から、コンピュータ130はステップ776に移り、選択されたテストピクセルと同じ列におけるテストピクセルの直ぐ下の層上の背景ピクセルのT/O値を判定する。次にコンピュータ130はステップ778に進み、2つのピクセルの平均T/Oを判定する。ステップ778から、コンピュータ130はステップ780に進み、コーリング機能におけるブレンドファクタに従って、テストピクセルの透明/不透明を設定する。
【0146】
ステップ780から、コンピュータ130は判断ステップ782に進み、現行列において他の縁があるか、すなわち、テストピクセルが現行列において処理される最後の縁ピクセルであるかを判断する。もし、現行列に少なくとも一つの付加的な縁ピクセルがあれば、コンピュータはステップ784に移り、次の縁ピクセルを選定する。このピクセルは新しいテストピクセルとして指定され、そして次にコンピュータ130はステップ774に回帰する。しかし、もし、ステップ782での判断により縁ピクセルがもう現行列になければ、コンピュータ130は、対象物の最終列がすでに処理されたかを判断する判断ステップ786に移る。もしされていなければ、コンピュータ130はステップ778に進み、次の列とその列における最初の縁ピクセルを選択する。このピクセルは新しいテストピクセルとして指定され、そして次にコンピュータはステップ774に回帰する。もし、ステップ786において、コンピュータ130が対象物の最終列はちょうど処理されたところであると判断すれば、コンピュータ130はステップ790に移る。ステップ790において、コンピュータ130は、ストリップ機能234(図10)を使って透明にされた領域の最初の列の最初のピクセルにアクセスすることにより、更なる処理を開始する。
【0147】
もし、判断ステップ770の判断が、機能560’は背景シーンを処理しているというものであれば、コンピュータ130はステップ800に移り、テストピクセルとしてのイメージの最初の列の最初のピクセルにアクセスする。ステップ800の完了後、コンピュータ130はステップ802に移り、ファイルヘッダを用いて、色相、赤、緑、青(RGB)、および強度テストのいずれが実行されるかを判断する。テストはどのような組合せで行なわれてもよく、または5つすべてのテストが実行されてもよい。テストはピクセルの色相、赤、緑、青、または強度値を判定する。各テストにつき、範囲は、テストピクセルに対するテストが該範囲の内側の値に対してかそれとも外側の値に対してかを表す情報とともに、ファイルヘッダに保存される。範囲と内側/外側情報は5つのテストのそれぞれにおいて相違し得る。一例として、予め決定された色相値の限界はゼロから255であり得、またテストは色相値範囲50から100の外側にあるピクセルを捜すかもしれない。これらのピクセルは自身のアルファビットフラグセットを有するであろう。したがって、ステップ804、808、812、816、および820のうち、ファイルヘッダに従って、実行するよう選択されたテストのみについて、各々の範囲がチェックされることになる。そのため、上記の例においては、コンピュータ130は判断ステップ804に移り、テストピクセルの色相値がヘッダに特定された範囲、たとえば50から100、の外側であるかを判断する。もしそうなら、コンピュータ130はステップ806においてアルファビットフラグを透明に設定する。しかし、もしステップ804で、ピクセル値がファイルヘッダ内に色相に対して特定された範囲にマッチしないと判断されれば、コンピュータ130は、もしあればステップ808、812、816、および820のうち、ファイルヘッダにおいて選択された次の判断ブロックに移る。上記ステップ804および806に類似のステップのワンセットは、ファイルヘッダにおいて選択されたそれぞれのテストに対して実行される。
【0148】
上記の1つから5つのテストを終えると、コンピュータ130は判断ステップ824へ移り、少なくとも一つの付加的ピクセルがテストされる現行列にあるかを判断する。もしあれば、コンピュータ130はステップ826に進み、現行列の次のピクセルにアクセスし、そして、上述プロセスを繰返すためにステップ802に回帰する。もし、ステップ824の判断により現行列上の最後のピクセルが処理されていれば、コンピュータ130は、最終列がちょうど処理されたかを判断する判断ステップ828に移る。もしされていなければ、コンピュータ130はステップ830に移り、イメージの次の列に前進し、そしてステップ830に回帰する。もし、ステップ828の判断により最終列がすでに処理されていれば、コンピュータ130はステップ832で透明/不透明機能560’を出る。
【0149】
ステップ790の完了後、コンピュータ130はステップ802に移る。ステップ802から832は、ステップ806、810、814、818、および822に対しアルファビットフラグが透明でなく不透明に設定されていることを除いて、上述のステップに類似している。なぜなら、(ステップ802にステップ790を経て到達したときには)処理されるべき領域はすでに透明だからである。一例として、アルファビットを不透明に設定することにより、ユーザはユーザの頭の形に、陰影保護として知られるドロップシャドーを作ることができる。
【0150】
図22を参照して、傾斜鮮鋭化機能446について説明する。この機能446はピクセル強調機能268(図14)によりコールされる。一例として、機能446は、肌は変えずに眼を強調することができるように、顔のイメージ上の眼を捜すために使われ得る。機能446が開始し、コンピュータ130はステップ850に進み、そして機能268から機能446に渡されるイメージのテストピクセルとして最初の列の最初のピクセルにアクセスする。ステップ852に移り、コンピュータ130はテストピクセルの色相を測定し、判断ステップ854に前進する。ステップ854では、コンピュータは色相値がファイルヘッダにより特定される範囲、たとえば110から150、の外側であるかを判断する。もしそうなら、たとえば、値が110より小さいか150より大きいなら、コンピュータ130はステップ856に移り、アルファビットフラグがそのピクセルに対して設定される。ステップ854の完了後、またはもし、ステップ854の判断により色相値が該範囲に含まれれば、コンピュータ130は判断ステップ858に移る。ステップ858では、コンピュータは少なくとも1つの付加的なピクセルが現行列に残っているかを判断する。もしそうなら、コンピュータ130はステップ860に移り、現行列の次のピクセルにアクセスし、そしてステップ852に回帰する。しかし、もしコンピュータ130がステップ858において、現行列の最終ピクセルはすでに処理されていると判断したならば、判断ステップ862は最終列がちょうど処理されたところであるかを判断する。もしされていなければ、コンピュータ130はステップ864に移り、次の列にアクセスし、そして新しい列を処理するためにステップ852に回帰する。
【0151】
もしステップ862において、最終列がすでに処理されたと判断されれば、コンピュータ130はステップ870に進み、アルファビットフラグセットを有するピクセルを持つ最初の列を捜し出す。ステップ872に移り、コンピュータ130はピクセル上で縁強調を行なう。コンピュータ130はピクセル上で、ピクセルの色相値および色相値に対する範囲のセットそしてファイルヘッダに保存されるそれに伴うオペレーションにより、1、2、または3つのオペレーションを遂行する。3つのオペレーションとは、ピクセルを飽和させる、色相をシフトさせる(黒をより黒くし、白をより白くする)、そして強度をシフトさせる、である。色相値範囲のセットはファイルヘッダ中に、たとえば、もし測定色相値がファイルヘッダ値を40以上超えていれば、飽和オペレーションを行ない、もし測定された値がヘッダ値を70以上超えていれば、シフト強度オペレーションを行ない、そしてもし測定された値がファイルヘッダ値を100以上超えていれば、飽和とシフト色相オペレーションを行なうように、設定される。色相値範囲は背景に特有であり、背景に基づいて望ましい結果が達成されるようにプログラマによって設定される。たとえば、もし背景の対象物の肌の色が緑であれば、この範囲は、背景に配置されている対象物の肌の色もこの緑色にマッチするように設定される。
【0152】
判断ステップ874に移り、コンピュータ130は、現行列においてアルファビットフラグセットを有する少なくとも更に1つのピクセルがあるかを判断する。もしそうなら、コンピュータ130はステップ876に進み、アルファビットフラグを有する現行列における次のピクセルにアクセスし、そしてステップ872に回帰する。しかし、もし判断ステップ874が否であれば、コンピュータ130は、イメージの最終列がすでに処理されているかを判断する判断ステップ878に移る。もしされていなければ、コンピュータ130はステップ880に移り、アルファビットセットを有するピクセルを持つ次の列にアクセスし、そしてステップ872に回帰する。もし、ステップ878の判断により最終列がすでに処理されていれば、傾斜鮮鋭化機能446はステップ882においてピクセル強調機能268にリターンする。
【0153】
ここで述べたソフトウェアは「C」言語で書かれており、これは、カリフォルニア、サンディエゴのかつてのプラクティカリーパーフェクトプロダクションズインク(Practically Perfect Productions, Inc.)、現在のイメージウェアソフトウェアインク(ImageWare Software Inc.)により開発されたフォトノベルティプログラミング言語(Photo Novelty Programming Language)(PNPL)コンパイラを使用して、ソースコードから機械読取り可能な対象物コードに翻訳されたものである。しかし、当業者には、添付のフローダイアグラムにおけるステップが多くの異なるコンパイラおよび/またはプログラミング言語を用いて実行され得ることが判るであろう。
【0154】
ここで述べたイメージ編集システムは多くの環境で用途があり、容易にその使用に適合できるものである。たとえば、このシステムは、たとえばスポーツチーム写真上である人物のイメージの一部分を別の人物のイメージの一部分に置換え得るような複合写真を作成するのに使用され得る。また、ある人物を異国の地にいるように描くポストカードの製作に用いることもできる。またこれは、人物のイメージをカード上で選択された他の情報と結合する、運転免許またはセキュリティアクセスカードの製作等の用途に用いることができる。したがって、特許請求の範囲は、本発明のこれらおよび他の適用がその範囲内に属するように解釈されるものであり、ここに開示した実施例に限定されるものではない。
【0155】
上記詳細な説明では、種々の実施例に適用される、本発明の基礎的かつ新規な特徴を示し、述べ、および指摘したが、説明された考案物の形式および詳細を様々に省略、置換および変更することは、本発明の精神から逸脱することなく、当業者によりなされ得るものであることが理解されるだろう。
【図面の簡単な説明】
【図1】本発明のイメージシステムの好ましい実施例の斜視図であり、部分的に切断されて幻影的に表され、また単一の色相を有する背景の前に人物が着席している。
【図2】図1のイメージシステムの構成要素を示すブロック図である。
【図3a】単一色の背景において用いられる、図1のイメージシステムの最上位レベルのフローダイアグラムである。
【図3b】単一色の背景において用いられる、図1のイメージシステムの最上位レベルのフローダイアグラムである。
【図3c】単一色の背景において用いられる、図1のイメージシステムの最上位レベルのフローダイアグラムである。
【図4a】イメージシステムで図3のプロセスを実施することにより、得られるイメージの例示をシーケンスで示している。
【図4b】イメージシステムで図3のプロセスを実施することにより、得られるイメージの例示をシーケンスで示している。
【図4c】イメージシステムで図3のプロセスを実施することにより、得られるイメージの例示をシーケンスで示している。
【図4d】イメージシステムで図3のプロセスを実施することにより、得られるイメージの例示をシーケンスで示している。
【図4e】イメージシステムで図3のプロセスを実施することにより、得られるイメージの例示をシーケンスで示している。
【図4f】イメージシステムで図3のプロセスを実施することにより、得られるイメージの例示をシーケンスで示している。
【図4g】イメージシステムで図3のプロセスを実施することにより、得られるイメージの例示をシーケンスで示している。
【図4h】イメージシステムで図3のプロセスを実施することにより、得られるイメージの例示をシーケンスで示している。
【図5】イメージシステムの装置を示す斜視図であり、部分的に切断されて幻影的に表され、また単一の色相を有する背景の前に人物が立っている。
【図6】本発明のシステムの他の実施例であり、コインにより動作する電気的イメージ装置を示す斜視図であり、格子状の背景を有し、明確のために一部が取り除かれている。
【図7】図6の格子状の背景が用いられたときの、本発明におけるシステムの総合的プロセスを示すブロック図である。
【図8a】図7のプロセスの間の各種の段階における映像イメージをグラフィックに示す概念図である。
【図8b】図7のプロセスの間の各種の段階における映像イメージをグラフィックに示す概念図である。
【図8c】図7のプロセスの間の各種の段階における映像イメージをグラフィックに示す概念図である。
【図8d】図7のプロセスの間の各種の段階における映像イメージをグラフィックに示す概念図である。
【図9a】図7に示した対象物の縁をファズする(ぼかす)機能を示すフローダイアグラムである。
【図9b】図7のコントロールフローにおける、格子状の背景から一部を除去するための、粗い機能と精密機能を行なうためのフローダイアグラムである。
【図10】図3のグロック234で規定される、ストリップ(除去)機能を行なうためのフローダイアグラムである。
【図11】図3のグロック260で規定される、寸法合せの機能を行なうためのフローダイアグラムである。
【図12】図3のグロック264で規定される、皮膚合せの機能を行なうためのフローダイアグラムである。
【図13】図3のグロック266で規定される、背景ガンマ機能を行なうためのフローダイアグラムである。
【図14】図3のグロック268で規定される、ピクセルの強調(エンハンスメント)機能を行なうためのフローダイアグラムである。
【図15】図3のグロック270で規定される、位置合せ機能を行なうためのフローダイアグラムである。
【図16】図3のグロック274で規定される、積層機能を行なうためのフローダイアグラムである。
【図17a】図3のグロック262で規定される、最上位レベルのガンマ機能を行なうためのフローダイアグラムである。
【図17b】図3のグロック262で規定される、最上位レベルのガンマ機能を行なうためのフローダイアグラムである。
【図18】図17のグロック530に対応する、ファズ機能を行なうためのフローダイアグラムである。
【図19】図12のグロック540に対応する、混合機能を行なうためのフローダイアグラムである。
【図20】図17のグロック550に対応する、ガンマ変更機能を行なうためのフローダイアグラムである。
【図21】図12のグロック560に対応する、透明不透明機能を行なうためのフローダイアグラムである。
【図22】図14のグロック446に対応する、傾斜鮮鋭化機能を行なうためのフローダイアグラムである。
【符号の説明】
106:カメラ
110:ビデオモニタ
116:支払いアダプタ
118:プリンタ
130:コンピュータ
132:グラフィック インターフェイス
134:ストーレッジ

Claims (40)

  1. 3次元におけるデジタルイメージを選択的に結合する方法であって、該方法は、
    背景のイメージを提供するステップを含み、前記背景は、1方向に互いに重ねられた複数のX−Y平面のうち1つに割当てられたコンポーネントを有し、それにより3次元に対する前記コンポーネントの相対位置が規定され、さらに、
    背景のイメージと結合して複合イメージを形成するための対象物のイメージを提供するステップを含み、前記対象物の前記イメージの位置は、前記複数のX−Y平面に対するX、YおよびZ方向で規定され、さらに、
    背景のイメージと対象物のイメージとを結合して複合イメージを形成するステップを含み、Z方向で対象物よりも観察位置に近く、かつ、X−Y平面で対象物の第1の部分の位置に対応するコンポーネントの部分は、その対象物の前記第1の部分を視界から遮り、また、Z方向で対象物よりも観察位置から遠く、かつ、X−Y平面で対象物の第2の部分の位置に対応するコンポーネントの部分は、視界から遮られる、方法。
  2. 該背景のイメージを提供するステップは、背景のデジタル化されたイメージを提供するステップを含み、該対象物のイメージを提供するステップは、対象物のデジタル化されたイメージを提供するステップを含み、該結合するステップは、デジタル化されたイメージを結合してデジタル化された複合イメージを形成するステップを含む、請求項1に記載の方法。
  3. 該対象物のデジタル化されたイメージは複数のピクセルを有し、該対象物のデジタル化されたイメージの一部のみが該背景のデジタル化されたイメージに結合され、該対象物のイメージの、該背景のイメージに結合される該部分は、第1の色相を有する対象物の縁および第2の色相を有する対象物の背景により境界が定められ、該方法は、該結合するステップの前に、
    対象物の背景ピクセルおよびすべてではない幾つかの対象物ピクセルについて、それらピクセルの色相を所定の色相と比較して前記対象物の縁を探し出すステップと、
    該探し出した縁を用いて対象物のイメージから対象物の背景を除去するステップと、を含む、請求項2に記載の方法。
  4. 前記方法はさらに、
    デジタル化されたイメージからの前記対象物を第2のデジタル化されたイメージ上に重ねるステップを含み、前記第2のデジタル化されたイメージは色相を有し、さらに、
    前記対象物の前記縁に沿って前記第2のデジタル化されたイメージおよび前記対象物の前記色相を平均化し、それにより前記第2のデジタル化されたイメージ内にブレンドされた対象物を形成するステップと、
    前記ブレンドされた対象物の少なくとも一部分における前記第1の色相および、前記第2のデジタル化されたイメージ内の第3の色相のうち、一方の色相を他方の色相に等しくなるように設定するステップと、を含む、請求項3に記載の方法。
  5. 前記方法は、該結合するステップの前に、
    前記対象物の第1の色相における前記ガンマを測定するステップと、
    前記背景の第2の色相における前記ガンマを測定するステップと、
    前記対象物または前記背景のうち選択された一方の前記ガンマを、他方の前記ガンマと実質的に等しくなるように変更するステップと、を含む、請求項3に記載の方法。
  6. 前記方法は、該結合するステップの前に、
    背景イメージの選択された部分のサイズの表示を提供するステップと、
    該対象物イメージの、該背景イメージと結合されるべき部分のサイズの表示を提供するステップと、
    該対象物イメージの部分のサイズの該表示と該背景イメージの選択された部分のサイズの該表示とを比較して、それらの相対的なサイズを判定するステップと、
    該比較するステップの結果に応答して、該結合されるべき対象物イメージのサイズを変更するステップと、を含む、請求項1に記載の方法。
  7. 該背景イメージの選択された部分は、前記背景イメージの、結合されるべき対象物により置換えられる部分である、請求項6に記載の方法。
  8. 該背景イメージの選択された部分は第1の人物の頭部のイメージを含み、該結合されるべき対象物イメージの部分は第2の人物の頭部のイメージ含み、該背景イメージの選択された部分のサイズの該表示は該第1の人物の頭部の選択された特徴間の距離を含み、該結合されるべき対象物イメージ部分のサイズの該表示は該第2の人物の頭部の選択された特徴間の距離を含む、請求項7に記載の方法。
  9. 該第1および第2の人物の頭部の選択された特徴間の距離は、それぞれ、頭部の顎の底部と瞳孔間に延びる線との間の距離を含む、請求項8に記載の方法。
  10. 3次元においてイメージを結合するためのシステムであって、該システムは、
    複数のピクセルを有する第1のデジタルイメージを記憶するためのメモリを有するコンピュータを含み、第1のデジタルイメージは、第1の色相を有する縁により境界が定められた対象物と第2の色相を有する背景とを有し、さらに、
    背景のイメージを提供する手段を含み、前記背景は、1方向に互いに重ねられた複数のX−Y平面のうちの1つに割当てられたコンポーネントを有し、それにより3次元に対する前記コンポーネントの相対位置が規定され、さらに、
    前記背景の前記イメージに結合して複合イメージを形成するための前記対象物のイメージを提供する手段を含み、前記対象物の前記イメージの位置が、前記複数のX−Y平面に対するX、YおよびZ方向で規定され、さらに、
    背景ピクセルおよびすべてではない幾つかの対象物ピクセルについて、前記対象物ピクセルおよび前記背景の前記第1の色相および前記第2の色相を、所定の色相と比較して、前記第1のデジタルイメージ内の前記縁を探し出す手段と、
    前記探し出した縁を用いて前記第1のデジタルイメージから前記背景を除去する手段と、を含む、システム。
  11. 該対象物を第2のデジタルイメージに結合する手段をさらに含み、背景のイメージと対象物のイメージを結合して複合イメージを形成する前記手段において、Z方向で対象物よりも観察位置に近く、かつ、X−Y平面で対象物の第1の部分の位置に対応するコンポーネントの部分は、その対象物の前記第1の部分を視界から遮り、また、Z方向で対象物よりも観察位置から遠く、かつ、X−Y平面で対象物の第2の部分の位置に対応するコンポーネントの部分は、視界から遮られる、請求項10に記載のシステム。
  12. 前記結合する手段は、前記対象物のピクセルの前記第1の色相と前記背景の前記第2の色相とを平均して、平均化された色相を生成するための手段を有し、前記対象物ピクセルの前記第1の色相は、前記平均化された色相に等しくなるように設定されて、ブレンドされた対象物が生成される、請求項10に記載のシステム。
  13. 該ブレンドされた対象物の少なくとも一部分は第1のガンマを有し、該第2のデジタルイメージの少なくとも一部分は第2のガンマを有し、該システムはさらに、第1および第2のガンマのうち一方を他方のガンマと等しくなるように設定するための手段を含む、請求項12に記載のシステム。
  14. 各色相は数値で特徴付けられる、請求項10に記載のシステム。
  15. 該背景は複数の2次元のボックスを含み、各ボックスは複数のドットをその中に有し、該コンピュータは該背景イメージをメモリに記憶し、該縁を探し出す手段は、第1のデジタルイメージ内のピクセルの色相と該メモリに記憶された背景のイメージの対応するピクセルの色相とを比較し、各比較のために予め定められた色相はしたがって、その背景イメージ内の対応するピクセルの色相である、請求項14に記載のシステム。
  16. 該縁を探し出す手段は、1つのピクセルの数値とそのピクセルに近接するピクセルの数値との差を判定し、その差を予め定められた差と比較し、各比較のための該予め定められた色相はしたがって、その近接するピクセルの色相である、請求項14に記載のシステム。
  17. 該第1のデジタルイメージから背景を除去する手段は、背景のすべてのピクセルを予め定められた透明値に設定する、請求項10に記載のシステム。
  18. 該コンピュータに接続されたビデオカメラをさらに含み、該カメラは第1のデジタルイメージとして記憶される信号を生成する、請求項10に記載のシステム。
  19. 該コンピュータに接続されて該第1のデジタルイメージを表示するためのビデオモニタをさらに含む、請求項16に記載のシステム。
  20. 該コンピュータに接続されてハードコピーイメージを形成するためのプリンタをさらに含み、該システムはさらに、該コンピュータに接続されて貨幣を受け付けかつそれに応答して該システムを起動するための貨幣アクセプタを含む、請求項10に記載のシステム。
  21. 第1のイメージ内の対象物のガンマを測定し、かつ第2のイメージ内の背景のガンマを測定する手段と、
    該対象物または背景のうち選択された一方のガンマをシフトして他方のガンマと実質的に等しくする手段と、を含む、ガンマ相関器。
  22. 第1のデジタルイメージを表す信号を受取るコンピュータを含み、該信号は対象物を表す対象物コンポーネントを含み、該対象物は第1の色相を有する縁により境界が定められ、該信号はさらに第2の色相を有した背景を表す背景コンポーネントを含み、該コンピュータは、対象物の縁の場所を判定して、対象物から背景を取除き、その後、その縁の外側にある第1のデジタルイメージのすべての部分をその縁の内側にある第1のデジタルイメージのすべての部分から除去する手段を有する、イメージ結合器。
  23. 該第1のデジタルイメージは周辺部を有し、該コンピュータはさらに、
    該周辺部の一部の色相と予め定められた色相との差を判定する手段と、
    その差を予め定められた差と比較する手段とを含み、
    その差が予め定められた差を越えるときは、該コンピュータは、その周辺部の一部の場所を対象物の一部の場所と識別し、その後、その周辺部の他の部分の色相と予め定められた色相とを比較し、
    その差が予め定められた差より小さいときは、該コンピュータは、第1のデジタルイメージの、周辺部に対して内側に連続する部分の色相と予め定められた色相とを、該部分の色相と該予め定められた色相との差が予め定められた差を越えるまで、比較し、
    対象物の全体の縁が識別されるまでこれらを継続する、
    請求項22に記載のイメージ結合器。
  24. 該背景は単一の連続した色相を有し、該予め定められた色相はその背景の色相である、請求項23に記載のイメージ結合器。
  25. 該背景は複数の2次元のボックスを含み、各ボックスはその中に複数のドットを有し、該コンピュータはメモリに記憶された背景イメージを有し、該記憶されたイメージは該第1のデジタルイメージに対応し、該コンピュータは、少なくとも幾つかの第1のビデオイメージの色相と、メモリに記憶された背景イメージの対応する部分の色相とを比較して、対象物の縁の場所を判定する、請求項23に記載のイメージ結合器。
  26. 該コンピュータは予め選定された背景を表す第2のデジタル信号を受取り、該コンピュータはその予め選定された背景上に該対象物を重ね合せる、請求項23に記載のイメージ結合器。
  27. 該予め選択された背景は少なくとも1つの色相を有し、該コンピュータは該対象物の色相と該予め選択された背景の色相とを平均して、平均化された色相を表す平均化された信号を生成し、該コンピュータは該対象物の縁の色相をその平均化された色相に等しくなるように変更して、ブレンドされた対象物を形成する、請求項26に記載のイメージ結合器。
  28. 該ブレンドされた対象物の少なくとも一部分は第1のガンマを有し、該予め選択された背景の少なくとも一部分は第2のガンマを有し、該コンピュータは、第1のガンマおよび第2のガンマのうち一方を他方のガンマに等しくなるように設定する、請求項27に記載のイメージ結合器。
  29. 該デジタル信号は複数のピクセルを含み、各ピクセルは色相を有し、各色相は対応する数値を有し、該背景は連続する色相であり、該コンピュータは、1つのピクセルの該数値と隣接するピクセルの該数値の差を判定し、その差と予め定められた差とを比較することにより、該対象物の縁の場所を判定する、請求項23に記載のイメージ結合器。
  30. 該コンピュータは、すべての背景ピクセルを予め選択された透明値に設定して、該対象物コンポーネントから該背景コンポーネントを取除く、請求項29に記載のイメージ結合器。
  31. 該信号を生成するためのビデオカメラをさらに含み、該コンピュータは該信号を受取るためにそのビデオカメラに電気的に接続される、請求項22に記載のイメージ結合器。
  32. 該対象物のイメージを表示するために、該コンピュータに電気的に接続されたビデオモニタをさらに含む、請求項31に記載のイメージ結合器。
  33. 該対象物を印刷するために、該コンピュータに電気的に接続されたプリンタをさらに含み、該システムは、貨幣を受付けてそれに応答して該システムを起動するよう該コンピュータに動作的に係合された貨幣アクセプタをさらに含む、請求項32に記載のイメージ結合器。
  34. 選択されたデジタル化対象物イメージのサイズを、選択されたデジタル化背景のイメージとマッチさせて複合イメージを形成するようにサイズ決めするための方法であって、該方法は、
    前記背景イメージの選択された部分のサイズの表示を提供するステップと、
    前記背景イメージと結合されるべき前記対象物イメージの部分のサイズの表示を提供するステップと、
    前記対象物イメージの部分のサイズの該表示と前記背景イメージの選択された部分のサイズの該表示とを比較してそれらの相対的なサイズを決定するステップと、
    該比較するステップの結果に応答して、前記結合されるべき対象物イメージのサイズを変更するステップと、を含む、方法。
  35. 前記背景イメージの該選択された部分は、前記背景イメージの、前記結合されるべき対象物イメージによって置換えられるべき部分である、請求項34に記載の方法。
  36. 前記背景イメージの選択された部分は第1の人物の頭部のイメージを含み、前記対象物イメージの結合されるべき部分は第2の人物の頭部のイメージ含み、前記背景イメージの選択された部分のサイズの該表示は、前記第1の人物の頭部の選択された特徴間の第1の距離を含み、前記対象物イメージの結合されるべき部分のサイズの該表示は、前記第2の人物の頭部の選択された特徴間の第2の距離を含む、請求項34に記載の方法。
  37. 前記第1および前記第2の人物の頭部の選択された特徴間の距離は、それぞれ、頭部の顎の底部と瞳孔間に延びる線との間の距離を含む、請求項36に記載の方法。
  38. 前記対象物イメージは、積層するステップによって前記背景イメージと結合され、該積層するステップは、
    層限界アドレステストを行なうステップと、
    層の優先順位を付けるステップと、
    前記層を1層ずつ選択するステップと、
    前記選択された背景イメージに前記対象物イメージを位置付けるステップと、
    主コントロールフローを用いて積層機能を呼出すステップと、
    前記積層機能内のアーギュメントから前記対象物を識別するステップと、
    前記対象物を連結リストに書込むステップとを含み、前記リストは、名前、層、前記層内の位置、および前記対象物のアルファビットフラグを含み、さらに、前記連結リスト内の属性に基づいて前記対象物を表示するステップと、を含む、請求項34に記載の方法。
  39. 前記位置付けるステップはさらに、
    前記対象物イメージ上の顎の底部と首の中央部における場所指定手段のアドレスを求めるステップと、
    前記場所指定手段の前記アドレスを検索するステップと、
    前記アドレスを、前記背景イメージの前記場所指定手段と等しくなるように設定するステップと、を含む、請求項38に記載の方法。
  40. 対象物のイメージおよび背景のイメージを3次元で積層する方法であって、該方法は、
    背景イメージを提供するステップを含み、前記背景は1方向に互いに重ねられた複数のX−Y平面のうち1つに割当てられたコンポーネントを有し、それにより3次元に対する前記コンポーネントの相対位置が規定され、さらに、
    前記背景イメージと結合して複合イメージを形成するための対象物イメージを提供するステップを含み、前記対象物イメージの位置は、前記複数のX−Y平面に対するX、YおよびZ方向で規定され、さらに、
    前記背景イメージと前記対象物イメージとを結合して複合イメージを形成するステップを含み、Z方向で前記対象物よりも観察位置に近く、かつ、前記X−Y平面で前記対象物の第1の部分の位置に対応するコンポーネントの部分は、前記対象物イメージの前記第1の部分を視界から遮り、また、Z方向で前記対象物よりも観察位置から遠く、かつ、前記X−Y平面で前記対象物の第2の部分の位置に対応するコンポーネントの部分は、視界から遮られ、さらに、
    層限界アドレステストを実施するステップと、
    層の優先順位を付けるステップと、
    前記層を1層ずつ選択するステップと、
    主コントロールフローを用いて積層機能を呼出して、前記積層機能内のアーギュメントから前記対象物を識別するステップと、
    前記対象物を連結リストに書込むステップとを含み、前記リストは、名前、層、前記層内の位置、および前記対象物のアルファビットフラグを含み、さらに、
    前記対象物イメージを1層上の1つのまとまりに縫合するステップと、
    前記連結リストから前記対象物を除去するステップと、
    前記対象物を表示するステップと、
    前記対象物を前記背景内に縫合するステップと、を含む、方法。
JP2003199753A 1992-02-25 2003-07-22 映像イメージの一部を背景に挿入するためのイメージ編集システム Expired - Lifetime JP3936680B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/844,299 US5345313A (en) 1992-02-25 1992-02-25 Image editing system for taking a background and inserting part of an image therein
US07/919,584 US5577179A (en) 1992-02-25 1992-07-23 Image editing system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP51507693A Division JP3936387B2 (ja) 1992-02-25 1993-02-25 映像イメージの一部を背景に挿入するためのイメージ編集システム

Publications (2)

Publication Number Publication Date
JP2004166221A true JP2004166221A (ja) 2004-06-10
JP3936680B2 JP3936680B2 (ja) 2007-06-27

Family

ID=25292326

Family Applications (2)

Application Number Title Priority Date Filing Date
JP51507693A Expired - Lifetime JP3936387B2 (ja) 1992-02-25 1993-02-25 映像イメージの一部を背景に挿入するためのイメージ編集システム
JP2003199753A Expired - Lifetime JP3936680B2 (ja) 1992-02-25 2003-07-22 映像イメージの一部を背景に挿入するためのイメージ編集システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP51507693A Expired - Lifetime JP3936387B2 (ja) 1992-02-25 1993-02-25 映像イメージの一部を背景に挿入するためのイメージ編集システム

Country Status (3)

Country Link
US (2) US5345313A (ja)
JP (2) JP3936387B2 (ja)
WO (1) WO1993017517A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
KR20100082293A (ko) * 2009-01-08 2010-07-16 삼성전자주식회사 분리된 화상들로부터 하나의 결합된 화상을 생성하기 위한 방법과 그를 이용한 장치
US7868922B2 (en) 2006-02-14 2011-01-11 Tessera Technologies Ireland Limited Foreground/background segmentation in digital images
JP2019110544A (ja) * 2014-02-07 2019-07-04 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム
KR20190133867A (ko) * 2018-05-24 2019-12-04 (주)네모랩스 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법
US11258965B2 (en) 2017-08-18 2022-02-22 Samsung Electronics Co., Ltd. Apparatus for composing objects using depth map and method for the same

Families Citing this family (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6507361B1 (en) * 1991-03-14 2003-01-14 Pamela Barber Electronic personalized imaging production system including means for combining foreground images with background images
US5345313A (en) * 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
US5681223A (en) * 1993-08-20 1997-10-28 Inventures Inc Training video method and display
US5530793A (en) * 1993-09-24 1996-06-25 Eastman Kodak Company System for custom imprinting a variety of articles with images obtained from a variety of different sources
US7859551B2 (en) 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5630037A (en) * 1994-05-18 1997-05-13 Schindler Imaging, Inc. Method and apparatus for extracting and treating digital images for seamless compositing
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5668605A (en) * 1994-10-25 1997-09-16 R. T. Set Object keying in video images based on distance from camera
DE9418382U1 (de) * 1994-11-16 1996-03-21 Smit, Michael, 50997 Köln Mischbildgenerator
US6977673B1 (en) 1995-02-23 2005-12-20 Avid Technology, Inc. Portable moving picture recording device including switching control for multiple data flow configurations
US5999406A (en) * 1995-02-23 1999-12-07 Avid Technology, Inc. Dockable electronic equipment container
US7623754B1 (en) 1995-02-23 2009-11-24 Avid Technology, Inc. Motion picture recording device using digital, computer-readable non-linear media
US5729674A (en) * 1995-04-07 1998-03-17 Computer Humor Systems, Inc. Method and apparatus for producing personalized graphics and personalized text printed materials
US7532807B2 (en) 1995-04-07 2009-05-12 Avid Technology, Inc. Combined editing system and digital moving picture recording system
IL114839A0 (en) * 1995-08-04 1997-02-18 Spiegel Ehud Apparatus and method for object tracking
US5587740A (en) * 1995-08-17 1996-12-24 Brennan; James M. Digital photo kiosk
US5913019A (en) * 1996-01-22 1999-06-15 Foto Fantasy, Inc. Direct view interactive photo kiosk and composite image forming process for same
US5623581A (en) * 1996-01-22 1997-04-22 Apbi Interactive Kiosk Systems Direct view interactive photo kiosk and image forming process for same
US6052648A (en) * 1996-04-12 2000-04-18 Earthwatch Communications, Inc. Method and system for display of weather-related information
US5897220A (en) * 1996-08-30 1999-04-27 American Alpha Inc. Automatic photograph booth for forming sketches
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5986718A (en) * 1996-09-19 1999-11-16 Video Magic, Inc. Photographic method using chroma-key and a photobooth employing the same
US6342900B1 (en) * 1996-12-06 2002-01-29 Nikon Corporation Information processing apparatus
US6072537A (en) * 1997-01-06 2000-06-06 U-R Star Ltd. Systems for producing personalized video clips
US6621524B1 (en) * 1997-01-10 2003-09-16 Casio Computer Co., Ltd. Image pickup apparatus and method for processing images obtained by means of same
JPH10208025A (ja) * 1997-01-17 1998-08-07 Namco Ltd 画像生成装置及び画像生成方法
JPH10228547A (ja) * 1997-02-14 1998-08-25 Canon Inc 画像編集方法及び装置並びに記憶媒体
US6195513B1 (en) * 1997-02-17 2001-02-27 Fuji Photo Film Co., Ltd. Electronic camera accessory and image composition system
US5764306A (en) * 1997-03-18 1998-06-09 The Metaphor Group Real-time method of digitally altering a video data stream to remove portions of the original image and substitute elements to create a new image
US6215505B1 (en) 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
US5923406A (en) * 1997-06-27 1999-07-13 Pitney Bowes Inc. Personal postage stamp vending machine
US6031934A (en) * 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
WO1999019828A1 (en) * 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6021417A (en) * 1997-10-31 2000-02-01 Foto Fantasy, Inc. Method of stimulating the creation of an artist's drawing or painting, and device for accomplishing same
JPH11219446A (ja) * 1998-02-03 1999-08-10 Matsushita Electric Ind Co Ltd 映像音響再生システム
JPH11296666A (ja) * 1998-02-16 1999-10-29 Sony Corp 画像接続方法、画像接続装置、並びに、画像接続処理プログラムが格納された記録媒体
CA2323530A1 (en) * 1998-03-13 1999-09-16 Computer Humor Systems, Inc. Method and apparatus for producing personalized graphics and personalized text printed materials
DE69937298T2 (de) * 1998-06-22 2008-02-07 Fujifilm Corp. Bilderzeugungsgerät und verfahren
US6134345A (en) * 1998-08-28 2000-10-17 Ultimatte Corporation Comprehensive method for removing from an image the background surrounding a selected subject
US6674485B2 (en) * 1998-08-31 2004-01-06 Hitachi Software Engineering Co., Ltd. Apparatus and method for image compositing
US6161131A (en) * 1998-10-02 2000-12-12 Garfinkle; Jeffrey Digital real time postcards including information such as geographic location or landmark
AU6417699A (en) * 1998-10-07 2000-04-26 Oneplace Ltd. Image compositing system and method
US6407745B1 (en) * 1998-10-08 2002-06-18 Brother Kogyo Kabushiki Kaisha Device, method and storage medium for processing image data and creating embroidery data
US6636222B1 (en) 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6573905B1 (en) 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US6798420B1 (en) * 1998-11-09 2004-09-28 Broadcom Corporation Video and graphics system with a single-port RAM
US7446774B1 (en) 1998-11-09 2008-11-04 Broadcom Corporation Video and graphics system with an integrated system bridge controller
US6661422B1 (en) * 1998-11-09 2003-12-09 Broadcom Corporation Video and graphics system with MPEG specific data transfer commands
US7982740B2 (en) 1998-11-09 2011-07-19 Broadcom Corporation Low resolution graphics mode support using window descriptors
US6738072B1 (en) 1998-11-09 2004-05-18 Broadcom Corporation Graphics display system with anti-flutter filtering and vertical scaling feature
US6768774B1 (en) 1998-11-09 2004-07-27 Broadcom Corporation Video and graphics system with video scaling
US6853385B1 (en) 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US6448974B1 (en) * 1999-02-26 2002-09-10 Antonio Asaro Method and apparatus for chroma key data modifying insertion without video image fragmentation
JP3009665B1 (ja) * 1999-03-17 2000-02-14 株式会社メイクソフトウェア カ―ド製造機、カ―ド販売機、カ―ドおよびカ―ド型遊戯具
US6473094B1 (en) * 1999-08-06 2002-10-29 Avid Technology, Inc. Method and system for editing digital information using a comparison buffer
EP1079360A1 (en) * 1999-08-26 2001-02-28 Toppan Printing Co., Ltd. Message providing apparatus
US6456395B1 (en) * 1999-08-30 2002-09-24 Microsoft Corporation Method for separating colors of encapsulated postscript images
JP2001078017A (ja) * 1999-09-07 2001-03-23 Dainippon Printing Co Ltd 画像処理システム
JP2001186323A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
US20010034668A1 (en) * 2000-01-29 2001-10-25 Whitworth Brian L. Virtual picture hanging via the internet
KR20000050129A (ko) * 2000-05-17 2000-08-05 정귀철 디지털 사진편집 및 합성 방법
US6782128B1 (en) * 2000-07-28 2004-08-24 Diane Rinehart Editing method for producing a doll having a realistic face
US6766054B1 (en) * 2000-08-14 2004-07-20 International Business Machines Corporation Segmentation of an object from a background in digital photography
US7230628B1 (en) * 2000-10-05 2007-06-12 Shutterfly, Inc. Previewing a framed image print
JP3983469B2 (ja) * 2000-11-14 2007-09-26 富士フイルム株式会社 画像処理装置、方法及び記録媒体
JP3878408B2 (ja) * 2000-11-16 2007-02-07 株式会社リコー 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US6809762B1 (en) * 2001-01-22 2004-10-26 Brett James Donnelly Multiple photograph service method and apparatus
US7392287B2 (en) 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
US6928192B2 (en) * 2001-04-19 2005-08-09 Koninklijke Philips Electronics N.V. User interface for interactive removal of defects in an image sequence
FR2824164B1 (fr) * 2001-04-26 2003-08-15 Ge Med Sys Global Tech Co Llc Systeme d'imagerie medicale a affichage d'une representation tridimensionnelle
US20020169639A1 (en) * 2001-05-09 2002-11-14 Jeffrey Yu Systems for generating radiology reports
US6885767B1 (en) 2001-05-11 2005-04-26 Paul Howell Silhouetting apparatus and method
US7113633B2 (en) * 2001-07-02 2006-09-26 Photoinaphoto.Com, Inc. System and method for discovering and categorizing attributes of a digital image
US7650044B2 (en) * 2001-07-30 2010-01-19 Cedara Software (Usa) Limited Methods and systems for intensity matching of a plurality of radiographic images
US7127090B2 (en) 2001-07-30 2006-10-24 Accuimage Diagnostics Corp Methods and systems for combining a plurality of radiographic images
US20030063800A1 (en) * 2001-10-03 2003-04-03 Tiger Color Inc. Image processing method for deleting background from picture in digital image representation
JP3856211B2 (ja) * 2001-12-14 2006-12-13 オムロンエンタテインメント株式会社 画像印刷装置および方法、プログラム
US20030128873A1 (en) * 2002-01-07 2003-07-10 Barry Bronson Imaging system and method for generating a digital image file
US6903751B2 (en) * 2002-03-22 2005-06-07 Xerox Corporation System and method for editing electronic images
US7277579B2 (en) * 2002-05-31 2007-10-02 Arcsoft, Inc. Smart scan
JP2004178163A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Ind Co Ltd 画像処理方法及びその装置
US7212308B2 (en) * 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
JP4055126B2 (ja) * 2003-02-14 2008-03-05 富士フイルム株式会社 人物画像処理方法及び装置
US7415204B1 (en) * 2003-05-15 2008-08-19 Digital Imagination, Inc. Photo booth and method for personalized photo books and the like
US7982751B2 (en) * 2003-07-11 2011-07-19 The University Of North Carolina Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop
JP2005092284A (ja) * 2003-09-12 2005-04-07 Nintendo Co Ltd 撮像画像合成装置および撮像画像合成プログラム
US20050157175A1 (en) 2003-09-22 2005-07-21 Fuji Xerox Co., Ltd. Image information processing system, image information processing apparatus, image information outputting method, code information processing apparatus and program thereof
US20050063013A1 (en) * 2003-09-22 2005-03-24 Xerox Corporation Enhancing black & white image quality with limited image processing resources
JP4383140B2 (ja) * 2003-09-25 2009-12-16 任天堂株式会社 画像処理装置および画像処理プログラム
US7324166B1 (en) * 2003-11-14 2008-01-29 Contour Entertainment Inc Live actor integration in pre-recorded well known video
US20050110801A1 (en) * 2003-11-20 2005-05-26 I-Jong Lin Methods and systems for processing displayed images
US7800582B1 (en) * 2004-04-21 2010-09-21 Weather Central, Inc. Scene launcher system and method for weather report presentations and the like
JP4227561B2 (ja) * 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
US7865834B1 (en) 2004-06-25 2011-01-04 Apple Inc. Multi-way video conferencing user interface
US7751643B2 (en) * 2004-08-12 2010-07-06 Semiconductor Insights Inc. Method and apparatus for removing uneven brightness in an image
US7852353B1 (en) 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
US9948870B2 (en) * 2005-04-15 2018-04-17 Freeze Frame, Llc Interactive guest image capture using video wall/floor/ceiling displays for selections of background scenes, and selection/distribution of customized souvenir portfolios including merged images/sound
US9214032B2 (en) * 2005-04-15 2015-12-15 Freeze Frame, Llc Interactive guest image capture using video wall/floor/ceiling displays for selections of background scenes, and selection/distribution of customized
TWI258682B (en) * 2005-05-06 2006-07-21 Sunplus Technology Co Ltd Interactive video game system
US8085318B2 (en) 2005-10-11 2011-12-27 Apple Inc. Real-time image capture and manipulation based on streaming data
US20060284895A1 (en) * 2005-06-15 2006-12-21 Marcu Gabriel G Dynamic gamma correction
US7663691B2 (en) 2005-10-11 2010-02-16 Apple Inc. Image capture using display device as light source
US8732087B2 (en) 2005-07-01 2014-05-20 The Invention Science Fund I, Llc Authorization for media content alteration
US9092928B2 (en) 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US8203609B2 (en) 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
US8126190B2 (en) 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
US8910033B2 (en) 2005-07-01 2014-12-09 The Invention Science Fund I, Llc Implementing group content substitution in media works
US7860342B2 (en) 2005-07-01 2010-12-28 The Invention Science Fund I, Llc Modifying restricted images
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US9065979B2 (en) 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
WO2007016596A2 (en) * 2005-07-29 2007-02-08 Pamela Barber Digital imaging method and apparatus
US8842197B2 (en) 2005-11-30 2014-09-23 Scenera Mobile Technologies, Llc Automatic generation of metadata for a digital image based on ambient conditions
KR100698845B1 (ko) * 2005-12-28 2007-03-22 삼성전자주식회사 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치
TWI338514B (en) * 2006-01-20 2011-03-01 Au Optronics Corp Image processing method for enhancing contrast
JP2007193730A (ja) * 2006-01-23 2007-08-02 Seiko Epson Corp 印刷装置、画像処理装置、印刷方法、および画像処理方法
KR100744523B1 (ko) * 2006-03-29 2007-08-01 엘지전자 주식회사 영상 촬영 기능을 갖는 프로젝터 및 그의 영상 촬영 방법
KR20070117104A (ko) * 2006-06-07 2007-12-12 삼성전자주식회사 휴대용 단말기에서 이미지 합성 장치 및 방법
WO2007142643A1 (en) * 2006-06-08 2007-12-13 Thomson Licensing Two pass approach to three dimensional reconstruction
US8130226B2 (en) * 2006-08-04 2012-03-06 Apple Inc. Framework for graphics animation and compositing operations
US9019300B2 (en) 2006-08-04 2015-04-28 Apple Inc. Framework for graphics animation and compositing operations
JP2008124830A (ja) * 2006-11-13 2008-05-29 Funai Electric Co Ltd 撮像装置
US8234392B2 (en) 2006-11-17 2012-07-31 Apple Inc. Methods and apparatuses for providing a hardware accelerated web engine
US7911481B1 (en) * 2006-12-14 2011-03-22 Disney Enterprises, Inc. Method and apparatus of graphical object selection
US20080256441A1 (en) * 2007-04-16 2008-10-16 Yahoo! Inc. Flash rich textfields
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
US8122378B2 (en) * 2007-06-08 2012-02-21 Apple Inc. Image capture and manipulation
US20080303949A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Manipulating video streams
US8456577B2 (en) * 2007-06-29 2013-06-04 Gvbb Holdings S.A.R.L. Method and apparatus for chroma key production
WO2009005511A1 (en) * 2007-06-29 2009-01-08 Thomson Licensing Method and apparatus for chroma key production
US20090044117A1 (en) 2007-08-06 2009-02-12 Apple Inc. Recording and exporting slide show presentations using a presentation application
US8330730B1 (en) 2007-09-04 2012-12-11 Imaging Systems Technology, Inc. Calibrating of interactive touch system for image compositing
US20090073186A1 (en) * 2007-09-18 2009-03-19 Roberto Caniglia Automated generation of images
US8270764B1 (en) * 2007-09-21 2012-09-18 Adobe Systems Incorporated Replacing pixels within a boundary area of a base image to generate a composite image
US7999862B2 (en) * 2007-10-24 2011-08-16 Lightcraft Technology, Llc Method and apparatus for an automated background lighting compensation system
US9901829B2 (en) * 2008-07-15 2018-02-27 Pamela Barber Digital imaging method and apparatus
US20100118175A1 (en) * 2008-11-10 2010-05-13 Victor Charles Bruce Imaging Apparatus For Image Integration
WO2010076819A1 (en) * 2008-12-30 2010-07-08 Giochi Preziosi S.P.A. A portable electronic apparatus for acquiring an image and using such image in a video game context
JP5385032B2 (ja) * 2009-07-08 2014-01-08 ソニーモバイルコミュニケーションズ株式会社 撮影装置および撮影制御方法
EP2284800B1 (en) * 2009-07-23 2018-09-05 Samsung Electronics Co., Ltd. Method and system for creating an image
US9535599B2 (en) * 2009-08-18 2017-01-03 Adobe Systems Incorporated Methods and apparatus for image editing using multitouch gestures
JP2011133649A (ja) * 2009-12-24 2011-07-07 Denso Corp 画像表示制御装置
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US8861890B2 (en) 2010-11-24 2014-10-14 Douglas Alan Lefler System and method for assembling and displaying individual images as a continuous image
JP5914992B2 (ja) * 2011-06-02 2016-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8948509B2 (en) * 2012-11-15 2015-02-03 Adobe Systems Incorported Blending with multiple blend modes for image manipulation
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
US9785852B2 (en) * 2013-11-06 2017-10-10 Xiaomi Inc. Method, TV set and system for recognizing TV station logo
US9774548B2 (en) 2013-12-18 2017-09-26 Personify, Inc. Integrating user personas with chat sessions
US9386303B2 (en) 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
KR101726844B1 (ko) * 2015-03-25 2017-04-13 네이버 주식회사 만화 데이터 생성 시스템 및 방법
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US10244224B2 (en) 2015-05-26 2019-03-26 Personify, Inc. Methods and systems for classifying pixels as foreground using both short-range depth data and long-range depth data
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
US11232617B2 (en) * 2018-01-11 2022-01-25 Pamela L. Barber Digital imaging method and apparatus
US10791281B1 (en) * 2019-03-26 2020-09-29 Getac Technology Corporation Image processing method and system based on adjustments performed according to environment
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
US11895438B2 (en) 2022-01-20 2024-02-06 Zoom Video Communications, Inc. Virtual background adjustment based on conference participant lighting levels
US12309523B2 (en) 2022-04-26 2025-05-20 Zoom Communications, Inc. Video stream segmentation for quality retention during reduced-bandwidth video conferencing

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3398664A (en) * 1965-11-26 1968-08-27 Radio Broadcasting Company Combined television and photographic machine
US4052739A (en) * 1972-05-19 1977-10-04 Matsushita Electric Industrial Co., Ltd. Electronic engraving system
US3864708A (en) * 1973-12-04 1975-02-04 Brian S Allen Automatic photographic apparatus and postcard vending machine
GB1527227A (en) * 1974-12-18 1978-10-04 Crosfield Electronics Ltd Reproduction of coloured images
US4130834A (en) * 1974-12-20 1978-12-19 Videoprint Gesellschaft Fur Industrie-Fernsehen Mbh Method of and apparatus for the production of photographic stills
US4056289A (en) * 1975-10-14 1977-11-01 Gilliland George E Occupant propelled tread vehicle
US4200890A (en) * 1977-07-11 1980-04-29 Nippon Electric Company, Ltd. Digital video effects system employing a chroma-key tracking technique
US4190856A (en) * 1977-11-21 1980-02-26 Ricks Dennis E Three dimensional television system
US4240104A (en) * 1978-01-30 1980-12-16 Quantel Limited Measurement of chroma key area in television systems
US4357624A (en) * 1979-05-15 1982-11-02 Combined Logic Company Interactive video production system
US4258385A (en) * 1979-05-15 1981-03-24 Combined Logic Company Interactive video production system and method
US4317114A (en) * 1980-05-12 1982-02-23 Cromemco Inc. Composite display device for combining image data and method
AU544563B2 (en) * 1980-05-29 1985-06-06 Sony Corporation Image/word processor
JPS5793781A (en) * 1980-12-03 1982-06-10 Matsushita Electric Ind Co Ltd Video synthesizer
JPS57165836A (en) * 1981-04-06 1982-10-13 Dainippon Screen Mfg Co Ltd Method and apparatus for tracing and recording object to be traced
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US4463380A (en) * 1981-09-25 1984-07-31 Vought Corporation Image processing system
JPS5869190A (ja) * 1981-10-20 1983-04-25 Fujitsu General Ltd クロマキ−信号発生装置
ATE12369T1 (de) * 1981-12-23 1985-04-15 Ski Data Computer Handelsgesel Vorrichtung zur herstellung einer berechtigungskarte mit einem bild des karteninhabers sowie mit alphanumerischen zeichen.
US4599611A (en) * 1982-06-02 1986-07-08 Digital Equipment Corporation Interactive computer-based information display system
JPS60501680A (ja) * 1983-06-13 1985-10-03 アルテイマツト コ−ポレ−シヨン 自動符号化信号カラ−画像合成
US4602280A (en) * 1983-12-05 1986-07-22 Maloomian Laurence G Weight and/or measurement reduction preview system
JPS60168276A (ja) * 1984-02-13 1985-08-31 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の移動体の動き方向検出方式
JPS60194696A (ja) * 1984-03-15 1985-10-03 Toshiba Corp デイジタルクロマキ−装置
US4694329A (en) * 1984-04-09 1987-09-15 Corporate Communications Consultants, Inc. Color correction system and method with scene-change detection
US4811084A (en) * 1984-04-09 1989-03-07 Corporate Communications Consultants, Inc. Video color detector and chroma key device and method
JPS60220387A (ja) * 1984-04-13 1985-11-05 インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション ラスタ走査表示装置
US4710800A (en) * 1984-04-27 1987-12-01 Utah Scientific Advanced Development Center, Inc. Apparatus for allowing operator selection of a color region of a video image for receiving color corrections
US4782384A (en) * 1984-04-27 1988-11-01 Utah Scientific Advanced Development Center, Inc. Area isolation apparatus for video signal control system
JPS6180222A (ja) * 1984-09-28 1986-04-23 Asahi Glass Co Ltd メガネ合せ方法及びメガネ合せ装置
US4827344A (en) * 1985-02-28 1989-05-02 Intel Corporation Apparatus for inserting part of one video image into another video image
US4823281A (en) * 1985-04-30 1989-04-18 Ibm Corporation Color graphic processor for performing logical operations
US4688105A (en) * 1985-05-10 1987-08-18 Bloch Arthur R Video recording system
US5053956A (en) * 1985-06-17 1991-10-01 Coats Viyella Interactive system for retail transactions
US4677460A (en) * 1985-10-03 1987-06-30 Leon Fass Method and arrangement for producing composite life images, and subimage carrier provided therefor
US4731743A (en) * 1985-11-12 1988-03-15 Combputer Images, Inc. Method and apparatus for displaying hairstyles
US4823285A (en) * 1985-11-12 1989-04-18 Blancato Vito L Method for displaying hairstyles
US4750050A (en) * 1985-12-11 1988-06-07 Corporate Communications Consultants, Inc. Editing system and method
US4687526A (en) * 1986-01-08 1987-08-18 Identification Systems Company L.P. Method of making an identification card
US4786944A (en) * 1986-02-10 1988-11-22 Fuji Photo Film Co., Ltd. Composite image printing method and apparatus
DE3681276D1 (de) * 1986-03-04 1991-10-10 Agfa Gevaert Nv Verfahren und geraet zur herstellung einer zusammengesetzten wiedergabe, ausgehend von visuell unterscheidbaren bildern.
US4698682A (en) * 1986-03-05 1987-10-06 Rca Corporation Video apparatus and method for producing the illusion of motion from a sequence of still images
US4954883A (en) * 1986-04-14 1990-09-04 Corporate Communications Consultants, Inc. Interweave picture comparison apparatus and method
US4864410A (en) * 1986-08-01 1989-09-05 Bally Manufacturing Corporation Apparatus and method of making photographs from a video image
US4841378A (en) * 1986-10-02 1989-06-20 Short Takes, Inc. Video camera enablement system utilizing a video cassette characteristic
US4796180A (en) * 1986-10-14 1989-01-03 R. R. Donnelley & Sons Co. Method of monitoring mail delivery
US4959670A (en) * 1986-11-19 1990-09-25 Thayer Jr Donald O Photography booth and method
US4872056A (en) * 1987-02-05 1989-10-03 Video Graphic Styling, Inc. Method for displaying selected hairstyles in video form
US4827253A (en) * 1987-05-18 1989-05-02 Dubner Computer Systems, Inc. Video compositing using a software linear keyer
US5265214A (en) * 1987-08-28 1993-11-23 Daikin Industries, Ltd. Filling processing apparatus and method
US4805037A (en) * 1987-10-15 1989-02-14 Eastman Kodak Company Image recording system
US4910661A (en) * 1987-12-14 1990-03-20 Edgar L. Barth Method and apparatus for decorating cakes and other foods
US5179642A (en) * 1987-12-14 1993-01-12 Hitachi, Ltd. Image synthesizing apparatus for superposing a second image on a first image
CH675804A5 (ja) * 1988-01-18 1990-10-31 Alport Holding Inc Panama C O
JPH01206098A (ja) * 1988-02-15 1989-08-18 Konica Corp Idカード作成システム
JP2634851B2 (ja) * 1988-04-28 1997-07-30 シャープ株式会社 画像処理装置
JPH0657047B2 (ja) * 1988-05-24 1994-07-27 富士ゼロックス株式会社 彩度調整方法及び装置
US4873568A (en) * 1988-09-19 1989-10-10 The Grass Valley Group, Inc. Digital video effects apparatus
US4965673A (en) * 1988-10-04 1990-10-23 Eyzon Corporation Apparatus for a video recording booth
US4891660A (en) * 1988-11-29 1990-01-02 Pvi, Inc. Automatic photographic system and frame dispenser
GB8904535D0 (en) * 1989-02-28 1989-04-12 Barcrest Ltd Automatic picture taking machine
GB2235347B (en) * 1989-08-21 1994-06-08 Barber Pamela L Apparatus for making electronically-produced postcards and method of operating same
JP2827328B2 (ja) * 1989-09-28 1998-11-25 ソニー株式会社 映像信号処理装置
GB8928058D0 (en) * 1989-12-12 1990-02-14 Crosfield Electronics Ltd Digital image generation
US5031043A (en) * 1990-03-05 1991-07-09 The Grass Valley Group, Inc. Video signal selection means for transmitting signal and key information over a signal channel
US5022085A (en) * 1990-05-29 1991-06-04 Eastman Kodak Company Neighborhood-based merging of image data
US5117283A (en) * 1990-06-25 1992-05-26 Eastman Kodak Company Photobooth compositing apparatus
US5345313A (en) * 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
US5375195A (en) * 1992-06-29 1994-12-20 Johnston; Victor S. Method and apparatus for generating composites of human faces
JP2719644B2 (ja) * 1992-09-30 1998-02-25 大日本スクリーン製造株式会社 カブセ処理方法
US5377314A (en) * 1992-12-21 1994-12-27 International Business Machines Corporation Method and system for selective display of overlapping graphic objects in a data processing system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7912285B2 (en) * 2004-08-16 2011-03-22 Tessera Technologies Ireland Limited Foreground/background segmentation in digital images with differential exposure calculations
US7868922B2 (en) 2006-02-14 2011-01-11 Tessera Technologies Ireland Limited Foreground/background segmentation in digital images
KR20100082293A (ko) * 2009-01-08 2010-07-16 삼성전자주식회사 분리된 화상들로부터 하나의 결합된 화상을 생성하기 위한 방법과 그를 이용한 장치
KR101595124B1 (ko) 2009-01-08 2016-02-17 삼성전자주식회사 분리된 화상들로부터 하나의 결합된 화상을 생성하기 위한 방법과 그를 이용한 장치
JP2019110544A (ja) * 2014-02-07 2019-07-04 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム
JP2021100263A (ja) * 2014-02-07 2021-07-01 ソニー・インタラクティブエンタテインメント エルエルシー メディアにおける広告および他の挿入物の位置およびタイミングを判定するスキーム
US11258965B2 (en) 2017-08-18 2022-02-22 Samsung Electronics Co., Ltd. Apparatus for composing objects using depth map and method for the same
KR20190133867A (ko) * 2018-05-24 2019-12-04 (주)네모랩스 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법
KR102061152B1 (ko) * 2018-05-24 2020-02-11 (주)네모랩스 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법

Also Published As

Publication number Publication date
US5345313A (en) 1994-09-06
US5687306A (en) 1997-11-11
JPH07507664A (ja) 1995-08-24
JP3936680B2 (ja) 2007-06-27
WO1993017517A1 (en) 1993-09-02
JP3936387B2 (ja) 2007-06-27

Similar Documents

Publication Publication Date Title
JP3936387B2 (ja) 映像イメージの一部を背景に挿入するためのイメージ編集システム
US5577179A (en) Image editing system
US5469536A (en) Image editing system including masking capability
US7391445B2 (en) System and method of creating multilayered digital images in real time
EP1085464B1 (en) Method for automatic text placement in digital images
GB2378340A (en) Generation of an image bounded by a frame or of overlapping images
JP5459562B2 (ja) 写真シール機、写真シール機の処理方法、および、そのプログラム
JP5574031B2 (ja) 画像処理装置および方法、並びにプログラム
JP2003244581A (ja) 画像印刷装置および方法、プログラム、並びに印刷媒体ユニット
JP5201430B1 (ja) 写真シール作成装置および方法、並びにプログラム
JP2003023646A (ja) デジタル画像用フレームの自動生成方法
JP5472365B2 (ja) 写真シール作成装置、画像処理方法、並びにプログラム
JP2012235314A (ja) 画像処理装置および画像処理方法
JP5569502B2 (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
CN116055800B (zh) 一种移动端获得定制背景实时舞蹈视频的方法
JP2014170234A (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP4142918B2 (ja) 画像編集方法、画像編集装置及びコンピュータプログラム
JP5904192B2 (ja) 写真シール作成装置、画像処理方法、並びにプログラム
JP7713795B2 (ja) 画像処理プログラム、画像処理装置及び画像処理方法
EP1205892A1 (en) Automatic vending machine for portrait and caricature printed articles
JP2985878B1 (ja) 合成画像作成装置および記録媒体
JP5482948B2 (ja) 画像処理装置および画像処理方法
JP6982230B2 (ja) 写真作成ゲーム機および画像処理方法
JP5979463B1 (ja) 写真シール作成装置、情報処理方法、並びにプログラム
JP6146268B2 (ja) 写真シール作成装置、画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060313

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060608

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060628

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070323

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

EXPY Cancellation because of completion of term