JP2004038746A

JP2004038746A - 画像編集方法および画像編集システム

Info

Publication number: JP2004038746A
Application number: JP2002197228A
Authority: JP
Inventors: Takashi Ida; 井田　孝; Osamu Hori; 堀　修; Nobuyuki Matsumoto; 松本　信幸; Hidenori Takeshima; 竹島　秀則
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-07-05
Filing date: 2002-07-05
Publication date: 2004-02-05
Also published as: US20040004626A1; US20060176319A1; US7050070B2

Abstract

【課題】アルファマスクの作成時に不必要に物体領域を設定することなく画像の編集を行うことができる画像編集方法および画像編集システムを提供する。
【解決手段】複数の元画像の物体画像にマスクを設定し、表示し、その表示画面に対する操作によってマスクを変更するマスク設定ステップと、マスクにより元画像からそれぞれ切り出されて得られる物体画像を合成して合成画像を生成し、画面に表示する合成画像表示ステップとマスクの変更時に合成画像を変更する更新ステップとを含む。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の合成などの画像加工および編集を行う画像編集方法および画像編集システムに関する。
【０００２】
【従来の技術】
画像からオブジェクト（映像に写っている人物、物などの被写体、即ち物体）を切り抜き、別の画像と合成する処理をパソコンで行う際に、しばしばアルファマスクが用いられる。アルファマスクは元画像と同じサイズの２値画像であり、例えば、画素値が０の領域が背景、画素値が１の領域がオブジェクトとされる。元画像を別の画像と合成する際にアルファマスクを参照し、画素値が０の画素だけを別の画像の画素に置き換えることによって背景だけを別の画像に置き換えられる。このような画像合成においては、アルファマスクを正確に設定する必要がある。
【０００３】
画像合成を行うソフトウェアとしては、アドビシステムズ社のフォトショップがある。このフォトショップバージョン６で採用されている抽出ツール（Ａｄｏｂｅ　Ｐｈｏｔｏｓｈｏｐ　６．０日本語版ユーザガイド、ｐ．１５４〜１５７）について説明する。一例として図４に示した元画像１，２，３および４を合成して図５に示した合成画像Ａを生成する。この場合、複数の元画像を複数のレイヤにそれぞれに配置する。レイヤは画像の上書き順序を決めるもので、最下のレイヤの画像を下地にして、それに順次、上のレイヤの画像を上書きすることによって合成画像を生成する。
【０００４】
これによると、オブジェクトを切り出して合成したい元画像を選択し、この画像に対してマウスのポインタを動かしてオブジェクト領域を設定する。設定の過程でプレビューを実行すると、図６の物体画像３−１のように背景領域が所定のパターン（この場合は白一色）で表示されるので、オブジェクト領域と背景領域を確認できる。なお、この場合のアルファマスクをアルファマスク３−１に示す。
【０００５】
このオブジェクト領域の境界が図６の物体画像３−２や３−３のように実際のオブジェクトの輪郭とずれている場合には、再度ペンツールで修正ができる。最後に「ＯＫ」ボタンをクリックすると、抽出ダイアログが消滅し、元画像の背景領域が消去される。元画像に対して予め下位レイヤ画像が配置されていない場合は、背景部分は所定のパターンに置き換えられて表示されるが、下位レイヤ画像が配置されていれば合成画像が表示される。
【０００６】
【発明が解決しようとする課題】
前述の合成画像Ａの例では、元画像３の左側は合成画像に現れるが、下側は前の車によって覆われている。従って、物体画像３−３の場合には物体領域の修正が必要であるが、物体画像３−２の場合には物体領域の修正は不要である。なぜなら、物体画像３−２における誤差は合成画像には現れないからである。ところが、フォトショップの抽出ツールでは、抽出作業を終了するまで、合成画像を確認できない。従って、物体画像３−２のケースでも誤差を修正する作業を省略できない。その結果、無駄な作業をしてしまうことになる。このように、従来の方法によると、必要以上に正確な物体領域の設定が必要となり、作業時間を節約できない。
【０００７】
従って、本発明は、アルファマスクの作成時に不必要に物体領域を設定することなく画像の編集を行うことができる画像編集方法および画像編集システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の第１の局面は、複数の元画像の物体画像に物体領域を設定し、表示し、その表示画面に対する操作によって前記物体領域を変更する物体領域設定ステップと、前記物体領域により前記元画像からそれぞれ切り出されて得られる物体画像を合成して合成画像を生成し、画面に表示する合成画像表示ステップと、前記物体領域の変更時に前記合成画像を変更する更新ステップとを含む画像編集方法を提供する。
【０００９】
本発明の第２の局面は、複数の元画像を保持する記憶手段と、前記元画像の物体画像に物体領域を設定する物体領域設定手段と、
前記物体領域を表示する物体画像表示手段と、前記元画像から前記物体領域をそれぞれ切り出して得られる物体画像を合成して合成画像を生成し、この合成画像を表示する合成画像表示手段と具備する画像編集システムを提供する。
【００１０】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態を説明する。図１に本発明の一実施形態に従った画像編集方法を実施するフローチャートを示す。このフローチャートを参照して、物体領域設定と合成画像の表示を同時に行う実施形態を説明する。
【００１１】
まず、物体画像と合成画像を表示する（Ｓ１１）。このとき、既に保存してある複数の元画像とアルファマスクを用いて、利用者によって指定された画像を物体画像として図２に示したようにパソコン画面２６内のウインドウ２８に表示し、合成画像を別のウインドウ２７に表示する。この後、マウスポインタの入力に応じてアルファマスクを設定する（Ｓ１２）。このとき、例えば、図２に示したようにツールバー２９の中からオブジェクトペンを選択し、そのポインタをウインドウ２８内で動かしてオブジェクト領域を設定する。また、利用者からの物体領域設定を行う元画像の変更を受け付ける。
【００１２】
ここで、元画像変更の要求があるかどうかを判定する（Ｓ１３）。変更の要求がある場合には、物体画像の切換を行い（Ｓ１８）、処理をステップＳ１２に戻す。元画像変更の要求がない場合には、アルファマスクが変更されたか否かを判定する（Ｓ１４）。変更されていない場合には、処理をステップＳ１２に戻す。変更されている場合には物体画像の更新を行う（Ｓ１５）。この後、変更されたアルファマスクに応じて合成画像を更新する（Ｓ１６）。
【００１３】
次に、利用者から、物体領域設定と合成表示終了の要求があるかどうかを判定する（Ｓ１７）。終了要求が無い場合には処理をステップＳ１２に戻す。終了要求がある場合には処理を終了する。
【００１４】
図１のフローチャートの画像編集方法を実施する画像編集システムのブロック回路が図３に示されている。このブロック回路によると、記憶装置１０１は、パソコンのハードディスク、半導体メモリ、磁気記録媒体などで構成され、あらかじめ複数の元画像のファイルを記憶している。元画像は、例えば、図４に示した元画像１、２、３および４であるとする。
【００１５】
記憶装置１０１から読み出された処理対象とする元画像データ１０２は物体画像生成器１０３に入力される。処理対象とする元画像データは、記憶装置１０１に保持されている元画像のうちの一部である。物体画像生成器１０３は、元画像における物体領域の設定状況を表す物体画像を生成する。物体画像生成器１０３は、パソコンの場合は、専用のハードウェアでなくても、ＣＰＵで代用できる。後述するアルファマスク設定器１０９と合成画像生成器１１１も同じくＣＰＵで代用できる。
【００１６】
物体画像としては、例えば、背景領域を所定の色で塗りつぶした画像、背景領域を所定の図柄の画像で置き換えた画像などがある。背景領域に半透明で着色した画像とすると、背景の図柄が確認でき、かつアルファマスクの設定状況も分かるので都合がよい。同様に、オブジェクト領域（即ち物体領域）の方に半透明で着色した画像や、背景領域とオブジェクト領域をそれぞれ異なる色で半透明で着色した画像としてもよい。
【００１７】
物体領域設定の初期状態では、例えば、全面オブジェクト、あるいは全面背景など、所定のアルファマスクを用いる。物体画像データ１０４はメモリ１０５に送られて記憶される。メモリ１０５からは一定時間間隔または画面をリフレッシュするタイミングなどで物体画像データ１０６がディスプレイ１０７に送られて表示される。このディスプレイ１０７は図２に示すようなパソコンの画面とする。このパソコン画面２６には、合成画像を表示する合成画像表示ウインドウ２７、物体領域設定が行われる物体画像表示ウインドウ２８および物体領域設定に用いられるツールバー２９が表示される。ツールバー２９には、オブジェクトペンや背景ペンのアイコンが並んでいて、これらをクリックすることで選択できる。ウインドウ２８に対して、オブジェクトペンや背景ペンで修正がなされると、直ちに、ウインドウ２７に表示されている合成画像に反映される。ウインドウ２８には、画像ファイルを読み込んだり保存するメニューが用意されている。
【００１８】
利用者は、画面２６の画像を見ながら、オブジェクト領域の設定状況を確認し、画像に適宜修正を加える。例えば、ツールバー２９の中からオブジェクトペンを選択し、元画像ではオブジェクトであるにもかかわらず、現状のアルファマスクでは背景と設定されている部分をなぞることによってその部分をオブジェクト領域に変更する。逆の場合、即ち元画像では背景であるにもかかわらず、現状のアルファマスクではオブジェクトと設定されている場合には背景ペンで修正する。このような、マウスなどのポインティング機器１１５のポインタの移動といった利用者の操作情報１０８がアルファマスク設定器１０９に入力され、それに応じて変更されたアルファマスク１１０が物体画像生成器１０３に送られ、表示される物体画像が更新される。ポインティング機器１１５としてはマウスでなくても、タッチパネルやペンタブレットを用いてもよい。
【００１９】
合成に用いる複数の元画像データ１０２、例えば、図４の元画像１〜４の元画像データが、合成画像生成器１１１に入力される。合成画像生成器１１１には、図示していないが記憶装置１０１から、またはアルファマスク設定器１０９から、元画像１〜４の元画像データ１０２の各々のアルファマスクが送り込まれる。合成画像生成器１１１では、アルファマスクを参照しながら複数の元画像１〜４を所定の順序で合成し合成画像Ａ（図５）を生成する。
【００２０】
図４と図５の例では、元画像１が下位レイヤ画像であり、この下位レイヤ画像に元画像２、３および４を順次上書きし合成画像Ａを生成する。即ち、まず、元画像１から対応するアルファマスクにより物体画像が抽出されると、同物体画像のデータがメモリ１１３に格納され、このメモリ１１３からディスプレイ１０７に送られる。これにより、合成画像表示ウインドウ２７に元画像１の物体画像が表示される。
【００２１】
次に、元画像２の物体画像が対応するアルファマスクにより抽出されると、同物体画像のデータがメモリ１１３に格納され、物体画像がウインドウ２７に元画像１の物体画像に重ねて表示される。このとき、２つの合成画像に元画像２の物体画像からのはみ出し分、例えば図６の物体画像３−３に示されるように車体の後ろに示される道路の一部が元画像１の物体画像、即ち車体の前部に重なって表示されていると、元画像２を表示しているウインドウ２８においてオブジェクトペンを用いて対応するアルファマスクを修正し、はみ出し分を消去する。この消去の状態は合成画像ウインドウ２７において確認することができる。同様にして、元画像３の物体画像が対応するアルファマスクにより抽出されると、同物体画像のデータがメモリ１１３に格納され、物体画像がウインドウ２７に元画像１および２の重ね物体画像に元画像３の物体画像を重ねて表示される。このとき、３つの合成画像に元画像３の物体画像からのはみ出し分、例えば図６の物体画像３−３に示されるように車体の前輪に示される道路の一部がはみ出し分として現れる。しかし、このはみ出し分は道路の一部であるので、元画像３の物体画像に元画像４の物体画像が重ねられない場合であってもはみ出し分は違和感無く合成画像に取り込むことができる。しかし、このはみ出し分が道路の一部でなければ、一旦元画像４の物体画像が元画像３の物体画像に重ねられ、はみ出し分が元画像４の物体画像により隠れるか否かを確認する。はみ出し分が隠れなければ、元画像３を表示しているウインドウ２８においてオブジェクトペンを用いて対応するアルファマスクを修正し、はみ出し分を消去する。この消去の状態は合成画像ウインドウ２７において確認することができる。この後、元画像４の物体画像、即ち車体が対応するアルファマスクにより抽出され、必要に応じてアルファマスクに修正を加えながら前の画像に重ねられる。これにより、図５に示す合成画像Ａが生成される。
【００２２】
上記のように本実施形態によると、パソコン画面に合成画像表示ウインドウ２７と物体画像表示ウインドウ２８とを表示し、階層レイアに割り付けられた複数の元画像とこれら元画像に対応するアルファマスクとを順次取り込む。物体画像表示ウインドウ２８において個々のアルファマスクにより対応する元画像の物体領域を抽出し、合成画像ウインドウ２７を見ながら物体領域を重ね合わせ、必要に応じてアルファマスクを修正して適正な合成画像を生成する。
【００２３】
上記のようにして合成画像を生成するときに修正して完成されたアルファマスク１１０は、記憶装置１０１に送られて記憶される。なお、図３において、点線で囲った部分をアルファマスク作成部１１６と呼ぶことにする。
【００２４】
以上のようにすれば、合成画像を確認しながら物体領域の設定を行うことができ、合成画像の品質を劣化させている部分を修正するだけで済む。上述したように図５の合成画像Ａを作りたい場合に、図６の物体画像３−３のケースでは、この車の左側のはみ出しによって後方の車が上書きされ、良好な合成画像が得られない。そこで、合成画像ウインドウ２７で確認しながら物体画像ウインドウ２８においてこのはみ出し部分を修正することが行われる。
【００２５】
一方、物体画像３−２のケースでは、はみ出した部分は、元画像４の車が上書きされるので、合成画像には現れない。従って、物体画像３−２のケースは修正をしなくて構わないことが分かる。そして、アルファマスクの修正がただちに合成画像にも反映されるので、修正が十分であるがどうかが確認できて都合がよい。
【００２６】
合成画像の更新処理は、例えば、比較的短い時間間隔で繰り返す。この繰り返し処理による多大な処理量を回避したい場合には、例えば、ペンの動きが停止したタイミングか、画面から離れたタイミングで合成画像を更新する。あるいは、アルファマスクに変化があったときに合成画像を更新する。また、合成画像のうちアルファマスクに変更があった部分のみを上書きするようにすれば更新処理を少なくできる。
【００２７】
図７と図８は、本発明を動画像に適用した実施形態の元画像と合成画像である。図７に示すように、注目する車が遠方から次第に近づいてくる場面である。このような動画像と各フレームのアルファマスクが記憶装置１０１に保持されている。最終的に作りたい画像は、図８の合成画像Ｂ４である。この例では、元画像は動画像であるが、合成画像は、元画像５に、元画像６、７および８の車を合成した静止画像である。この場合にも、合成画像を確認しながらアルファマスクの修正作業を行えば、必要以上に正確なアルファマスクを作成することがなくなる。
【００２８】
また、動画像で表示するために合成画像が複数のフレームを持ち、その各々に対応して物体領域の設定を行う場合がある。例えば、図８の合成画像Ｂ１は図７の元画像５と同じ画像であり、合成画像Ｂ２は、元画像５に元画像６の車を合成した画像である。合成画像Ｂ３は、元画像５に元画像６の車と元画像７の車を合成した画像であるが、合成画像Ｂ１、Ｂ２、Ｂ３、Ｂ４を順次表示することで動画像となる。この場合には、合成画像Ｂ４だけでなく、合成画像Ｂ２やＢ３の品質も重要である。そこで、例えば、元画像７のアルファマスクを修正する時には、元画像５、６および７だけを用いた合成画像Ｂ３に対応する画像を表示する。例えば、オブジェクト領域がはみ出していることにより、元画像７の道路の部分が合成されていたとしても、その部分が合成画像において目立たなければ修正する必要がないことが確認できる。逆に、そのはみ出しによって後方の車を上書きなどしている場合には修正が必要であることが分かる。
【００２９】
また、アルファマスクの修正作業を行う際に表示する合成画像も動画像で表示すれば、処理量は増えるが、最終表示形態で確認できる。例えば、あるフレームで誤差があったとしても、それが表示されるのが一瞬であれば、修正の必要はないと判断することができる。
【００３０】
また、合成画像の各フレームを画面に並べて表示すれば、すなわち、図８の４枚の画像を並べて表示すれば、全体のフレームを一度に確認できて好都合である。
【００３１】
また、合成画像Ａや合成画像Ｂ４のように、多くのオブジェクトが合成されていると、その時修正しているオブジェクトがどれなのか瞬時に判別できないことがある。そのために、合成画像において、その時修正しているオブジェクトに薄く着色したり、点線で囲ったり、斜線などの所定のパターンをつけたりすれば判別が容易になる。
【００３２】
物体領域設定を行う元画像は利用者が画像ファイル名を選択することによって切り替えるのが簡便である。あるいは、合成画像の１点がクリックされた場合には、その点をオブジェクト領域として含むか、その点がオブジェクト領域の近くにあるような元画像を自動的に表示するようにすると、合成画像において合成品質が悪い部分をクリックするだけで、修正すべき元画像が表示されて便利である。
【００３３】
合成画像を保存する際に、ファイルサイズが大きくなりすぎないようにしたい場合がある。そのために、その時の合成画像を保存した場合のファイルサイズをウインドウ２７あるいはウインドウ２８の一部に表示すると便利である。その数値を見ながら、ファイルサイズが大きすぎるようならオブジェクトの数やフレーム数を減らすといった工夫ができる。
【００３４】
パソコン画面の別の実施形態が図９に示されている。画面２０１内の元画像表示ウインドウ２０２には、元画像のそれぞれのサムネイル画像２０３が並んで表示される。これにより、合成に使われている画像を容易に確認できる。合成画像ウインドウ２０４には合成画像が表示される。スラードバー２０５の操作によって、合成画像が動画像の場合にフレームを前後できる。
【００３５】
利用者は、物体領域を修正したい画像のサムネイル画像２０６をクリックする。あるいは、サムネイル画像２０６を物体画像ウインドウ２０７にドラッグする。これにより、それの物体画像が物体画像ウインドウ２０７に表示され、編集可能となる。ツールバー２０８にあるペンツールなどを用いて修正する。サムネイル画像２０６は、編集中であることが分かるように表示される。例えば着色されたり、太枠で囲まれたりする元画像が動画像であるときには、スライドバー２０９の操作によって、物体画像の表示フレームを前後に移動できる。
【００３６】
また、元画像の一部のフレームだけを合成に用いたい場合のために、開始フレームポインタ２１０と終了ポインタ２１１を用意し、これらを合成に用いるフレームの開始フレームと終了フレームの位置にそれぞれ配置することによって、その間のフレームだけが合成に用いられる。これによって設定されたフレーム数よりも合成画像のフレーム数が多い場合には、元画像を繰り返すか、最終フレームで停止する。あるいは、最終フレームから逆時間で再生する。画像２０６と同時に別の画像のアルファマスクも編集したい場合には、そのサムネイル画像２１２をクリックする。すると、物体画像ウインドウ２１３が開き、編集できるようになる。同様に、この図では同時に３つの画像の編集が可能である例を示している。
【００３７】
パソコン画面の別の実施形態を図１０に示す。パソコン画面３０１内の合成画像ウインドウ３０２、物体画像ウインドウ３０３は前の実施形態と同じであるので説明は省略する。画像リストウインドウ３０４には、ハードディスクなどに保持されている全ての元画像のサムネイルが表示される。この中から実際に合成に用いる画像をクリックすると、そのサムネイルが合成リストウインドウ３０５に移動し、同時に、その合成画像が合成画像ウインドウ３０２に表示される。あるいは、画像リストウインドウ３０４にある、サムネイル画像を合成リストウインドウ３０５または合成画像ウインドウ３０２にドラッグすることによってこの画像が合成リストに移動する。
【００３８】
合成リストウインドウ３０５には、合成画像に使用されている元画像がサムネイル画像で表示される。この中のいずれかをクリックするか、物体画像ウインドウ３０３にドラッグすると、このアルファマスクが編集可能となる。また、合成リストウインドウ３０５のサムネイル画像を画像リストウインドウ３０４にドラッグすると、画像リストウインドウ３０４に移動し、その画像は合成画像から除かれる。
【００３９】
１箇所にある元画像ファイルに対して、複数の計算機を用いて物体領域設定を行う実施形態が図１１に示されている。これによると、サーバー４０１の記憶装置４０２に保持されている元画像４０３が別の計算機であるクライアント４０４に入力される。クライアント４０４では、図１１で示したアルファマスク作成部４０５によってアルファマスク４０６が生成され、サーバー４０１の記憶装置４０２に返される。同様に複数のクライアントでアルファマスクを生成する。これによれば、オペレータの数は多く必要になるが、並列作業により、短時間で多くのアルファマスクを作成できる。
【００４０】
サーバーと各クライアントの間はＬＡＮや公衆通信で接続する。また、同じ元画像に対して、同時に複数の編集作業がなされないように、各クライアントはサーバーに編集中の元画像を伝える。サーバーでは、編集中の元画像の情報を保持しておき、各クライアントは、その情報を読み出し、編集中の元画像をさらに編集対象にすることがないようにする。
【００４１】
図１１に示すクライアント４０４の画面の実施形態が図１２に示されている。画面５０１内の合成画像ウインドウ５０２にはこれまでと同様に合成画像が表示される。このための元画像とアルファマスクのデータはサーバーから送られてくる。元画像表示ウインドウ５０３には、元画像のサムネイル画像が並んで表示される。この中からアルファマスクを編集する画像のサムネイル画像５０４をクリックすると、その物体画像が物体画像ウインドウ５０７に表示されて編集できる。
【００４２】
物体画像ウインドウ５０７での処理はこれまでの実施形態と同様である。本実施形態では、他のクライアントにおいて別の作業者が同時にアルファマスクの編集をしている。そこで、その作業状況を確認するためにモニタウインドウ５０８を設け、ここに、別のクライアントで作業中の物体画像を表示する。
【００４３】
また、別のクライアントで作業中の物体画像をモニタウインドウ５０９に表示する。また、元画像表示ウインドウ５０３では、他のクライアントで作業中のサムネイル画像５０５に、サムネイル画像５０４と異なる色で着色する。これにより、編集していない元画像が容易に判別でき、その中から、次に編集する元画像を選択する。互いの編集状況をモニタリングするために、それぞれの編集中のアルファマスクは、各クライアントで保持されるとともに、逐次サーバーに転送される。そのアルファマスクを各クライアントが読み出してモニタリングのための物体画像を生成し、合成画像も更新する。このとき、転送の頻度を少なくするか、作業者がアルファマスクを保存する操作をしたときに初めてサーバーに転送するようにすれば、モニタリングのフレームレートは小さくなるが転送データ量を削減できる。
【００４４】
図１１の実施形態における処理を図１３のフローチャートを参照して説明する。
【００４５】
先ず、サーバーから元画像とアルファマスクを読み出し、物体画像、合成画像を表示し、他のクライアントにおける物体画像をモニタ画像として表示する（Ｓ２１）。この後、マウスポインタの入力に応じてアルファマスクを設定する。また、利用者からの物体領域設定を行う元画像の変更を受け付ける。更に、モニタ情報の更新を受け付ける（Ｓ２２）。ここで、モニタ情報とは、他のクライアントにおいてどの元画像を編集しているかの情報や、そのアルファマスクの修正状況のことをいう。
【００４６】
ステップＳ２２の後にモニタ更新を受けたかを判定する（Ｓ２３）。この判定において、他のクライアントにおいて編集対象の元画像が切り替わったときや、アルファマスクが修正された場合には、モニタ画像を更新すべく処理をステップＳ２９に進める。そうでない場合は、処理をステップＳ２４に進める。
【００４７】
ステップＳ２４では、元画像変更の要求があるかどうかを判定する。変更の要求がある場合にはＴ１１に進む。変更の要求がない場合には処理はステップＳ２５に進む。
【００４８】
ステップＳ２５では、アルファマスクが変更されたか否かを判定する。変更されていない場合には処理をステップＳ２２に戻る。変更されている場合には処理をステップＳ２６に進む。
【００４９】
ステップＳ２６では、変更されたアルファマスクに応じて物体画像を更新し、ステップＳ２７に進み、変更されたアルファマスクに応じて合成画像を更新する。この後、利用者から、物体領域設定と合成表示を終了する要求があるかどうかを判定する。終了する要求が無い場合には処理をステップＳ２２に戻り、終了する要求がある場合には処理を終了する。
【００５０】
ステップＳ２９では、モニタ情報に基づいてモニタ画像を更新し、ステップＳ３０に進み、他のクライアントにおいてアルファマスクが修正された場合に、その修正に応じて合成画像を更新する。
【００５１】
ステップＳ３１では、物体画像を利用者から要求のあった画像に切替え、ステップＳ２２に戻る。
【００５２】
これまでは、画像を切り出す実施形態について述べてきたが、画像の色を修正したり、あるいは、図１４のように車のナンバープレートを黒く塗りつぶしたり、ぼかすなど、画像の一部の領域に画像効果を加えたい場合がある。そのために、元画像の輝度値や色などを修正できる機能や、修正結果を元画像ファイルに保存できる機能があると便利である。画像の一部に画像効果を加える場合には、その領域を指定するために第２のアルファマスクを用いる方法がある。これまでのアルファマスクはオブジェクト領域を表し、この領域を切り抜いて合成するものであったが、第２のアルファマスクは、例えば、画素値が１の領域だけぼかすといった処理をするものと決めておく。第２のアルファマスクを用いれば、元画像のデータは変更されないので、必要に応じて画像効果のＯＮ／ＯＦＦを切り替えられる。第２のアルファマスクの編集もこれまでの実施形態と同様に、例えば画像効果を加える領域に半透明で着色することで判別を容易にし、その物体画像ウインドウを見ながら編集する。合成画像ウインドウには、その画像効果を実際に適用した画像を表示する。
【００５３】
【発明の効果】
以上述べてきたように、本発明によれば、合成画像を常時確認できるため、必要以上に正確な物体領域の設定が不要となり、作業時間を節約できる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画像編集方法を説明するフローチャート
【図２】同実施形態の画像編集方法の実施に用いられるパソコンの画面を示す図
【図３】同実施形態の画像編集方法の実施する画像編集装置のブロック図
【図４】元画像の例を示す写真
【図５】合成画像の例を示す写真
【図６】物体画像とアルファマスクの例を示す写真
【図７】時系列の元画像の例を示す写真
【図８】時系列の元画像を用いた合成画像の例を示す写真
【図９】この発明の他の実施形態に従った画像編集装置に用いるパソコンの画面を示す図
【図１０】本発明の他の実施形態に従った画像編集装置に用いるパソコンの画面を示す図
【図１１】本発明の他の実施形態に従った画像編集装置のブロック図
【図１２】本発明の他の実施形態に従った画像編集装置に用いるパソコンの画面を示す図
【図１３】複数の作業者によって物体領域の編集を行う実施例でのフローチャート
【図１４】画面の一部を黒く塗りつぶした例を示す写真
【符号の説明】
２６…パソコン画面
２７…合成画像ウインドウ
２８…物体画像ウインドウ
２９…ツールバー
１０１…記憶装置
１０３…物体画像生成器
１０５…メモリ
１０７…ディスプレイ
１０９…アルファマスク設定器
１１１…合成画像生成器
１１３…メモリ
１１５…ポインティング機器
２０１…画面
２０２…元画像表示ウインドウ
２０４…合成画像ウインドウ
２０６…サムネイル画像
２０７…物体画像ウインドウ
２０８…ツールバー
２０９…スライドバー
３０１…画面
３０２…合成画像ウインドウ
３０３…物体画像ウインドウ
３０４…画像リストウインドウ
３０５…合成リストウインドウ
４０１…サーバー
４０２…記憶装置
４０４…クライアント
４０５…アルファマスク作成部
５０１…画面
５０２…合成画像ウインドウ
５０３…元画像表示ウインドウ
５０４…サムネイル画像
５０７…物体画像ウインドウ
５０８…モニタウインドウ

Claims

複数の元画像に物体領域を設定し、その物体領域により切り出される物体画像を表示画面に表示し、その表示画面に対する操作によって前記物体領域を変更する物体領域設定ステップと、
前記物体画像を合成して合成画像を生成し、表示画面に表示する合成画像表示ステップと、
前記物体領域の変更時に前記合成画像を変更する更新ステップと、
を有することを特徴とする画像編集方法。
前記複数の元画像は静止画像であることを特徴とする請求項１記載の画像編集方法。
前記複数の元画像は動画像のフレーム画像であることを特徴とする請求項１記載の画像編集方法。
前記合成画像表示ステップは、前記物体領域の設定対象である現フレーム画像と過去のフレーム画像を用いて合成するステップを含むことを特徴とする請求項３記載の画像編集方法。
前記合成画像は動画像であり、この動画像の第Ｎフレームは、前記元画像の第１フレームから第Ｎフレームの物体画像を合成した画像を示すことを特徴とする請求項３記載の画像編集方法。
前記合成画像は、前記元画像の第１フレームから第Ｍフレームの物体画像を合成した画像であり、前記合成画像表示ステップは、Ｍの異なる少なくとも２つの合成画像を表示することを特徴とする請求項３記載の画像編集方法。
前記物体画像の内、他と異なる表示加工を施す物体画像を特定物体画像とし、前記物体領域設定ステップは、前記物体領域の設定対象となっている元画像に合わせて、前記特定物体画像を切り替えることを特徴とする請求項１記載の画像編集方法。
前記物体領域設定ステップは、前記物体領域とこの物体領域以外の領域とで異なる画素値を有するアルファマスクデータを生成するステップを含み、前記更新ステップは、前記アルファマスクデータが変更される時に前記合成画像を変更することを特徴とする請求項１記載の画像編集方法。
前記物体領域設定ステップは、前記表示画面上のポインタを移動することによって物体領域を設定し、前記更新ステップは、前記ポインタの移動が停止した時に前記合成画像を変更することを特徴とする請求項１記載の画像編集方法。
前記表示画面上のポインタによって前記合成画像の１点が処理対象点として指定された場合に、前記物体領域設定ステップは、前記処理対象点を前記物体領域に含むか、あるいは前記処理対象点が前記物体領域の近くになるような元画像を物体領域の設定対象と決定することを特徴とする請求項１記載の画像編集方法。
前記物体領域設定ステップと同じ処理が、第２の物体領域設定ステップとして別に同時に行われている場合に、前記更新ステップは、前記第２の物体領域設定ステップにおいてなされた前記物体領域の変更時に前記合成画像を変更するステップを含むことを特徴とする請求項１記載の画像編集方法。
前記物体領域設定ステップは、複数の物体領域の設定を同時に行い、これらの設定に合わせて前記物体領域の複数の表示を行うステップを含むことを特徴とする請求項１記載の画像編集方法。
前記元画像は複数のフレームからなる動画像であり、前記物体領域の表示の近くに前記フレームを切り替えるためのツールを配置するステップを含むことを特徴とする請求項１記載の画像編集方法。
前記合成画像は複数のフレームからなる動画像であり、前記合成画像を表示するウインドウ近くに前記フレームを切り替えるためのツールを配置するステップを含むことを特徴とする請求項１記載の画像編集方法。
前記物体領域設定ステップは、前記元画像を縮小して得られるサムネイル画像を画面に表示するステップと、前記物体領域が変更されているサムネイル画像を他と区別して表示するステップとを含むことを特徴とする請求項１記載の画像編集方法。
前記物体領域設定ステップは、複数の前記元画像を縮小して得られるサムネイル画像を画面に表示するステップと、前記サムネイル画像がクリックされるか、前記物体領域を表示するウインドウにドラッグされた場合に、そのサムネイル画像に対応する元画像を物体領域の設定対象と決定するステップを含むことを特徴とする請求項１記載の画像編集方法。
前記物体領域設定ステップは、複数の前記元画像を縮小して得られるサムネイル画像を合成リストウインドウに表示するステップと、計算機に保存されている画像のサムネイル画像を画面内の画像リストウインドウに表示するステップと、前記画像リストウインドウ内のサムネイルをクリックするか、前記合成リストウインドウにドラッグすることによって対応サムネイル画像に相当する元画像を前記元画像に加わえるステップを含むことを特徴とする請求項１記載の画像編集方法。
複数の元画像を記憶する記憶手段と、
複数の元画像に物体領域を設定する物体領域設定手段と、
前記物体領域により切り出される物体画像を表示画面に表示する物体画像表示手段と、
前記物体領域設定手段に設けられ、前記表示画面に対する操作によって前記物体領域を変更する物体領域変更手段と、
前記物体画像を合成して合成画像を生成し、表示画面に表示する合成画像表示手段と、
前記物体領域の変更時に前記合成画像を変更する更新手段と、
を有することを特徴とする画像編集システム。
前記記憶手段が第１の計算機に収納され、前記物体領域設定手段と前記物体画像表示手段が、第２の計算機にそれぞれ収納され、前記第１の計算機と第２の計算機が互いに通信回線で接続されたことを特徴とする請求項１８記載の画像編集システム。