JP2014106980A - ユーザの相互作用に基づく映像内の輪郭分割装置及び方法 - Google Patents

Abstract

【課題】 ユーザの相互作用に基づいて映像内の輪郭輪郭を分割する装置及び方法を提供する。
【解決手段】 輪郭輪郭分割装置は、端末に１つ以上のモードを支援するインターフェースを提供し、そのインターフェース上に関心領域の輪郭輪郭を含む映像を表示するインターフェース部を含む。輪郭輪郭分割装置は、１つ以上のモードからユーザが選択したモードとユーザが行った動作とに基づいて輪郭輪郭を修正する輪郭輪郭修正部をさらに含む。
【選択図】 図２

Description

本発明は、ユーザの相互作用に基づいて映像で病変領域の輪郭を分割する装置及び方法に関する。

一般的に、医療映像内の関心領域（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）の正確な輪郭は、ＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ）システムが診断結果の判断に重要な役割を果たす。すなわち、関心領域、特に、病変領域に対する正確な輪郭が描かれれば、それに対する特徴（ｆｅａｔｕｒｅ）を正確に抽出することができるので、このように抽出された特徴を利用すれば、良性（ｂｅｎｉｇｎ）であるか、または悪性（ｍａｌｉｇｎａｎｔ）であるかについての正確な分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）が可能になって、診断の正確度が向上する。

しかし、一般的なＣＡＤシステムで提供される輪郭が常に正確なものではないので、ユーザによる修正が必要となる。しかし、一般的なＣＡＤシステムで提供される輪郭修正方法は、マウスやタッチスクリーンでポイントを入力して修正する方式がほとんどであって、輪郭の修正に長時間を要し、不便であった。

本発明は、ユーザの相互作用に基づいて映像内の輪郭を分割する装置及び方法を提供することである。

本発明の一態様によれば、輪郭分割装置は、端末に１つ以上のモードを支援するインターフェースを提供し、関心領域の輪郭を含む映像を前記インターフェース上に表示するインターフェース部を含みうる。当該輪郭分割装置は、前記１つ以上のモードからユーザが選択したモード、及び前記ユーザが行った動作に基づいて前記輪郭を修正する輪郭修正部をさらに含みうる。

本発明の一態様によれば、輪郭分割方法は、１つ以上のモードを支援するインターフェースを端末に提供する段階と、関心領域の輪郭を含む映像を前記インターフェース上で表示する段階と、を含みうる。前記方法は、前記１つ以上のモードで前記ユーザが選択したモードに基づいて前記輪郭を修正する段階をさらに含みうる。他の機能と態様は、次の詳細な説明、図面、及び請求範囲で明確になる。

輪郭分割装置のブロック図である。 輪郭分割装置のインターフェースの実施形態を説明する図面である。 輪郭分割装置の部分修正モードの実施形態を説明する図面である。 輪郭分割装置の部分修正モードの実施形態を説明する図面である。 輪郭分割装置の部分修正モードの実施形態を説明する図面である。 輪郭分割装置の部分修正モードの実施形態を説明する図面である。 輪郭分割装置の全体修正モードの実施形態を説明する図面である。 輪郭分割装置の自由修正モードの実施形態を説明する図面である。 輪郭分割装置の自由修正モードの実施形態を説明する図面である。 関心領域の輪郭分割方法の実施形態を説明するフローチャートである。 輪郭分割方法のうち、輪郭修正段階の実施形態を説明する詳細フローチャートである。

本発明で開示された方法、装置、及びまたはシステムの包括的な理解を助けるために、以下、詳細な説明が提供される。しかし、当業者は、以下に記載の多様な変化、修正、及びシステム、装置、及び／または方法と同等のものを明確に理解することができる。また、通常の技術者によく知られた機能と構造との説明は、明確性と一貫性とを高めるために訂正されうる。図面と詳細な説明で、同じ参照符号は同じ要素を意味する。図面は、サイズを変更しなければならないものではなく、図面内の相対的なサイズ、比率、及び要素の描写は、明確性、説明、及び便宜のために誇張されうる。

以下、説明される特徴は、他の形態で具体化され、開示された実施形態に限定されるものではない。また、開示された実施形態によって、本発明を隙間なく、完全にし、当業者に、本発明のあらゆる範囲を伝達することができる。

図１は、輪郭分割装置の実施形態を説明するブロック図である。輪郭分割装置１００は、ＣＡＤ診断システムに適用され、ＣＡＤ診断システムが医療映像から抽出した関心領域（ＲＯＩ）（例えば、病変領域）をユーザが容易にかつ正確に修正できるようにインターフェースを提示して、診断の正確性を向上させることができる。また、輪郭分割装置１００は、ＣＡＤ診断システム以外の映像処理システムにも適用が可能であり、前記映像処理システムが映像から抽出した関心領域輪郭の正確な分割が可能になるように支援することができる。

図１を参照すれば、輪郭分割装置１００は、輪郭入力部１１０、インターフェース部１２０、及び輪郭修正部１３０を含む。

輪郭入力部１１０には、映像及びその映像から抽出された関心領域の輪郭の情報が入力される。例えば、輪郭入力部１１０には、医療映像とＣＡＤシステムがその医療映像から抽出した関心領域の情報が入力される。他の実施形態として、輪郭入力部１１０は、映像を入力され、その映像から関心領域の輪郭を抽出するために、その映像に輪郭分割アルゴリズム、例えば、動的輪郭モデル（Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ）を適用することができる。

インターフェース部１２０は、ユーザ端末にユーザインタラクティブなインターフェースを提供する。例えば、ユーザ端末は、コンピュータ、ノート型パソコン、スマートフォン、タブレットＰＣ、及び／または当業者に知られた他のハードウェア装置であってよい。インターフェース部１２０は、ユーザ端末のディスプレイ部（例：モニタ、タッチパネル、及び／または当業者に知られた他のディスプレイ）にインターフェースを出力することができる。ユーザは、提供されるインターフェースを通じて輪郭を修正する各種の動作を容易に行い、輪郭分割装置１００は、ユーザが行う各種の動作と一致するユーザ入力を受信し、処理することができる。

また、インターフェース部１２０は、入力されるか、抽出された輪郭に基づいて輪郭を生成し、入力された映像にその生成された輪郭を重畳してインターフェース上に表示することができる。

図２は、輪郭分割装置のインターフェース２０の実施形態である。図１及び図２を参照して、インターフェース２０及びそのインターフェース２０を通じる輪郭修正について説明する。

インターフェース部１２０によって、ユーザ端末１０のディスプレイ部にインターフェース２０を出力することができる。インターフェース２０は、輪郭２５を表示する映像出力領域２３とユーザが輪郭モード、すなわち、全体修正モード、部分修正モード、または自由修正モードの選択に使える輪郭修正モード選択領域２１とからなる。さらに、ユーザは、入力物体２７、例えば、手、指、マウス、スタイラスペン、及び／または当業者に知られた他の入力物体などを用いて映像出力領域２３で所定動作を行うことによって、輪郭２５を修正することができる。

例えば、ユーザは、クリック（ｃｌｉｃｋ）動作を数回繰り返すか、入力物体２７を利用したドラッグ動作、及び／またはタッチパネルから一定方向に移動するパンニング（ｐａｎｎｉｎｇ）動作を行うことによって、輪郭２５を修正することができる。または、一定時間押す動作を行うことによって、輪郭２５を修正することも可能である。このような動作は、１つの実施形態であって、前記図１及び図２の例示に限定されず、その他の既定の多様なジェスチャやマルチタッチを通じて輪郭２５を修正することができる。

輪郭修正部１３０は、ユーザがインターフェース２０上で入力物体２７を通じて所定動作を行えば、その動作と一致するユーザの入力を受信し、ユーザが選択したモードとユーザの入力とに基づいて輪郭２５を修正する。一実施形態で、輪郭修正部１３０は、ユーザが輪郭２５の内部で所定動作を行えば、例えば、ユーザが最初に動作を行った地点（例：クリック地点、パンニングやドラッグ動作の開始地点など）が輪郭２５の内部である場合、輪郭２５を内側方向に修正することができる。他の実施形態として、輪郭修正部１３０は、輪郭２５の外部で所定動作を行えば、例えば、ユーザが最初に動作を行った地点（例：クリック地点、パンニングやドラッグ動作の開始地点など）が輪郭の外部である場合、輪郭２５を外側方向に修正することができる。さらに他の実施形態として、ユーザがマルチタッチ動作を行う場合、ユーザの２本の指を同時にタッチパネルに接触した状態で互いに遠ざけることによって、輪郭２５を外側方向に修正し、互いに近づけることによって、輪郭２５を内側方向に修正することができる。

輪郭修正部１３０は、ユーザが行った動作に対応する入力が輪郭２５を内側方向に修正するものであれば、輪郭分割アルゴリズムの閾値（ｔｈｒｅｓｈｏｌｄ）を元の閾値よりもさらに高く設定して、輪郭輪郭２５を減少させることができる。輪郭修正部１３０は、前記入力が輪郭２５を外側方向に修正するものであれば、閾値を元の閾値よりもさらに低く設定して、輪郭を増加させることができる。

輪郭修正部１３０は、ユーザが行った動作に対応する入力の種類、入力の強度、及び／または入力速度などに基づいて輪郭分割アルゴリズムの閾値を調整することができる。輪郭修正部１３０は、輪郭２５を修正するために調整された閾値を輪郭分割アルゴリズムに適用することができる。

例えば、ユーザが行った動作が数回繰り返されたクリック、パンニング、及び／またはドラッグ動作のように不連続的（ｄｉｓｃｒｅｔｅ）な入力を発生させる動作である場合、その閾値の調整幅を相対的に増加させて、輪郭２５を再計算することによって、輪郭２５が不連続的に変化するように示すことができる。もし、ユーザが行った動作が、所定時間押し続ける動作のような連続的（ｃｏｎｔｉｎｕｏｕｓ）な入力を発生させる動作である場合、その閾値の調整幅を相対的に減少させて、輪郭２５を再計算することによって、輪郭２５が連続して変化するように、ユーザに示すことができる。

さらに他の例として、閾値の調整幅は、入力の速度に基づいてさらに微細に調整されうる。例えば、ユーザがクリック動作を数回繰り返す時、そのクリック速度を速くすれば、閾値の調整幅を相対的に減少させ、クリック速度を遅くすれば、閾値の調整幅を相対的に増加させて、輪郭２５の変化程度を調節することができる。同様に、ユーザが、パンニング動作やドラッグ動作を速くするか、遅くすれば、閾値の調整幅を相対的に増加させるか、減少させて、輪郭の変化程度を調節することができる。

また、入力の強度に基づいて閾値の調整幅をさらに微細に調整することによって、輪郭２５の変化程度を調節することも可能である。例えば、ユーザが、所定時間押し動作を行う時、その押す圧力または入力強度を増加させれば、閾値の調整幅を相対的に減少させて、さらに連続して変化させうる。さらに他の例として、入力強度を低めれば、閾値の調整幅を相対的に増加させて、相対的に不連続的に変化させうる。

また、所定時間ユーザが押す動作を行う場合、あらかじめ時間単位を設定し、その設定された単位の時間が経過する度に閾値の調整幅を調整することによって、閾値を変化させることができる。例えば、３秒単位で押し続ける時間が経過する度に、閾値の調整幅を減らしながら、輪郭２５の変化幅を縮めることができる。

インターフェース部１２０は、輪郭修正部１３０によって輪郭２５が再計算されれば、該再計算された輪郭２５を生成してインターフェース２０上に表示することができる。輪郭修正部１３０によって輪郭２５が引き続き修正されれば、インターフェース部１２０は、修正された輪郭２５の変化をインターフェース２５に表示することによって、ユーザは、自身が行う動作に基づいて変化する輪郭２５を確認することができる。

このような実施形態によれば、インターフェース部１２０は、ユーザが肉眼で容易に輪郭２５の変化を確認できるように、元の輪郭と線の色相、種類、及び／または厚さなどを異ならせてインターフェース２０上に表示することができる。例えば、元の輪郭の色相が黒色の実線であれば、修正される輪郭２５は、黒色の実線、赤色の実線、及び赤色の点線などの多様な組合わせで表示することができる。

一方、ユーザは、輪郭の修正に使われるインターフェース２０の輪郭修正モード選択領域２１から輪郭修正モードを選択することができる。以下、図３Ａないし図５Ｂを参照して、輪郭修正モードを説明する。

図３Ａないし図３Ｄは、輪郭分割装置１００の部分修正モードの実施形態を説明する図面である。図３Ａは、部分修正モードで輪郭３０を修正する実施形態を説明する図面であって、図３Ａに示したように、輪郭３０の一部または一定範囲が修正される。図３Ａの左側は、ユーザがインターフェースで入力物体３２を輪郭３０の内部で動作させることによって、内側方向に輪郭３０が修正されるものが示されており、図３Ａの右側は、ユーザが輪郭３０の外部で入力物体３２を動作させることによって、輪郭３０が外側方向に修正されるものが示されている。

図１と図３Ｂとによれば、輪郭修正部１３０は、ユーザが輪郭修正モードのうちから部分修正モードを選択すれば、輪郭３０の一定範囲に対して輪郭分割アルゴリズムを適用して輪郭３０を部分的に修正することができる。

一定範囲は、ユーザが入力物体３２を通じて動作を行った最初地点３３を中心に既定の範囲３４であり得る。もし、既定の範囲３４が、輪郭３０をいずれも含む程度が大きく設定されている場合には、ユーザが部分修正モードを選択した場合であるとしても、全体修正モードで動作して全体範囲に対する輪郭分割アルゴリズムを適用することができる。

また、ユーザは、輪郭分割アルゴリズムが適用された一定範囲を図３Ｃ及び図３Ｄに例示されたように、直接設定することが可能である。図１と図３Ｃとによれば、インターフェース部１２０は、ユーザが部分修正モードを選択すれば、基本にあらかじめ指定されているか、ユーザが選択したそれぞれの一定形状（例：円形、楕円形及び多角形、及び／または当業者に知られた他の形状）を含む図形３５、３６をインターフェース上に出力する。ユーザは、入力物体３２を用いてそのそれぞれの図形３５、３６のサイズを調節することによって、図形３５、３６に対応するように輪郭３０の一定範囲を設定することができる。

また、図３Ｄの上端に示したように、ユーザは、自由領域３７に対応する輪郭３０の一部を修正するために、入力物体３２を通じて輪郭３０の一定範囲を自由領域３７に対応するように設定することによって、自由領域３７を指定することができる。図３Ｄの下端に示したように、入力物体３２を用いて一定範囲を自由曲線３８に対応するように設定することによって、輪郭３０の一定範囲を自由曲線３８形式で選択することができる。

再び図１と図３Ｃ及び図３Ｄとによれば、インターフェース部１２０は、ユーザが部分修正モードを選択すれば、輪郭３０の修正範囲を設定する方式（例：図形、自由領域、及び自由曲線を通じて）を選択可能なメニュー（例：ポップアップメニューなど）をインターフェースに出力することができる。もし、ユーザが図形を通じる修正範囲設定方式を選択すれば、インターフェース部１２０は、ユーザが多様な図形のうちの何れか１つの選択に使う追加的なメニューをインターフェース上に出力することができる。

もし、ユーザが、輪郭３０の修正に使う一定範囲を全体の輪郭３０を含むように設定する場合には、全体修正モードで動作して全体輪郭３０範囲に対して輪郭分割アルゴリズムを適用することができる。

図４は、輪郭分割装置１００の全体修正モードの実施形態を説明する図面である。図１と図４とによれば、ユーザがインターフェースの輪郭修正モードのうちから全体修正モードを選択すれば、輪郭修正部１３０は、ユーザが行う動作に対応する入力に基づいて輪郭４０の全体範囲の閾値を調整することによって、全体範囲に輪郭分割アルゴリズムを適用し、再計算することができる。

図４の上端に示したように、詳細に説明すれば、ユーザが輪郭４０の内部で入力物体４２を通じて、例えば、クリック動作などの所定動作を行えば、輪郭修正部１３０は、閾値を元の閾値よりもさらに高く調整して、輪郭４０が内側方向に、すなわち、減少する方向に修正させうる。または、図４の下端に示したように、ユーザが輪郭４０の外部で入力物体４２を通じて所定動作を行えば、閾値を元の閾値よりも低く調整して、輪郭４０が外側方向、すなわち、増加する方向に修正させうる。

図５Ａ及び図５Ｂは、他の輪郭分割装置１００の自由修正モードの実施形態を説明する図面である。図１と図５Ａ及び図５Ｂとを参照すれば、輪郭分割装置１００は、ユーザが自在に輪郭を修正できるように自由修正モードを支援することができる。

図５Ａの上端に示したように、ユーザが、元の輪郭５０で修正する部分に対して入力物体５２を用いてインターフェースで直接輪郭５１を描くことができる。ユーザは、比較的精密に元の輪郭５０部分、または全体を修正することができる。輪郭修正部１３０は、ユーザが輪郭５１を直接描く動作に基づいて元の輪郭５０を修正することができる。このように、最終的に修正された輪郭５３は、図５Ｂに示したように、インターフェース上に表示される。一方、ユーザは、何回でも自身が希望する輪郭が生成され、表示されるまで輪郭を再び描いて修正することが可能である。

図５Ｂを参照すれば、インターフェース部１２０は、ユーザがインターフェース６０の映像出力領域６１に出力された元の輪郭５０を修正するために、入力物体５２を用いて輪郭５１を描けば、インターフェース６０の所定領域６２にその入力物体５２を除き、輪郭５１が描かれる部分を表示することができる。これは、ユーザが直接描く輪郭５１が、入力物体５２によって覆われて、ユーザが見られない場合が発生するので、ユーザに輪郭５１が正確に描かれるか否かを確認させるためである。

一定領域６２は、ユーザが選択した１つ以上の段階（例：拡大または縮小）で輪郭５１が描かれる部分を拡大または縮小するために使う拡大鏡モードを支援し、ユーザは、輪郭５１が描かれる部分を段階的に拡大または縮小して正確に描かれているかを容易に確認することができる。

図６は、輪郭分割方法の実施形態のフローチャートである。図７は、輪郭分割方法で輪郭修正段階の実施形態の詳細フローチャートである。図６及び図７によって、図１の輪郭分割装置１００は、輪郭を分割する方法を行う。

動作６１０で、輪郭分割装置１００は、１つ以上の輪郭修正モードを支援するインターフェースをユーザ端末に提供することができる。ユーザは、提供されるインターフェースで、例えば、手や指、マウス、スタイラスペン、及び／または当業者に知られた他の入力物体のような多様な入力物体を通じて各種の動作を行うことができる。輪郭分割装置１００は、ユーザがインターフェースで行う動作に対応して入力を受信し、処理することができる。

輪郭修正モードは、図２に示したように、部分修正モード、全体修正モード、及び／または自由修正モードを含み、ユーザが何れか１つのモードを選択できるように、インターフェースの輪郭修正モード選択領域２１にそれぞれのモードを出力することができる。

動作６２０で、輪郭分割装置１００は、映像から抽出された関心領域の輪郭をその映像に重畳し、その輪郭を含んだ重畳されたイメージをインターフェース上に表示することができる。輪郭分割装置１００は、ＣＡＤ診断システムや映像処理システムで映像、及び／または輪郭情報を入力されて、その情報に基づいて輪郭を生成し、該生成された輪郭をその入力された映像に重畳して、その重畳された輪郭をインターフェース上に表示することができる。輪郭分割装置１００は、映像のみが入力される場合には、その映像で輪郭の情報を抽出することができる。

動作６３０で、輪郭分割装置１００は、ユーザが輪郭修正モードのうちの何れかモードを選択し、輪郭を修正する所定動作を行えば、ユーザが選択した輪郭修正モード及びユーザが行った所定動作に対応する入力に基づいて輪郭を修正することができる。

図７を参照して、輪郭修正手続きをさらに具体的に説明することができる。図７の動作７０１で、輪郭分割装置１００は、ユーザから選択された輪郭修正モードと所定動作とに対応する入力を受信する。動作７０２で、輪郭分割装置１００は、選択された輪郭修正モードが全体修正モードであるか、部分修正モードであるか、または自由修正であるか否かを判断する。選択された輪郭修正モードが全体修正モードと判断された場合、輪郭分割装置１００は、動作７０３を進行し続ける。選択された輪郭モードが部分修正モードと判断された場合、輪郭分割装置１００は、動作７０５を進行し続ける。選択された修正モードが自由修正モードと判断された場合、輪郭分割装置１００は、動作７１１を進行し続ける。

動作７０３で、輪郭分割装置１００は、インターフェースに表示された輪郭の全体範囲に対して輪郭分割装置の閾値、及び／またはパラメータなどを調整する。ユーザが行った動作が行われた地点（例：クリック、パンニング、及びドラッグ動作の開始地点など）を確認して、輪郭の内側方向に修正するか、外側方向に修正するか否かを決定することができる。前述した図４の説明のように、輪郭の内部で動作が行われれば、閾値を元の閾値よりもさらに高く設定して、輪郭を減少させ、輪郭の外部で動作が行われれば、閾値を元の閾値よりもさらに低く設定して、輪郭を増加させうる。

また、ユーザが行った動作による入力の種類、強度、及び／または速度などに基づいて閾値の調整幅を互いに異なるように調節することによって、輪郭の変化程度を異ならせうる。前述したように、不連続的な入力であるクリック動作の繰り返し、パンニング、及び／またはドラッグなどの動作が行われれば、閾値の調整幅を増加させて不連続的に輪郭を変化させ、逆に、所定時間押しのように連続的な入力が行われれば、閾値の調整幅を減少させて連続して輪郭を変化させうる。

動作７０４で、調整された閾値、及び／またはパラメータなどを輪郭分割アルゴリズムに適用して全体の輪郭に対して再計算する。

動作７０５で、輪郭分割装置１００は、ユーザが輪郭を修正する一定範囲を設定または修正する要請が入力されたか否かを、例えば、範囲修正要請があったか否かを確認することができる。範囲修正要請が確認された場合、輪郭分割装置１００は、動作７０７を進行するか、それとも動作７０６を進行し続ける。

動作７０６で、動作を行った最初の地点を中心に一定サイズの範囲で輪郭修正範囲を限定する。

動作７０７で、輪郭分割装置１００は、ユーザがインターフェース上で輪郭修正範囲の設定に使える多様なモード（例：範囲設定モードなど）の選択に使えるメニューをインターフェース上に表示または提供することができる。例えば、図３Ｂ及び図３Ｄのように、範囲設定モードは、図形を利用した範囲設定モード、自由領域を利用した範囲設定モード、自由曲線を利用した範囲設定モードなどを含みうる。動作７０８で、ユーザが選択された範囲設定モードを用いて一定範囲を設定すれば、輪郭分割装置１００は、ユーザが直接設定した一定範囲で輪郭の修正範囲を限定する。

前述したように、一定サイズの範囲またはユーザによって設定された一定範囲が、インターフェースに表示された輪郭をいずれも含む場合、全体修正モードで動作する。

動作７０９で、限定された一定範囲に対して閾値、及び／またはパラメータなどを調整する。

全体修正モードと同様に、限定された一定範囲でユーザが行った動作地点、ユーザが行った動作による入力の種類、強度、及び／または速度に基づいて閾値調整幅を異ならせて調節することによって、輪郭の変化程度を異ならせうる。輪郭分割装置１００は、輪郭の限定された一定範囲を再計算するために調整された閾値、及び／またはパラメータなどを輪郭分割アルゴリズムに適用する。動作７１１で、ユーザが、インターフェースで輪郭を描く動作を行えば、輪郭分割装置１００は、その動作に対応する入力に基づいて輪郭を修正し、ユーザによって描かれる輪郭をインターフェース上に表示することができる。

動作７１２で、輪郭分割装置１００は、インターフェースの一定領域に入力物体を除き、輪郭が描かれる部分を表示させる拡大要請が入力されたか否かを確認する。動作７１３で、拡大要請入力が確認されれば、輪郭分割装置１００は、動作７１３を進行し続ける。そうでなければ、輪郭分割方法を終了する。

動作７１３で、その輪郭分割装置１００は、その輪郭が描かれる部分をインターフェースの一定領域に拡大して表示する。例えば、ユーザから拡大する情報を入力され、その段階に合わせて拡大して表示することができる。

再び図６を参照すれば、動作６４０で、輪郭分割装置１００は、修正された輪郭の変化をインターフェースに表示する。例えば、修正された輪郭の変化をユーザが容易に把握できるように、元の輪郭と修正された輪郭との種類や色相、厚さなどを異ならせて表示することができる。

前述したさまざまな装置及び方法は、１つ以上のハードウェア構成要素、１つ以上のソフトウェア構成要素、または１つ以上のハードウェア構成要素と、１つ以上のソフトウェア構成要素との組合わせを使って具現されうる。

ハードウェアの構成要素は、例えば、１つ以上の動作を物理的に行う物理的装置であり得るが、これに限定されるものではない。ハードウェア装置は、マイク、増幅器、低域通過フィルター、高域通過フィルター、帯域通過フィルター、アナログ−デジタルコンバータ、デジタル−アナログコンバータ、及びプロセッシング装置を含む。

ソフトウェアの構成要素は、例えば、１つ以上の動作を行うソフトウェアや命令語で調節するプロセッシング装置によって実行されるが、それに限定されるものではない。コンピュータ、コントローラ、または他のコントロール装置は、プロセッシング装置がソフトウェアを運用するか、命令語を実行させる。１つのソフトウェア構成要素は、１つのプロセッシング装置で実行され、２つまたはそれ以上のソフトウェア構成要素は、１つのプロセッシング装置で実行され、１つのソフトウェア構成要素は、２つまたはそれ以上のプロセッシング装置で実行され、または、２つまたはそれ以上のソフトウェア構成要素は、２つまたはそれ以上のプロセッシング装置によって実行可能である。

プロセッシング装置は、１つ以上の一般−目的または特殊−目的のコンピュータ、例えば、プロセッサ、コントローラ、及び算術論理演算装置、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラム可能論理配列、プログラム可能論理演算装置、マイクロプロセッサ、またはソフトウェアを運用するか、命令語を実行する他の装置を使って実行することができる。プロセッシング装置は、運用体制を作動させ、運用体制内で作動する１つ以上のソフトウェアアプリケーションを作動させることができる。プロセッシング装置は、ソフトウェアを運用するか、命令語を実行する場合、データを接近、保存、操作、処理、及び生成することができる。便宜のために、“プロセッシング装置”という用語が、本文で使われるが、当業者は、１つのプロセッシング装置が多様なプロセッシング要素とプロセッシング要素の多様な類型とを含むものと理解できる。例えば、処理装置は、１つ以上の処理器を含むか、１つ以上のプロセッサとコントローラとを含みうる。また、並列プロセッサまたはマルチコアプロセッサのように、他のプロセッシング構成が可能である。

動作Ａを行うためのソフトウェア構成要素を実行するプロセッシング装置は、ソフトウェアを運用するか、命令語を実行するようにプログラムされたプロセッサを含みうる。また、動作Ａ、動作Ｂ、動作Ｃを行うためのソフトウェア構成要素を実行するプロセッシング装置は、例えば、動作Ａ、Ｂ、及びＣを行うソフトウェア構成要素を実行するプロセッサ；動作Ａを行うソフトウェア構成要素を実行する最初のプロセッサと動作ＢとＣとを行うソフトウェア構成要素を実行する二番目のプロセッサ；動作ＡとＢとを行うソフトウェア構成要素を実行する最初のプロセッサと動作Ｃを行うソフトウェア構成要素を実行する二番目のプロセッサ；動作Ａを行うソフトウェア構成要素を実行する最初のプロセッサ、動作Ｂを行うソフトウェア構成要素を実行する二番目のプロセッサ、及び動作Ｃを行うソフトウェア構成要素を実行する三番目のプロセッサ；動作Ａ、Ｂ、及びＣを行うソフトウェア構成要素を実行する最初のプロセッサと動作Ａ、Ｂ、及びＣを行うソフトウェア構成要素を実行する二番目のプロセッサ、または１つ以上の動作Ａ、Ｂ、及びＣをそれぞれ行う１つ以上のプロセッサの他の何れか構成である、多様な構成を含みうる。たとえこのような例が、Ａ、Ｂ、Ｃの３種の動作のみ言及するとしても、行われる動作の数は、３種に限定されず、所望の結果を果たすか、所望の作業を行うための多数の動作があり得る。

ソフトウェア構成要素を実行するために、プロセッシング装置を調整するソフトウェアや命令語は、１つ以上の所望の動作を行うために、プロセッシング装置を独立して、または総括的に命令または設定するコンピュータプログラム、コード、命令語、またはその組合わせを含みうる。ソフトウェアまたは命令語は、解釈プログラムを使うプロセッシング装置が行うコンパイラ、及び／または上位レベルコードを生成する機械コードのように、プロセッシング装置が直接に行う機械コードを含みうる。ソフトウェアまたは命令語とデータ、データファイル及びデータ構造と関連した如何なるものも、永久的または一時的に機械、構成要素、物理的、または仮想的装置、コンピュータ記録媒体または装置、命令語やデータを提供することができるか、プロセッシング装置が解釈することができる伝播された信号波動の如何なる形態でも具体化されうる。ソフトウェアまたは命令語とデータ、データファイル及びデータ構造と関連したものは、またネットワークで結合されたコンピュータシステムを通じて分配されることによって、分散された方式で保存されて実行可能である。

例えば、ソフトウェアまたは命令語、及びデータ、データファイル、及びデータ構造と関連したものは、１つ以上の永久的なコンピュータ可読記録媒体に記録、保存、または固定されうる。永久的なコンピュータ可読記録媒体は、ソフトウェアと命令語及びデータ、データファイル及びデータ構造と関連したものを保存することができる如何なるデータ保存装置もなることができて、それらがコンピュータシステムやプロセッシング装置を通じて判読されうる。永久的なコンピュータ可読記録媒体の例は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ＣＤ−ＲＯＭｓ、ＣＤ−Ｒｓ、ＣＤ＋Ｒｓ、ＣＤ−ＲＷｓ、ＣＤ＋ＲＷｓ、ＤＶＤ−ＲＯＭｓ、ＤＶＤ−Ｒｓ、ＤＶＤ＋Ｒｓ、ＤＶＤ−ＲＷｓ、ＤＶＤ＋ＲＷｓ、ＤＶＤ−ＲＡＭｓ、ＢＤ−ＲＯＭｓ、ＢＤ−Ｒｓ、ＢＤ−Ｒ ＬＴＨｓ、ＢＤ−Ｒｅｓ、磁気テープ、フロッピー（登録商標）ディスク、光磁気データ保存装置、光データ保存装置、ハードディスク、ソリッドステートディスク、または当業者に知られた永久的なコンピュータ可読記録媒体を含みうる。

本説明と図面とに基づいた実施形態を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に構成することができる。ここで説明された端末と装置は、携帯電話、個人デジタル補助器（ＰＤＡ）、デジタルカメラ、携帯用ゲーム機、ＭＰ３プレーヤー、携帯用／個人用マルチプレーヤー、携帯用電子ブック、携帯用ノート型パソコン、グローバルポジショニングシステム、ナビゲーション装置、タブレット、センサー、または固定装置、無線通信、及び／またはネットワーク通信を利用することができるデスクトップＰＣ、高画質テレビ、ＤＶＤプレーヤー、ブルーレイプレーヤー、セットトップボックス、ホームオプルライオンス、または当業者に知られた他の装置であり得るが、提示された例に限定されるものではない。

本発明は、特定の例示を含むが、当業者が、請求範囲及びそれと均等な範囲内でその実施形態の形態と細部事項とを多様に変化させうるということは明白である。前述した実施形態は、発明を限定するための観点ではなく、説明する観点で考慮されなければならない。各実施形態の機能や態様の説明は、他の実施形態の類似した機能または態様に適用することができる。説明された技術が他の順序で行われるか、及び／または記載のシステム、構造、装置、または回路の構成要素が他の方式で結合されるか、及び／または他の構成要素、または、それと均等なものに置き換えられるか、補充される場合にも、適切な結果が得られる。したがって、本発明の範囲は、詳細な説明ではなく、請求項とその均等な範囲とによって決定され、請求項とその均等な範囲とに属するあらゆる変化が、発明の範囲に含まれると解釈されねばならない。

本発明は、ユーザの相互作用に基づいて映像内の輪郭を分割する装置及び方法関連の技術分野に適用可能である。

１０ ユーザ端末
２０、６０ インターフェース
２３ 映像出力領域
２５、３０、４０、５０、５１、５３ 輪郭
２７、３２、４２、５２ 入力物体
３３ 最初の地点
３４ 範囲
３５、３６ 図形
３７ 自由領域
３８ 自由曲線
６１ 映像出力領域
６２ 所定領域
１００ 輪郭分割装置
１１０ 輪郭入力部
１２０ インターフェース部
１３０ 輪郭修正部

Claims (20)

1. １つ以上のモードを支援するインターフェースを端末に提供し、関心領域の輪郭を含む映像を前記インターフェースに表示するインターフェース部と、
   前記１つ以上のモードからユーザが選択したモード、及び前記ユーザが行った動作に基づいて前記輪郭を修正する輪郭修正部と、
   を含む輪郭分割装置。
2. 前記輪郭修正部は、前記動作を前記輪郭の内部で行う場合に、前記輪郭を内側方向に修正し、前記動作を前記輪郭の外部で行う場合に、前記輪郭を外側方向に修正する請求項１に記載の輪郭分割装置。
3. 前記輪郭修正部は、前記動作の種類、強度、速度、またはその組合わせに基づいて前記輪郭の閾値を調整し、前記閾値に基づいて前記輪郭を修正する請求項１又は２に記載の輪郭分割装置。
4. 前記輪郭修正部は、前記動作が前記インターフェース上のクリック、パンニング、ドラッグの繰り返し、またはその組合わせである場合に、前記輪郭の閾値の調整幅を増加させ、
   前記増加した調整幅に基づいて前記輪郭が不連続的に変化されるように修正し、
   前記動作が前記インターフェース上の所定時間押し続ける動作である場合に、前記閾値の調整幅を減少させ、
   前記減少した調整幅に基づいて前記輪郭が連続して変化するように修正する請求項１乃至３のうちのいずれか一項に記載の輪郭分割装置。
5. 前記輪郭修正部は、前記モードが部分修正モードである場合に、前記輪郭の一定範囲を修正する請求項１乃至４のうちのいずれか一項に記載の輪郭分割装置。
6. 前記輪郭修正部は、前記モードが自由修正モードである場合に、前記ユーザが前記インターフェース上で前記輪郭を描く前記動作に基づいて前記輪郭を修正する請求項１乃至５のうちのいずれか一項に記載の輪郭分割装置。
7. 前記インターフェース部は、前記動作の実行中に、前記輪郭を含み、前記ユーザが前記動作を行うのに用いる物体を除いた部分を、前記インターフェースにさらに表示する請求項６に記載の輪郭分割装置。
8. 前記インターフェース部は、前記ユーザが選択した段階で、前記部分を拡大または縮小する請求項７に記載の輪郭分割装置。
9. １つ以上のモードを支援するインターフェースを端末に提供する段階と、
   関心領域の輪郭を含む映像を前記インターフェース上で表示する段階と、
   前記１つ以上のモードからユーザが選択したモードに基づいて前記輪郭を修正する段階と、
   を含む輪郭分割方法。
10. 前記修正段階は、前記動作を前記輪郭の内部で行う場合に、前記輪郭を内側方向に修正する段階と、
    前記動作を前記輪郭の外部で行う場合に、前記輪郭を外側方向に修正する段階と、
    を含む請求項９に記載の輪郭分割方法。
11. 前記修正段階は、前記動作の種類、強度、速度、またはその組合わせに基づいて前記輪郭の閾値を調整する段階と、
    前記調整された閾値に基づいて前記輪郭を修正する段階と、
    を含む請求項９又は１０に記載の輪郭分割方法。
12. 前記修正段階は、前記インターフェース上で前記動作がクリック、パンニング、ドラッグの繰り返し、またはその組合わせである場合に、前記輪郭の閾値の調整幅を増加させる段階と、
    前記増加した調整幅に基づいて前記輪郭が不連続的に変化されるように修正する段階と、
    前記インターフェース上で前記動作が所定時間押し動作である場合に、前記閾値の調整幅を減少させる段階と、
    前記減少した調整幅に基づいて前記輪郭が連続して変化されるように修正する段階と、
    を含む請求項９乃至１１のうちのいずれか一項に記載の輪郭分割方法。
13. 前記修正段階は、前記モードが部分修正モードである場合に、前記輪郭の一定範囲を修正する段階を含む請求項９乃至１２のうちのいずれか一項に記載の輪郭分割方法。
14. 前記修正段階は、前記モードが自由修正モードである場合に、前記ユーザが前記インターフェースで前記輪郭を描く前記動作に基づいて前記輪郭を修正する段階を含む請求項１４に記載の輪郭分割方法。
15. 前記動作を行う間に、前記輪郭を含み、前記ユーザが前記動作を行うのに用いる物体を除いた部分を、前記インターフェースに表示する段階をさらに含む請求項１４に記載の輪郭分割方法。
16. 前記ユーザが選択した段階で、前記部分を拡大または縮小する段階をさらに含む請求項１５に記載の輪郭分割方法。
17. 映像と１つ以上のモードとを含むインターフェースを端末に伝送し、
    前記１つ以上のモードからユーザが選択したモード、及び前記ユーザが行った動作を前記端末から受信するインターフェース部と、
    前記モードと前記動作とに基づいて前記輪郭を修正する輪郭修正部と、
    を含む輪郭分割装置。
18. 前記輪郭修正部は、前記モードが全体修正モードである場合に、
    前記動作の種類、強度、速度、またはその組合わせに基づいて前記輪郭の全体の閾値を調節し、
    前記調節された閾値に基づいて前記輪郭の全体を修正する請求項１７に記載の輪郭分割装置。
19. 前記輪郭修正部が、前記モードが部分修正モードである場合に、
    前記動作の種類、強度、速度、またはその組合わせに基づいて前記輪郭の一定範囲の閾値を調節し、
    前記調節された閾値に基づいて前記輪郭の前記範囲を修正する請求項１７又は１８に記載の輪郭分割装置。
20. 前記輪郭修正部が、前記モードが自由修正モードである場合に、
    前記ユーザが前記インターフェース上で前記輪郭を描く前記動作に基づいて前記輪郭を修正し、
    修正された前記輪郭を前記インターフェース上でさらに表示する請求項１７乃至１９のうちのいずれか一項に記載の輪郭分割装置。

Images