JP2005049934A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2005049934A JP2005049934A JP2003202833A JP2003202833A JP2005049934A JP 2005049934 A JP2005049934 A JP 2005049934A JP 2003202833 A JP2003202833 A JP 2003202833A JP 2003202833 A JP2003202833 A JP 2003202833A JP 2005049934 A JP2005049934 A JP 2005049934A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- tracking
- input
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明が属する技術分野】
本発明は、パターン追跡する際に入力画像の特定領域のみを追跡対象とする画像処理装置に関するものである。
【0002】
【従来の技術】
従来、楽器本体には触れないで演奏する楽器としてテルミンが知られている。テルミンは、本体にピッチを可変するためのアンテナと、ボリュームを可変するためのアンテナとを備えており、その2本のアンテナの周りで手を動かすことにより、ピッチを指定すると共にボリュームを調整しながら演奏するようにしている。
【0003】
【発明が解決しようとする課題】
楽器本体には触れないで演奏する電子楽器の演奏情報を得る手段として、演奏者の画像を表示している画面に仮想的な演奏操作子を表示させ、入力画像から演奏者の手の動きを検出し、検出された手の位置が仮想的な演奏操作子のどこにあるかを求めることにより、演奏者の手の動きに対応する演奏情報の抽出を行うことが考えられる。
このような手段では、楽器本体には触れないで演奏する電子楽器において、仮想的な演奏操作子が表示されていることから、この演奏操作子をあたかも操作しているようにして演奏することができるようになる。しかしながら、入力画像における特定のパターンの位置情報の検出には高速の処理装置が必要であると共に、その操作対象が動画像となると1フレームあたりの演算を実時間に行う必要があるため、コスト的に高価になりすぎてしまうという問題点があった。
【0004】
そこで、本発明は、入力画像における特定のパターンの位置検出を簡易に行うことのできる画像処理装置を提供することを目的としている。
【0005】
【課題を解決するための手段】
上記目的を達成することのできる本発明の画像処理装置は、少なくとも操作対象を含むエリア内においてのみ所定のパターンを追跡していることから、全画面の全ての解析を行う必要がなく画像処理の演算量を大幅に低減することができるようになる。これにより、所定のパターンの位置検出を簡易に行うことができる。この場合、例えば操作子とされる操作対象はハーフトーンで画面に表示されることから、所定のパターンが操作対象で隠れることがなく操作対象の所望の位置に所定のパターンを容易に動かすことができるようになる。
また、追跡する所定のパターンを入力エリアに入力していることから、ライティングの演出などにより入力画像が刻々と変動しても、入力エリアに入力されている所定のパターンも同様に変動するようになり、入力画像の照度や色相などの変動に対処することができるようになる。
【0006】
【発明の実施の形態】
本発明の実施の形態の画像処理装置が実行する画像処理の説明を図1を参照して行う。ただし、図1には本発明にかかる画像処理装置から出力されるビデオ信号を再生した表示画面の一例が示されている。
図1において、入力画像である動画像5が表示される表示画面1には左側に追跡エリア2aが設定され、追跡エリア2a内に操作対象3aが入力画像とハーフトーンでミックスされることにより半透明で表示されている。また、表示画面1の右側には追跡エリア2bが設定され、追跡エリア2b内に操作対象3bが入力画像とハーフトーンでミックスされることにより半透明で表示されている。操作対象3aは、音高(TONE)を指定するための操作子とされ、操作対象3bは、音量(VOLUME)を指定するための操作子とされている。さらに、表示画面1の中央上部に小さな入力エリア4が設定されており、破線で図示するように入力エリア4に動画像5の右手の部分を入力してサンプリングすることにより、動画像5の右手の部分が追跡パターン6として設定される。この追跡パターン6は入力エリア4に表示される。
【0007】
画像処理装置において追跡パターン6とマッチングするパターンの動きや軌跡が、追跡エリア2a,2b内の画像のみを解析することにより検出される。この場合、追跡エリア2aにおいては追跡パターン6とマッチングする動画像5の左手のパターン5aが追跡され、フレーム毎の左手のパターン5aの表示画面1上の座標位置が算出される。そして、算出された座標位置に対応する操作対象3aにおける操作子の座標位置の音高情報が求められて出力される。これにより、左手を音高の操作子(操作対象3a)における所望の音高位置に動かすことにより、その音高の操作情報が出力されるようになる。また、追跡エリア2bにおいては追跡パターン6とマッチングする動画像5の右手のパターン5bが追跡され、フレーム毎の右手のパターン5bの表示画面1上の座標位置が算出される。そして、算出された座標位置に対応する操作対象3bにおける操作子の座標位置の音量情報が求められて出力される。これにより、右手を音量の操作子(操作対象3b)における所望の音量位置に動かすことにより、その音量の操作情報が出力されるようになる。出力された音高情報および音量情報は、演奏情報として音源に供給されることにより、音源から供給された音高情報および音量情報に基づく楽音が生成されて放音されるようになる。
【0008】
このように、表示画面1に表示される動画像5は演奏者であり、演奏者は表示画面1の音高の仮想的な操作子に合わせて左手を動かすことにより音高を指定することができると共に、表示画面1の音量の仮想的な操作子に合わせて右手を動かすことにより音量を指定することができる。音高を指定する操作子(操作対象3a)は、例えば鍵盤とすることができ、いずれかの鍵に容易に手を移動させることができるので楽音の音高を誤りなく指定することができるようになる。また、音量を指定する操作子(操作対象3b)は、制御盤とすることができ楽音の音量を所望の音量に容易に指定することができるようになる。この場合、操作対象3a,3bの操作子を入力画像である動画像5とハーフトーンでミックスして表示するようにしたので、実際にはその場所に無い楽器の鍵盤や制御盤等の操作子をあたかも操作しているような効果を演奏者に与えることができ、楽器本体には触れないで演奏する楽器であっても容易に演奏を行えるようになる。
【0009】
ところで、追跡パターンを固定パターンとしてしまうと、その場所の照度、あるいは調光の状態などの外的要因が変化した場合に追跡パターンにマッチングするパターンを解析する処理が困難になることが考えられる。特に、音楽のパフォーマンスが行われるような場所ではライティングの演出などにより入力画像の状態が刻々とかなり変動することが容易に予想される。そこで、図1に示す入力エリア4に、追跡すべき追跡パターン6をシーンもしくはフレーム単位でサンプリングするか、もしくは追跡すべき追跡パターン6を入力エリア4に置き常にサンプリングしてマッチングパターンとして利用するようにする。このようにすると、設置場所での入力画像の照度、色相などの変動にある程度対処ができるようになる。なお、追跡エリア2a,2bでは入力エリア4で設定された追跡パターン6を追跡し、その位置情報を解析する。この場合、追跡エリア2a,2b内の画像の解析だけを行って、追跡パターン6を追跡すればよいことから、表示画面1の全画面の解析を行うことに比べてその演算量を格段に低減することができ、計算コストを軽くすることができるようになる。
【0010】
次に、本発明の実施の形態の画像処理装置が画像処理を実行する際に表示される表示画面の他の例を図2に示す。
図2に示す表示画面1では、画面上部の約1/3位が追跡エリア2として設定されている。この追跡エリア2には操作対象3が入力画像とハーフミックスされて半透明で表示されている。操作対象3は、音高を指定するための鍵盤等や音量を指定するための操作子とすることができる。さらに、表示画面1の右下に小さな入力エリア4が設定されており、図示するように入力エリア4に動画像5の右手の部分が置かれて入力エリア4をサンプリングすることにより、動画像5の右手の部分が追跡パターン6として設定されている。
【0011】
画像処理装置においては、追跡パターン6とマッチングするパターンの動きや軌跡が、追跡エリア2内の画像を解析することにより検出される。この場合、追跡エリア2においては動画像5の左手のパターン5aが追跡エリア2において追跡され、フレーム毎の左手のパターン5aの表示画面1上の座標位置が算出される。この場合、その追跡中座標7が四角形で囲んで図示されており、例えば算出される座標は追跡中座標7の重心位置とされる。そして、算出された座標位置に対応する操作対象3における座標位置の音高情報あるいは音量情報等の演奏情報が求められて出力される。出力された音高情報あるいは音量情報の演奏情報は、音源に供給されることにより、音源で生成される楽音の音高や音量が演奏情報により制御されるようになる。この場合、追跡エリア2では入力エリア4で入力されたパターンを追跡し、その位置情報を解析している。このように、追跡エリア2内の画像の解析だけを行って、設定されている追跡パターン6を追跡すればよいことから、表示画面1の全画面の解析を行うことに比べてその演算量を格段に低減することができ、計算コストを軽くすることができるようになる。また、図2に示す表示画面1の例では、追跡すべき追跡パターン6を入力エリア4に置いて常にサンプリングしてマッチングパターンとして利用するようにしている。これにより、設置場所での入力画像の照度、色相などの変動にある程度対処ができるようになる。
【0012】
この図2に示す表示画面1の具体的な一例を図3に示す。
図3に示す表示画面1では、画面上部の約1/3位が追跡エリア2とされて、追跡エリア2にシンセサイザのフロントパネル及び鍵盤が入力画像にハーフトーンミックスされて半透明で表示されている。そして、このシンセサイザにおける鍵盤が操作対象3とされている。追跡エリア2を除く部分は入力画像をそのままインポーズして表示している。この半透明で表示されているシンセサイザが動画像5で示される演奏者が演奏する仮想的な楽器となり、動画像5の動きにかかわらず追跡エリア2に表示されているシンセサイザは常に画面の同じ位置に表示される。また、入力エリア4が3つ設けられており、それぞれの入力エリア4に追跡すべき追跡パターンを入力することができるようにされている。図示する場合は、右側の入力エリア4に右手の人差し指と中指の略上半部が置かれてサンプリングされ追跡パターン6aとされている。また、中央の入力エリアに先端に球が付いた棒の先端部が置かれてサンプリングされ追跡パターン6bとされている。さらに、左側の入力エリアに筆記具の先端部が置かれてサンプリングされ追跡パターン6cとされている。このように、複数の入力エリア4には追跡パターン6a,6b,6cの画像が表示されている。
【0013】
複数の入力エリア4に表示されている追跡パターン6a,6b,6cのいずれかを選択することができ、ここでは追跡パターン6aを選択したとする。すると、追跡エリア2において追跡されるパターンは右手の追跡パターン6aを左手に置き換えたパターンとされて、動画像5におけるパターン5aが追跡パターン6aにマッチングするパターンとして追跡されるようになる。従って、画像処理装置において追跡パターン6とマッチングするパターン5aの動きや軌跡が、追跡エリア2内の画像を解析することにより検出されるようになる。すなわち、追跡エリア2において追跡された表示画面1上のパターン5aの座標位置がフレーム毎に算出される。この場合の追跡中座標7が四角形で囲まれて図示されており、例えば算出される座標は追跡中座標7におけるパターン5aの重心位置とされる。そして、算出された座標位置に対応する操作対象3である鍵盤の座標位置における音高情報が求められて出力される。すなわち、左手の中指と人差し指で指し示す鍵盤の鍵の音高が演奏情報として出力されるようになる。出力された演奏情報は音源に供給されることにより、音源で生成される楽音の音高が演奏情報により制御されるようになる。
【0014】
入力エリア4において、追跡パターン6bが選択された場合は先端に球が付いた棒の先端部が追跡エリア2における追跡パターンとなり、この棒で指し示す鍵盤の鍵の音高が上記と同様にして演奏情報として出力されるようになる。また、入力エリア4において、追跡パターン6cを選択した場合は筆記具の先端部が追跡エリア2における追跡パターンとなり、この筆記具で指し示す鍵盤の鍵の音高が上記と同様にして演奏情報として出力されるようになる。
図3に示す例において、追跡エリア2では選択されている入力エリア4で入力された追跡パターンの内の選択された追跡パターンにマッチングするパターンを追跡し、その位置情報を解析している。このように、追跡エリア2内の画像の解析だけを行って、選択されている追跡パターンにマッチングするパターンを追跡すればよいことから、表示画面1の全画面の解析を行うことに比べてその演算量を格段に低減することができ、計算コストを軽くすることができるようになる。
【0015】
ところで、追跡パターンを固定してしまうと、上述したようにその場所の照度、あるいは調光の状態などの外的要因が変化した場合に追跡パターンにマッチングするパターンの解析処理が困難になることが考えられる。そこで、選択されている入力エリア4に、追跡すべき追跡パターンをシーンもしくはフレーム単位でサンプリングするか、もしくは追跡すべき追跡パターンを選択されている入力エリア4に置き常にサンプリングしてマッチングパターンとして利用するようにする。これにより、設置場所での入力画像の照度、色相などの変動にある程度対処ができるようになる。
【0016】
次に、本発明の実施の形態の画像処理装置のハードウェア構成をブロック図で図4に示す。
図4に示す画像処理装置10において、CPU(Central Processing Unit)11はメモリシステム(MEMORY SYSTEM)12に格納されている画像処理プログラムを実行することにより、追跡パターンと追跡エリアにおける入力画像とのパターンマッチング処理等の画像処理を行うことにより検出された追跡パターンの動きに対応する操作情報を出力している処理装置である。メモリシステム12は、入力エリア4に入力された追跡パターンの画像データが格納されたり、CPU11のワークエリア等が設定されるRAM(Random Access Memory)と、画像処理プログラム等のプログラムや各種データが記憶されているROM(Read Only Memory)から構成されている記憶装置である。操作情報インタフェース(操作情報I/F)13は、画像処理装置10において求められた演奏情報である操作情報を音源等に出力するためのインタフェースである。この操作情報は、例えばMIDI信号あるいはそれに類するフォーマットの信号とされている。
【0017】
ビデオ入力インタフェース14には、複数のビデオ入力V1,V2,V3が入力可能とされており、スイッチャーにより複数のビデオ入力V1,V2,V3を切り替えて、一つの系統のビデオ信号として画像処理部(DISP SYSTEM)16に供給している。この際に、入力されたアナログビデオ信号はADコンバータ(ADC)でディジタルビデオ信号に変換されて、一時的に入力バッファメモリに保存され、所定のタイミングで読み出されて画像処理部16に供給される。また、入力されたディジタルビデオ信号は一時的に入力バッファメモリに保存され所定のタイミングで読み出されて画像処理部16に供給される。画像処理部16は、DISP(Digital Image Signal Processor)から構成されており、CPU11の制御の基で追跡エリア2に表示される仮想的な操作子画像を入力画像にハーフトーンミックスする処理を行い、処理された画像信号を画像メモリ15に保存したり、パターンマッチング処理等の画像処理を行っている。画像メモリ15からは、表示タイミングで画像信号が読み出され、DAコンバータ(DAC)17によりアナログビデオ信号に変換されてビデオ信号として表示器に供給される。これにより、表示画面1に図3に示すように入力画像にハーフトーンでミックスされたシンセサイザのフロントパネル及び鍵盤等が表示されるようになる。CPU11ないしDAC17はバス18により接続されている。
【0018】
次に、本発明にかかる画像処理装置10が実行するシステム処理のフローチャートを図5に示す。
画像処理装置10の電源が投入されるとシステム処理が起動される。リアルタイムで実行されるシステム処理では1フレームごとに処理を行っており、ステップS10にて1フレームのデータが取り込まれる。次いで、ステップS11にて入力エリア4に設定されている追跡パターンを、追跡エリア2内における画像とのパターンマッチングを行うことにより検出して、検出されたパターンの座標位置を算出する処理が行われる。この処理において追跡エリア2内から追跡パターンが検出されたか否かがステップS12にて判断される。ここで、追跡エリア2内から追跡パターンが検出されたと判断された場合は、ステップS13に進んで検出された追跡パターンにパターンマッチングするパターンの重心が半透明で表示されている操作対象3のエリア内にあるか否かが判断される。
【0019】
ここで、追跡パターンにパターンマッチングするパターンの重心が操作対象3のエリア内にあると判断された場合は、ステップS14に進み追跡パターンにパターンマッチングするパターンの重心近傍の色相や明度等の画像条件が、設定されている追跡パターンの画像条件に合致するか否かがて判断される。そして、追跡パターンにパターンマッチングするパターンの重心近傍の画像条件が、設定されている追跡パターンの画像条件に合致すると判断された場合は、ステップS15に進んで追跡パターンにパターンマッチングするパターンの重心が位置する座標に対応する操作対象3の座標位置の操作情報が出力される。また、ステップS12にて追跡エリア2内から追跡パターンが検出されないと判断された場合、ステップS13にて追跡パターンにパターンマッチングするパターンの重心が操作対象3のエリア内にないと判断された場合、および、ステップS14にて追跡パターンにパターンマッチングするパターンの重心近傍の画像条件が、設定されている追跡パターンの画像条件に合致しないと判断された場合は、ステップS16に進んで既に実行されたシステム処理により出力中の操作情報がリセットあるいは、その出力が終了される。例えば、キーオンの操作情報が出力中であった場合はキーオフの操作情報が出力されることになる。また、音高を指定する操作情報が出力中であった場合は、その操作情報の出力が停止される。
【0020】
ステップS15の処理が終了した場合、あるいはステップS16の処理が終了した場合は、ステップS10に戻り、次のフレームデータが取り込まれて、取り込まれたフレームデータに対して上述したステップS11ないしステップS16の処理が繰り返し行われる。このようにして、1フレームデータごとのシステム処理がリアルタイムで常時行われるようになる。
なお、以上の説明では演奏情報を検出する画像処理装置としたが、本発明はこれに限るものではなく各種パラメータの設定装置やデータ入力装置に適用可能とされている。
【0021】
【発明の効果】
本発明は以上説明したように、少なくとも操作対象を含むエリア内においてのみ所定のパターンを追跡していることから、全画面の全ての解析を行う必要がなく画像処理の演算量を大幅に低減することができるようになる。これにより、所定のパターンの位置検出を簡易に行うことができる。この場合、例えば操作子とされる操作対象はハーフトーンで画面に表示されることから、所定のパターンが操作対象で隠れることがなく操作対象の所望の位置に所定のパターンを容易に動かすことができるようになる。
また、追跡する所定のパターンを入力エリアに入力していることから、ライティングの演出などにより入力画像が刻々と変動しても、入力エリアに入力されている所定のパターンも同様に変動するようになり、入力画像の照度や色相などの変動に対処することができるようになる。
【図面の簡単な説明】
【図1】本発明の実施の形態の画像処理装置が画像処理を実行する際に表示される表示画面を示す図である。
【図2】本発明の実施の形態の画像処理装置が画像処理を実行する際に表示される表示画面の他の例を示す図である。
【図3】図2に示す表示画面の具体的な一例を示す図である。
【図4】本発明の実施の形態の画像処理装置のハードウェア構成をブロック図である。
【図5】本発明にかかる画像処理装置が実行するシステム処理のフローチャートである。
【符号の説明】
1 表示画面、2 追跡エリア、2a,2b 追跡エリア、3 操作対象、3a,3b 操作対象、4 入力エリア、5 動画像、5a パターン、5b パターン、6 追跡パターン、6a,6b,6c 追跡パターン、7 追跡中座標、10 画像処理装置、11 CPU、12 メモリシステム、13 操作情報I/F、14 ビデオ入力インタフェース、15 画像メモリ、16 画像処理部、17 DAC、18 バス[0001]
[Technical field to which the invention belongs]
The present invention relates to an image processing apparatus that targets only a specific area of an input image when tracing a pattern.
[0002]
[Prior art]
Conventionally, theremin is known as a musical instrument to be played without touching the instrument body. Theremin is equipped with an antenna for changing the pitch and an antenna for changing the volume on the main body. By moving the hands around the two antennas, the pitch is specified and the volume is adjusted. While playing.
[0003]
[Problems to be solved by the invention]
As a means of obtaining performance information of an electronic musical instrument that is played without touching the instrument body, a virtual performance operator is displayed on the screen displaying the performer's image, and the movement of the performer's hand is displayed from the input image. It is conceivable to extract performance information corresponding to the movement of the performer's hand by detecting and determining where the detected hand position is in the virtual performance operator.
With such a means, a virtual performance operator is displayed on an electronic musical instrument that is played without touching the instrument body, so that it is possible to perform the performance as if it were operated. become able to. However, detection of position information of a specific pattern in an input image requires a high-speed processing device, and if the operation target is a moving image, it is necessary to perform computation per frame in real time. However, it was too expensive.
[0004]
Therefore, an object of the present invention is to provide an image processing apparatus that can easily detect the position of a specific pattern in an input image.
[0005]
[Means for Solving the Problems]
Since the image processing apparatus of the present invention that can achieve the above object tracks a predetermined pattern only in an area including at least an operation target, it is not necessary to perform the entire analysis of the entire screen. The calculation amount can be greatly reduced. Thereby, the position detection of a predetermined pattern can be performed easily. In this case, for example, an operation target that is an operation element is displayed on the screen in a halftone, so that the predetermined pattern can be easily moved to a desired position of the operation target without being hidden by the operation target. become able to.
In addition, since the predetermined pattern to be tracked is input to the input area, even if the input image fluctuates momentarily due to lighting effects etc., the predetermined pattern input to the input area also changes similarly. Thus, it becomes possible to cope with fluctuations in the illuminance and hue of the input image.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
The image processing executed by the image processing apparatus according to the embodiment of the present invention will be described with reference to FIG. However, FIG. 1 shows an example of a display screen on which a video signal output from the image processing apparatus according to the present invention is reproduced.
In FIG. 1, a tracking area 2a is set on the left side of the display screen 1 on which a moving image 5 as an input image is displayed, and the operation target 3a is mixed with the input image and halftone in the tracking area 2a. It is displayed in transparency. A
[0007]
In the image processing apparatus, the movement and locus of the pattern matching the tracking pattern 6 is detected by analyzing only the images in the
[0008]
As described above, the moving image 5 displayed on the display screen 1 is a performer, and the performer can designate the pitch by moving the left hand in accordance with the virtual operator of the pitch on the display screen 1. In addition, the sound volume can be specified by moving the right hand in accordance with a virtual sound volume control on the display screen 1. The operation element (operation object 3a) for designating the pitch can be a keyboard, for example, and the hand can be easily moved to any key, so that the pitch of the musical tone can be designated without error. become. Further, the operator (
[0009]
By the way, if the tracking pattern is a fixed pattern, it may be difficult to analyze a pattern that matches the tracking pattern when an external factor such as illuminance or dimming state of the place changes. Particularly in places where music performances are performed, it is easily expected that the state of the input image will vary considerably from moment to moment due to lighting effects and the like. Therefore, the tracking pattern 6 to be tracked is sampled in the scene or frame unit in the
[0010]
Next, another example of the display screen displayed when the image processing apparatus according to the embodiment of the present invention executes image processing is shown in FIG.
In the display screen 1 shown in FIG. 2, about 1/3 of the upper part of the screen is set as the tracking area 2. In the tracking area 2, the operation target 3 is half-mixed with the input image and displayed in a semi-transparent manner. The operation target 3 can be a keyboard or the like for designating a pitch or an operator for designating a volume. Further, a
[0011]
In the image processing apparatus, the movement and trajectory of the pattern that matches the tracking pattern 6 is detected by analyzing the image in the tracking area 2. In this case, the
[0012]
A specific example of the display screen 1 shown in FIG. 2 is shown in FIG.
In the display screen 1 shown in FIG. 3, about 1/3 of the upper part of the screen is a tracking area 2, and the synthesizer front panel and keyboard are halftone mixed and displayed in a semitransparent area in the tracking area 2. Yes. The keyboard in this synthesizer is the operation target 3. In the portion excluding the tracking area 2, the input image is displayed as it is. This semi-transparent synthesizer becomes a virtual instrument played by the performer shown in the moving image 5, and the synthesizer displayed in the tracking area 2 is always at the same position on the screen regardless of the movement of the moving image 5. Is displayed. Further, three
[0013]
Any of the
[0014]
When the
In the example shown in FIG. 3, the tracking area 2 tracks a pattern that matches the selected tracking pattern among the tracking patterns input in the selected
[0015]
By the way, if the tracking pattern is fixed, it may be difficult to analyze a pattern matching the tracking pattern when an external factor such as the illuminance at the place or the dimming state changes as described above. Conceivable. Therefore, the tracking pattern to be tracked is sampled in the selected
[0016]
Next, FIG. 4 is a block diagram showing the hardware configuration of the image processing apparatus according to the embodiment of the present invention.
In the image processing apparatus 10 shown in FIG. 4, a CPU (Central Processing Unit) 11 executes an image processing program stored in a memory system (MEMORY SYSTEM) 12, so that a pattern between a tracking pattern and an input image in the tracking area. This is a processing device that outputs operation information corresponding to the movement of the tracking pattern detected by performing image processing such as matching processing. The
[0017]
A plurality of video inputs V1, V2, and V3 can be input to the
[0018]
Next, FIG. 5 shows a flowchart of system processing executed by the image processing apparatus 10 according to the present invention.
When the image processing apparatus 10 is turned on, system processing is started. In system processing executed in real time, processing is performed for each frame, and one frame of data is captured in step S10. Next, in step S11, the tracking pattern set in the
[0019]
Here, if it is determined that the center of gravity of the pattern to be matched with the tracking pattern is within the area of the operation target 3, the process proceeds to step S14 and image conditions such as hue and brightness near the center of gravity of the pattern to be matched with the tracking pattern. Is determined whether or not the image condition of the set tracking pattern is met. If it is determined that the image condition near the center of gravity of the pattern to be matched with the tracking pattern matches the image condition of the set tracking pattern, the process proceeds to step S15, and the center of gravity of the pattern to be matched with the tracking pattern is Operation information on the coordinate position of the operation target 3 corresponding to the position coordinates is output. If it is determined in step S12 that the tracking pattern is not detected from within the tracking area 2, or if it is determined in step S13 that the center of gravity of the pattern that matches the tracking pattern is not in the area of the operation target 3, If it is determined in step S14 that the image condition in the vicinity of the center of gravity of the pattern to be matched with the tracking pattern does not match the image condition of the set tracking pattern, the system proceeds to step S16 and has already been executed. The operation information being output is reset or the output is ended by the processing. For example, when key-on operation information is being output, key-off operation information is output. If operation information for designating the pitch is being output, the output of the operation information is stopped.
[0020]
When the process of step S15 is completed, or when the process of step S16 is completed, the process returns to step S10, the next frame data is captured, and the above-described steps S11 to S16 are performed on the captured frame data. The process is repeated. In this way, system processing for each frame data is always performed in real time.
In the above description, the image processing apparatus detects performance information. However, the present invention is not limited to this, and can be applied to various parameter setting apparatuses and data input apparatuses.
[0021]
【The invention's effect】
As described above, the present invention traces a predetermined pattern only in an area including at least an operation target, so that it is not necessary to analyze all of the entire screen, and the amount of calculation of image processing is greatly reduced. Will be able to. Thereby, the position detection of a predetermined pattern can be performed easily. In this case, for example, an operation target that is an operation element is displayed on the screen in a halftone, so that the predetermined pattern can be easily moved to a desired position of the operation target without being hidden by the operation target. become able to.
In addition, since the predetermined pattern to be tracked is input to the input area, even if the input image fluctuates momentarily due to lighting effects etc., the predetermined pattern input to the input area also changes similarly. Thus, it becomes possible to cope with fluctuations in the illuminance and hue of the input image.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a display screen displayed when an image processing apparatus according to an embodiment of the present invention executes image processing.
FIG. 2 is a diagram illustrating another example of a display screen displayed when the image processing apparatus according to the embodiment of the present invention executes image processing.
3 is a diagram showing a specific example of the display screen shown in FIG.
FIG. 4 is a block diagram illustrating a hardware configuration of the image processing apparatus according to the embodiment of the present invention.
FIG. 5 is a flowchart of system processing executed by the image processing apparatus according to the present invention.
[Explanation of symbols]
1 Display screen, 2 tracking area, 2a, 2b tracking area, 3 operation target, 3a, 3b operation target, 4 input area, 5 moving image, 5a pattern, 5b pattern, 6 tracking pattern, 6a, 6b, 6c tracking pattern, 7 coordinates during tracking, 10 image processing device, 11 CPU, 12 memory system, 13 operation information I / F, 14 video input interface, 15 image memory, 16 image processing unit, 17 DAC, 18 bus
Claims (4)
所定の追跡パターンを指定可能な指定手段と、
少なくとも前記操作対象が表示されているエリア内において、前記指定手段で指定された所定の追跡パターンを追跡して、前記所定のパターンの前記画面上の位置を検出するパターン検出手段と、
該パターン検出手段により検出された前記所定のパターンの位置で示される前記操作対象の操作情報を出力する出力手段と、
を備えることを特徴とする画像処理装置。Display means for displaying an operation target image on a screen on which an input image is displayed;
A designation means capable of designating a predetermined tracking pattern;
Pattern detection means for tracking a predetermined tracking pattern designated by the designation means and detecting a position of the predetermined pattern on the screen at least in an area where the operation target is displayed;
Output means for outputting operation information of the operation target indicated by the position of the predetermined pattern detected by the pattern detection means;
An image processing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003202833A JP4389501B2 (en) | 2003-07-29 | 2003-07-29 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003202833A JP4389501B2 (en) | 2003-07-29 | 2003-07-29 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005049934A true JP2005049934A (en) | 2005-02-24 |
JP4389501B2 JP4389501B2 (en) | 2009-12-24 |
Family
ID=34262396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003202833A Expired - Fee Related JP4389501B2 (en) | 2003-07-29 | 2003-07-29 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4389501B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010081466A (en) * | 2008-09-29 | 2010-04-08 | Hitachi Ltd | Operation control device and operation display method |
JP2011081506A (en) * | 2009-10-05 | 2011-04-21 | Hitachi Consumer Electronics Co Ltd | Video display device and method of controlling display thereof |
JP2014507020A (en) * | 2010-12-02 | 2014-03-20 | エンパイア テクノロジー ディベロップメント エルエルシー | Augmented reality system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06325180A (en) * | 1993-05-14 | 1994-11-25 | Matsushita Electric Ind Co Ltd | Automatic tracking device for moving body |
JPH0981307A (en) * | 1995-09-08 | 1997-03-28 | Clarion Co Ltd | Equipment controller |
JPH10269012A (en) * | 1997-03-28 | 1998-10-09 | Yazaki Corp | Touch panel controller and information display device using the same |
JP2001282428A (en) * | 2000-03-29 | 2001-10-12 | Matsushita Electric Ind Co Ltd | Information processor |
JP2003006654A (en) * | 2001-06-20 | 2003-01-10 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for extracting feature amount of moving object in moving image and method and device for automatically tracking moving object in moving image, program for executing the method and recording medium with the program recorded thereon |
-
2003
- 2003-07-29 JP JP2003202833A patent/JP4389501B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06325180A (en) * | 1993-05-14 | 1994-11-25 | Matsushita Electric Ind Co Ltd | Automatic tracking device for moving body |
JPH0981307A (en) * | 1995-09-08 | 1997-03-28 | Clarion Co Ltd | Equipment controller |
JPH10269012A (en) * | 1997-03-28 | 1998-10-09 | Yazaki Corp | Touch panel controller and information display device using the same |
JP2001282428A (en) * | 2000-03-29 | 2001-10-12 | Matsushita Electric Ind Co Ltd | Information processor |
JP2003006654A (en) * | 2001-06-20 | 2003-01-10 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for extracting feature amount of moving object in moving image and method and device for automatically tracking moving object in moving image, program for executing the method and recording medium with the program recorded thereon |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010081466A (en) * | 2008-09-29 | 2010-04-08 | Hitachi Ltd | Operation control device and operation display method |
JP2011081506A (en) * | 2009-10-05 | 2011-04-21 | Hitachi Consumer Electronics Co Ltd | Video display device and method of controlling display thereof |
JP2014507020A (en) * | 2010-12-02 | 2014-03-20 | エンパイア テクノロジー ディベロップメント エルエルシー | Augmented reality system |
US9215530B2 (en) | 2010-12-02 | 2015-12-15 | Empire Technology Development Llc | Augmented reality system |
Also Published As
Publication number | Publication date |
---|---|
JP4389501B2 (en) | 2009-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5027689A (en) | Musical tone generating apparatus | |
US8049730B2 (en) | Devices and methods of controlling manipulation of virtual objects on a multi-contact tactile screen | |
JP5598490B2 (en) | Performance device, method and program | |
US4968877A (en) | VideoHarp | |
US6225545B1 (en) | Musical image display apparatus and method storage medium therefor | |
Trail et al. | Non-invasive sensing and gesture control for pitched percussion hyper-instruments using the Kinect. | |
CN101504832A (en) | Virtual performance system based on hand motion sensing | |
JP2007206556A (en) | Sound processing program and sound processor | |
US11900903B2 (en) | Input device | |
JP4389501B2 (en) | Image processing device | |
JP5682285B2 (en) | Parameter setting program and electronic music apparatus | |
JP2000242394A (en) | Virtual keyboard system | |
US6534699B2 (en) | Instruction input device for electronic musical instrument | |
JP2008076765A (en) | Musical performance system | |
JP2008165098A (en) | Electronic musical instrument | |
EP3407683B1 (en) | Lighting control device, lighting control method and lighting control program | |
JP3089421B2 (en) | Sound processing device | |
Adhikari et al. | Computer Vision Based Virtual Musical Instruments | |
JP3250278B2 (en) | Electronic musical instrument | |
USRE38276E1 (en) | Tone generating apparatus for sound imaging | |
JP5348173B2 (en) | Electronic information processing apparatus and program | |
JP3846298B2 (en) | Performance information display device and performance information display program | |
JP3042176B2 (en) | Electronic musical instrument | |
JP4062257B2 (en) | Music score display device and music score display program | |
JP2836415B2 (en) | Electronic musical instrument editing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090915 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090928 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4389501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |