JP2000285221A - 信号処理装置および信号処理方法 - Google Patents
信号処理装置および信号処理方法Info
- Publication number
- JP2000285221A JP2000285221A JP8630899A JP8630899A JP2000285221A JP 2000285221 A JP2000285221 A JP 2000285221A JP 8630899 A JP8630899 A JP 8630899A JP 8630899 A JP8630899 A JP 8630899A JP 2000285221 A JP2000285221 A JP 2000285221A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image signal
- signal processing
- image
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 見た人の感情の変化等を伴う画像に係る画像
信号を選択的に記録する。 【解決手段】 ＣＣＤ８と、温度センサ１１1 等の生体
センサとが人体に装着される。ＣＣＤ８は、入射する撮
像光を画像信号に変換する。画像信号はＡ／Ｄ変換器９
を介して画像信号処理部１０と遅延素子１５とに供給さ
れる。画像信号処理部１０は、供給される信号に基づい
て画像信号に関連するトリガ信号Ｖを生成する。一方、
１１1 〜１１n の各生体センサが生成する信号は、各々
の後段のＡ／Ｄ変換器を介して信号処理部１３1 〜１３
n に供給される。信号処理部１３1 〜１３n は、供給さ
れる信号に基づいて生体センサの信号に関連するトリガ
信号を生成する。各トリガ信号は記録制御部１６に供給
される。各トリガ信号に基づいて記録制御部１６が遅延
素子１５、記録フォーマット化回路１７、記録制御部１
６の動作を制御することにより、画像信号が磁気ディス
ク１９に記録される。
信号を選択的に記録する。 【解決手段】 ＣＣＤ８と、温度センサ１１1 等の生体
センサとが人体に装着される。ＣＣＤ８は、入射する撮
像光を画像信号に変換する。画像信号はＡ／Ｄ変換器９
を介して画像信号処理部１０と遅延素子１５とに供給さ
れる。画像信号処理部１０は、供給される信号に基づい
て画像信号に関連するトリガ信号Ｖを生成する。一方、
１１1 〜１１n の各生体センサが生成する信号は、各々
の後段のＡ／Ｄ変換器を介して信号処理部１３1 〜１３
n に供給される。信号処理部１３1 〜１３n は、供給さ
れる信号に基づいて生体センサの信号に関連するトリガ
信号を生成する。各トリガ信号は記録制御部１６に供給
される。各トリガ信号に基づいて記録制御部１６が遅延
素子１５、記録フォーマット化回路１７、記録制御部１
６の動作を制御することにより、画像信号が磁気ディス
ク１９に記録される。
Description
【０００１】
【発明の属する技術分野】この発明は、画像を見た人が
示す反応等に関連して、当該画像に係る画像真相を記録
する等の処理を行う信号処理装置および信号処理方法に
関する。
示す反応等に関連して、当該画像に係る画像真相を記録
する等の処理を行う信号処理装置および信号処理方法に
関する。
【０００２】
【従来の技術】所望の画像を撮像する撮像装置として
は、例えばＣＣＤ(Charge Coupled Dervice)を使用した
装置等、種々のものが知られている。
は、例えばＣＣＤ(Charge Coupled Dervice)を使用した
装置等、種々のものが知られている。
【０００３】
【発明が解決しようとする課題】しかしながら、撮像さ
れた画像情報の内で、その画像を見た人の感情に変化を
与えたり印象深かったもの等について、例えば記録する
等の処理を選択的に行う機能を有する装置は今までに知
られていない。
れた画像情報の内で、その画像を見た人の感情に変化を
与えたり印象深かったもの等について、例えば記録する
等の処理を選択的に行う機能を有する装置は今までに知
られていない。
【０００４】従って、この発明の目的は、撮像された画
像情報の内で、その画像を見る人の感情に変化を与えた
り印象深かったものを判定し、そのような画像情報につ
いて例えば記録する等の処理を選択的に行うことが可能
な信号処理装置および信号処理方法を提供することにあ
る。
像情報の内で、その画像を見る人の感情に変化を与えた
り印象深かったものを判定し、そのような画像情報につ
いて例えば記録する等の処理を選択的に行うことが可能
な信号処理装置および信号処理方法を提供することにあ
る。
【０００５】
【課題を解決するための手段】請求項１の発明は、画像
信号を生成する画像センサと、生体信号センサと、画像
信号および生体信号センサの出力に基づいて設定される
条件の下で画像信号に所定の処理を施す画像信号処理手
段とを有することを特徴とする信号処理装置である。
信号を生成する画像センサと、生体信号センサと、画像
信号および生体信号センサの出力に基づいて設定される
条件の下で画像信号に所定の処理を施す画像信号処理手
段とを有することを特徴とする信号処理装置である。
【０００６】請求項２２の発明は、画像信号を生成する
画像信号生成ステップと、生体信号を生成する生体信号
生成ステップと、画像信号および生体信号に基づいて設
定される条件の下で画像信号に所定の処理を施す画像信
号処理ステップとを有することを特徴とする信号処理方
法である。
画像信号生成ステップと、生体信号を生成する生体信号
生成ステップと、画像信号および生体信号に基づいて設
定される条件の下で画像信号に所定の処理を施す画像信
号処理ステップとを有することを特徴とする信号処理方
法である。
【０００７】以上のような発明によれば、生体信号セン
サの出力に基づいて検知される例えば感情の変化等を示
すデータと、画像信号とに基づいて設定される条件の下
で、画像センサが生成する画像信号に対して記録等の処
理がなされる。
サの出力に基づいて検知される例えば感情の変化等を示
すデータと、画像信号とに基づいて設定される条件の下
で、画像センサが生成する画像信号に対して記録等の処
理がなされる。
【０００８】
【発明の実施の形態】この発明の一実施形態の構成につ
いて図１を参照して説明する。画像センサとしてのＣＣ
Ｄ８と、温度センサ１１1 ，筋電位センサ１１2 等、１
１n までのｎ個の生体センサとが人体に装着される。Ｃ
ＣＤ８は入射する撮像光を電気信号に変換し、電気信号
をＡ／Ｄ変換器９に供給する。なお、ＣＣＤ８は、例え
ば眼鏡のふち等に装着することにより、被装着者が実際
に見ている画像にできるだけ近い画像に係る画像信号を
生成するようになされる。
いて図１を参照して説明する。画像センサとしてのＣＣ
Ｄ８と、温度センサ１１1 ，筋電位センサ１１2 等、１
１n までのｎ個の生体センサとが人体に装着される。Ｃ
ＣＤ８は入射する撮像光を電気信号に変換し、電気信号
をＡ／Ｄ変換器９に供給する。なお、ＣＣＤ８は、例え
ば眼鏡のふち等に装着することにより、被装着者が実際
に見ている画像にできるだけ近い画像に係る画像信号を
生成するようになされる。
【０００９】Ａ／Ｄ変換器９は供給される信号をＡ／Ｄ
変換する。Ａ／Ｄ変換器９の出力は、画像信号処理部１
０と記憶部１４内の遅延素子１５とに供給される。画像
信号処理部１０は、供給される信号に基づいて画像信号
に関連するトリガ信号Ｖを生成し、生成したトリガ信号
Ｖを記憶部１４内の記録制御部１６に供給する。
変換する。Ａ／Ｄ変換器９の出力は、画像信号処理部１
０と記憶部１４内の遅延素子１５とに供給される。画像
信号処理部１０は、供給される信号に基づいて画像信号
に関連するトリガ信号Ｖを生成し、生成したトリガ信号
Ｖを記憶部１４内の記録制御部１６に供給する。
【００１０】一方、１１1 〜１１n の各生体センサの後
段にはそれぞれ、Ａ／Ｄ変換器１２1 〜１２n が設けら
れる。Ａ／Ｄ変換器１２1 〜１２n は、それぞれに供給
される信号をＡ／Ｄ変換する。Ａ／Ｄ変換器１２1 〜１
２n の出力は、それぞれ、信号処理部１３1 〜１３n に
供給される。信号処理部１３1 〜１３n は、供給される
信号に基づいて生体センサの信号に関連するトリガ信号
を生成する。例えば、信号処理部１３1 は、体温等を測
定する温度センサ１１1 の出力に関連するトリガ信号Ｔ
を生成し、また、信号処理部１３2 は、筋電位センサ１
１2 の出力に関連するトリガ信号Ｋを生成する。生体セ
ンサとしては、他にマイクロホン等の音声センサや、心
拍計、血圧計等を用いることができる。
段にはそれぞれ、Ａ／Ｄ変換器１２1 〜１２n が設けら
れる。Ａ／Ｄ変換器１２1 〜１２n は、それぞれに供給
される信号をＡ／Ｄ変換する。Ａ／Ｄ変換器１２1 〜１
２n の出力は、それぞれ、信号処理部１３1 〜１３n に
供給される。信号処理部１３1 〜１３n は、供給される
信号に基づいて生体センサの信号に関連するトリガ信号
を生成する。例えば、信号処理部１３1 は、体温等を測
定する温度センサ１１1 の出力に関連するトリガ信号Ｔ
を生成し、また、信号処理部１３2 は、筋電位センサ１
１2 の出力に関連するトリガ信号Ｋを生成する。生体セ
ンサとしては、他にマイクロホン等の音声センサや、心
拍計、血圧計等を用いることができる。
【００１１】信号処理部１３1 〜１３n の出力は、記録
制御部１６に供給される。記録制御部１６は、供給され
るトリガ信号Ｖ，Ｔ，Ｋ‥‥に基づいて書き込み有効期
間を示す信号Ｒを生成し、信号Ｒを記録回路１８に供給
する。遅延素子１５は、記録制御部１６の指令に従っ
て、Ａ／Ｄ変換器１２から供給される画像信号を記録フ
ォーマット化回路１７、記録回路１８等が動作するため
に好適な期間遅延させ、遅延させた画像信号を記録フォ
ーマット化回路１７に供給する。記録フォーマット化回
路１７は、記録制御部１６の指令に従って、遅延素子１
５から供給される画像信号を記録回路１８による処理に
好適な信号形式に変換する。記録回路１８は、記録制御
部１６から供給される書き込み有効期間を示す信号Ｒを
参照して、記録フォーマット化回路１７の出力を磁気デ
ィスク１９に記録するための処理を行う。なお、記録回
路８の出力を外部の記録装置等に伝送するようにしても
良い。
制御部１６に供給される。記録制御部１６は、供給され
るトリガ信号Ｖ，Ｔ，Ｋ‥‥に基づいて書き込み有効期
間を示す信号Ｒを生成し、信号Ｒを記録回路１８に供給
する。遅延素子１５は、記録制御部１６の指令に従っ
て、Ａ／Ｄ変換器１２から供給される画像信号を記録フ
ォーマット化回路１７、記録回路１８等が動作するため
に好適な期間遅延させ、遅延させた画像信号を記録フォ
ーマット化回路１７に供給する。記録フォーマット化回
路１７は、記録制御部１６の指令に従って、遅延素子１
５から供給される画像信号を記録回路１８による処理に
好適な信号形式に変換する。記録回路１８は、記録制御
部１６から供給される書き込み有効期間を示す信号Ｒを
参照して、記録フォーマット化回路１７の出力を磁気デ
ィスク１９に記録するための処理を行う。なお、記録回
路８の出力を外部の記録装置等に伝送するようにしても
良い。
【００１２】また、磁気ディスク１９から所望の情報を
再生する場合には、再生制御回路２３の指令に従って、
再生回路２０が磁気ディスク１９から記録されているデ
ータを読み出す。再生回路２０が生成する信号がフォー
マット変換回路２１に供給される。フォーマット変換回
路２１は、供給される信号のフォーマットを出力信号と
して好適なものに変換する。フォーマット変換回路２１
の出力は、Ｄ／Ａ変換回路２４によってＤ／Ａ変換さ
れ、外部に出力される。また、記録制御部１６および再
生制御部２３の動作は、主制御回路２２によって制御さ
れる。
再生する場合には、再生制御回路２３の指令に従って、
再生回路２０が磁気ディスク１９から記録されているデ
ータを読み出す。再生回路２０が生成する信号がフォー
マット変換回路２１に供給される。フォーマット変換回
路２１は、供給される信号のフォーマットを出力信号と
して好適なものに変換する。フォーマット変換回路２１
の出力は、Ｄ／Ａ変換回路２４によってＤ／Ａ変換さ
れ、外部に出力される。また、記録制御部１６および再
生制御部２３の動作は、主制御回路２２によって制御さ
れる。
【００１３】なお、記録媒体は磁気ディスクに限定され
るものではなく、相変化型の光ディスク（ＰＤ）、光磁
気ディスク（ＭＯ）等のディスク状の記録媒体、磁気テ
ープ、光テープ等のテープ状の記録媒体、およびフラッ
シュメモリ等、種々の記録媒体を使用することができ
る。
るものではなく、相変化型の光ディスク（ＰＤ）、光磁
気ディスク（ＭＯ）等のディスク状の記録媒体、磁気テ
ープ、光テープ等のテープ状の記録媒体、およびフラッ
シュメモリ等、種々の記録媒体を使用することができ
る。
【００１４】また、再生回路２０、フォーマット変換回
路２１、Ｄ／Ａ変換回路２４等の再生に係る構成を切り
離せるように構成しても良い。このような構成によれ
ば、記録に係る構成要素のみを含む小型・軽量な部分
を、被装着者が容易に持ち運ぶことができる等の利点が
ある。
路２１、Ｄ／Ａ変換回路２４等の再生に係る構成を切り
離せるように構成しても良い。このような構成によれ
ば、記録に係る構成要素のみを含む小型・軽量な部分
を、被装着者が容易に持ち運ぶことができる等の利点が
ある。
【００１５】次に、画像信号処理部１０について詳細に
説明する。画像信号処理部１０の構成の一例を図２に示
す。Ａ／Ｄ変換器９の出力である画像信号がフレームメ
モリ３１と減算器３２とに供給される。フレームメモリ
３１の出力が減算器３２に供給される。減算器３２は供
給される画像信号間の差分を算出し、算出した差分を絶
対値計算回路３３に供給する。絶対値計算回路３３は、
供給される差分について絶対値を計算し、計算した差分
絶対値を積算回路３４に供給する。積算回路３４は、供
給される差分絶対値を所定のフレーム数に渡って積算
し、積算値を比較回路３５に供給する。
説明する。画像信号処理部１０の構成の一例を図２に示
す。Ａ／Ｄ変換器９の出力である画像信号がフレームメ
モリ３１と減算器３２とに供給される。フレームメモリ
３１の出力が減算器３２に供給される。減算器３２は供
給される画像信号間の差分を算出し、算出した差分を絶
対値計算回路３３に供給する。絶対値計算回路３３は、
供給される差分について絶対値を計算し、計算した差分
絶対値を積算回路３４に供給する。積算回路３４は、供
給される差分絶対値を所定のフレーム数に渡って積算
し、積算値を比較回路３５に供給する。
【００１６】比較回路３５には所定のしきい値が供給さ
れ、このしきい値と積算値との比較結果を示す信号がト
リガ生成回路３６に供給される。トリガ生成回路３６
は、供給される信号に従ってトリガ信号Ｖを生成する。
ここで、トリガ信号Ｖを生成する条件としては、画像内
の物体が動いた場合、ＣＣＤ８が被装着者と共に動いた
場合、または全体的な輝度レベルに変化があった場合等
が挙げられ、何れの場合もフレーム間差分に基づいて判
断することができる。
れ、このしきい値と積算値との比較結果を示す信号がト
リガ生成回路３６に供給される。トリガ生成回路３６
は、供給される信号に従ってトリガ信号Ｖを生成する。
ここで、トリガ信号Ｖを生成する条件としては、画像内
の物体が動いた場合、ＣＣＤ８が被装着者と共に動いた
場合、または全体的な輝度レベルに変化があった場合等
が挙げられ、何れの場合もフレーム間差分に基づいて判
断することができる。
【００１７】なお、画像信号処理部１０として、ブロッ
クマッチング等の方法によって動きベクトルを抽出し、
抽出した動きベクトルに基づく処理を行うことによって
トリガ信号を生成する構成を用いても良い。
クマッチング等の方法によって動きベクトルを抽出し、
抽出した動きベクトルに基づく処理を行うことによって
トリガ信号を生成する構成を用いても良い。
【００１８】次に、温度センサ１１1 の出力に関連して
トリガ信号を生成する信号処理部１３1 について詳細に
説明する。信号処理部１３1 の構成の一例を図３に示
す。温度センサ１１1 の出力がＡ／Ｄ変換器１２1 によ
って適切なサンプリング間隔でサンプリングされてなる
信号が遅延素子４１と減算器４２とに供給される。遅延
素子４１は、供給される信号を所定期間遅延させ、減算
器４２に供給する。減算器４２は供給される２個の信号
間の差分を算出し、算出した差分を絶対値計算回路４３
に供給する。絶対値計算回路４３は、供給される差分に
ついて絶対値を計算し、計算した差分絶対値を比較回路
４４に供給する。
トリガ信号を生成する信号処理部１３1 について詳細に
説明する。信号処理部１３1 の構成の一例を図３に示
す。温度センサ１１1 の出力がＡ／Ｄ変換器１２1 によ
って適切なサンプリング間隔でサンプリングされてなる
信号が遅延素子４１と減算器４２とに供給される。遅延
素子４１は、供給される信号を所定期間遅延させ、減算
器４２に供給する。減算器４２は供給される２個の信号
間の差分を算出し、算出した差分を絶対値計算回路４３
に供給する。絶対値計算回路４３は、供給される差分に
ついて絶対値を計算し、計算した差分絶対値を比較回路
４４に供給する。
【００１９】比較回路４４には所定のしきい値が供給さ
れ、このしきい値と絶対値計算回路４３の出力との比較
結果を示す信号がトリガ生成回路４５に供給される。ト
リガ生成回路４５は、供給される信号に従ってトリガ信
号Ｔを生成する。以上のような構成により、何らかの刺
激が被装着者に加わったことに起因して被装着者の体温
が変化する場合等にトリガ信号が生成される。なお、遅
延素子４１による遅延の期間は、体温の変化を検出する
ために好適に設定すれば良い。
れ、このしきい値と絶対値計算回路４３の出力との比較
結果を示す信号がトリガ生成回路４５に供給される。ト
リガ生成回路４５は、供給される信号に従ってトリガ信
号Ｔを生成する。以上のような構成により、何らかの刺
激が被装着者に加わったことに起因して被装着者の体温
が変化する場合等にトリガ信号が生成される。なお、遅
延素子４１による遅延の期間は、体温の変化を検出する
ために好適に設定すれば良い。
【００２０】次に、筋電位センサ１１2 の出力に関連し
てトリガ信号を生成する信号処理部１３2 について詳細
に説明する。信号処理部１３2 の構成の一例を図４に示
す。Ａ／Ｄ変換器１２2 の出力が絶対値計算回路５１に
供給される。絶対値計算回路５１の出力がピーク検出回
路５２に供給される。ピーク検出回路５２は、供給され
る信号からピーク値を検出し、検出したピーク値を比較
回路５３に供給する。ここで、ピーク検出回路５２に
は、一定の時間間隔でリセット信号が供給される。
てトリガ信号を生成する信号処理部１３2 について詳細
に説明する。信号処理部１３2 の構成の一例を図４に示
す。Ａ／Ｄ変換器１２2 の出力が絶対値計算回路５１に
供給される。絶対値計算回路５１の出力がピーク検出回
路５２に供給される。ピーク検出回路５２は、供給され
る信号からピーク値を検出し、検出したピーク値を比較
回路５３に供給する。ここで、ピーク検出回路５２に
は、一定の時間間隔でリセット信号が供給される。
【００２１】リセット信号が供給される毎に、ピーク検
出回路５２がそれ以前に検出したピーク値がリセットさ
れる。このようにして、一定の時間間隔毎にピークが検
出される。比較回路５３には所定のしきい値が供給さ
れ、このしきい値とピーク検出回路５２の出力との比較
結果を示す信号がトリガ生成回路５４に供給される。ト
リガ生成回路４５は、供給される信号に従ってトリガ信
号Ｋを生成する。このようにして、一定の時間間隔毎
に、トリガ信号Ｋの生成の可否が決定される。
出回路５２がそれ以前に検出したピーク値がリセットさ
れる。このようにして、一定の時間間隔毎にピークが検
出される。比較回路５３には所定のしきい値が供給さ
れ、このしきい値とピーク検出回路５２の出力との比較
結果を示す信号がトリガ生成回路５４に供給される。ト
リガ生成回路４５は、供給される信号に従ってトリガ信
号Ｋを生成する。このようにして、一定の時間間隔毎
に、トリガ信号Ｋの生成の可否が決定される。
【００２２】以上のような構成により、被装着者に加わ
る刺激、被装着者の動作等に起因して筋電位がある程度
以上大きく変化する場合等に、トリガ信号が生成され
る。例えば、顔の筋肉に筋電位センサを装着すれば、表
情の変化に基づいてトリガ信号が生成される。なお、画
像信号処理部１０として、筋電位のパルス（ピーク）間
隔の差に基づく処理を行うことによってトリガ信号を生
成する構成を用いても良い。
る刺激、被装着者の動作等に起因して筋電位がある程度
以上大きく変化する場合等に、トリガ信号が生成され
る。例えば、顔の筋肉に筋電位センサを装着すれば、表
情の変化に基づいてトリガ信号が生成される。なお、画
像信号処理部１０として、筋電位のパルス（ピーク）間
隔の差に基づく処理を行うことによってトリガ信号を生
成する構成を用いても良い。
【００２３】次に、記録制御回路１６について詳細に説
明する。上述したように、記録制御回路１６は、信号処
理部１３1 〜１３n によって生成される各トリガ信号に
基づいて総合的な判断を行い、書き込み有効期間を示す
信号Ｒを生成する。記録制御回路１６の構成の一例を図
５に示す。ここでは、トリガ信号として上述した３種類
のトリガ信号Ｖ，Ｔ，Ｋが供給される場合を示す。トリ
ガ信号Ｖ，Ｔ，Ｋがアンド回路６１に供給される。アン
ド回路６１は、トリガ信号Ｖ，Ｔ，Ｋに基づいてアンド
信号を生成し、生成したアンド信号を波形整形回路６２
に供給する。波形整形回路６２は、供給される信号に、
孤立点の除去等の波形整形処理を施す。波形整形回路６
２の出力は同期回路６３に供給される。
明する。上述したように、記録制御回路１６は、信号処
理部１３1 〜１３n によって生成される各トリガ信号に
基づいて総合的な判断を行い、書き込み有効期間を示す
信号Ｒを生成する。記録制御回路１６の構成の一例を図
５に示す。ここでは、トリガ信号として上述した３種類
のトリガ信号Ｖ，Ｔ，Ｋが供給される場合を示す。トリ
ガ信号Ｖ，Ｔ，Ｋがアンド回路６１に供給される。アン
ド回路６１は、トリガ信号Ｖ，Ｔ，Ｋに基づいてアンド
信号を生成し、生成したアンド信号を波形整形回路６２
に供給する。波形整形回路６２は、供給される信号に、
孤立点の除去等の波形整形処理を施す。波形整形回路６
２の出力は同期回路６３に供給される。
【００２４】一方、コントロール回路６４は、主制御部
２２の指令に従って同期情報に係る信号を生成し、生成
した信号を同期回路６３に供給する。同期回路６３は、
波形整形回路６２が出力する信号に対して、主制御部２
２の指令に従う同期をとる処理を行う。このような処理
の結果として、書き込み有効期間を示す信号Ｒが同期回
路６３から出力される。なお、トリガ信号がＶ，Ｔ，Ｋ
以外のものを含む場合、トリガ信号の種類が３種類以外
である場合等においても、上述したような構成において
アンド回路６１に供給されるトリガ信号の種類や個数を
変更することによって書き込み有効期間を示す信号Ｒを
生成することができる。また、記録制御部１６の前段に
スイッチを設ける等の構成により、複数個のトリガ信号
の内の所望のもののみを記録制御部１６による処理に使
用するようにしても良い。
２２の指令に従って同期情報に係る信号を生成し、生成
した信号を同期回路６３に供給する。同期回路６３は、
波形整形回路６２が出力する信号に対して、主制御部２
２の指令に従う同期をとる処理を行う。このような処理
の結果として、書き込み有効期間を示す信号Ｒが同期回
路６３から出力される。なお、トリガ信号がＶ，Ｔ，Ｋ
以外のものを含む場合、トリガ信号の種類が３種類以外
である場合等においても、上述したような構成において
アンド回路６１に供給されるトリガ信号の種類や個数を
変更することによって書き込み有効期間を示す信号Ｒを
生成することができる。また、記録制御部１６の前段に
スイッチを設ける等の構成により、複数個のトリガ信号
の内の所望のもののみを記録制御部１６による処理に使
用するようにしても良い。
【００２５】全体的な動作に係るタイミングチャートの
一例を図６に示す。図６Ａは時間経過を示す。ここで、
Ｓは有意刺激がある期間を示す。期間Ｓは、以下に説明
するようにして検出される。図６Ｂに示すタイミング
で，画像信号が記憶装置１４に供給される。図６Ｃに示
すタイミングで，画像信号に関連するトリガ信号Ｖが生
成される。ここで、上述したように、トリガ信号Ｖは画
像内の物体が動いた場合等に生成されるので、図６Ｂに
示す、一連の画像信号が供給されている期間内において
も、トリガ信号Ｖの立上がり／立下がりが生じる。ま
た、画像信号が供給される以外に期間においても、ノイ
ズ等に起因してトリガ信号Ｖが生成される場合がある。
一例を図６に示す。図６Ａは時間経過を示す。ここで、
Ｓは有意刺激がある期間を示す。期間Ｓは、以下に説明
するようにして検出される。図６Ｂに示すタイミング
で，画像信号が記憶装置１４に供給される。図６Ｃに示
すタイミングで，画像信号に関連するトリガ信号Ｖが生
成される。ここで、上述したように、トリガ信号Ｖは画
像内の物体が動いた場合等に生成されるので、図６Ｂに
示す、一連の画像信号が供給されている期間内において
も、トリガ信号Ｖの立上がり／立下がりが生じる。ま
た、画像信号が供給される以外に期間においても、ノイ
ズ等に起因してトリガ信号Ｖが生成される場合がある。
【００２６】図６Ｄに示すタイミングで、体温等を測定
する温度センサ１１1 の出力に関連するトリガ信号Ｔが
生成される。ここでは、例えば画像を注視することに起
因する体温の変化が反映されていると考えられる。図６
Ｅに示すタイミングで、筋電位センサ１１2 の出力に関
連するトリガ信号Ｋが生成される。このトリガ信号Ｋ
は、上述したように、一定の期間内での筋電位のピーク
値がしきい値以上となる場合等にパルス状に生成され
る。図６Ｂに示す、一連の画像信号が供給されている期
間内においても、トリガ信号Ｋの立上がり／立下がりが
生じる。また、画像信号が供給される以外に期間におい
ても、ノイズ等に起因してトリガ信号Ｋが生成された
り、また、体温等を測定する温度センサ１１1 の出力に
関連するトリガ信号Ｔが生成たりする場合がある。
する温度センサ１１1 の出力に関連するトリガ信号Ｔが
生成される。ここでは、例えば画像を注視することに起
因する体温の変化が反映されていると考えられる。図６
Ｅに示すタイミングで、筋電位センサ１１2 の出力に関
連するトリガ信号Ｋが生成される。このトリガ信号Ｋ
は、上述したように、一定の期間内での筋電位のピーク
値がしきい値以上となる場合等にパルス状に生成され
る。図６Ｂに示す、一連の画像信号が供給されている期
間内においても、トリガ信号Ｋの立上がり／立下がりが
生じる。また、画像信号が供給される以外に期間におい
ても、ノイズ等に起因してトリガ信号Ｋが生成された
り、また、体温等を測定する温度センサ１１1 の出力に
関連するトリガ信号Ｔが生成たりする場合がある。
【００２７】図６Ｃ，図６Ｄ，図６Ｅにそれぞれ示した
トリガ信号Ｖ，Ｔ，Ｋのアンド出力、すなわちアンド回
路６１の出力は、図６Ｆに示すようなものとなる。そし
て、書き込み有効期間信号Ｒは，アンド出力の最初の立
上がり時点Ｕから所定の記録期間に渡って立上がるよう
に生成される（図６Ｇ参照）。実際の記録処理は、書き
込み有効期間信号Ｒの立上がり時点から、記録処理に係
る構成の動作等に起因する遅延時間分だけ遅延した時点
から開始される。なお、図１中の遅延素子１５による遅
延の期間を変えることにより、アンド出力が最初に立ち
上がる時点Ｕ以前の画像信号を記録する等、所望のタイ
ミングでの記録が可能となる。
トリガ信号Ｖ，Ｔ，Ｋのアンド出力、すなわちアンド回
路６１の出力は、図６Ｆに示すようなものとなる。そし
て、書き込み有効期間信号Ｒは，アンド出力の最初の立
上がり時点Ｕから所定の記録期間に渡って立上がるよう
に生成される（図６Ｇ参照）。実際の記録処理は、書き
込み有効期間信号Ｒの立上がり時点から、記録処理に係
る構成の動作等に起因する遅延時間分だけ遅延した時点
から開始される。なお、図１中の遅延素子１５による遅
延の期間を変えることにより、アンド出力が最初に立ち
上がる時点Ｕ以前の画像信号を記録する等、所望のタイ
ミングでの記録が可能となる。
【００２８】この発明は、上述したこの発明の一実施形
態に限定されるものでは無く、この発明の主旨を逸脱し
ない範囲内で様々な変形や応用が可能である。
態に限定されるものでは無く、この発明の主旨を逸脱し
ない範囲内で様々な変形や応用が可能である。
【００２９】
【発明の効果】この発明によれば、生体信号センサの出
力に基づいて検知される、例えば画像を見た人の感情の
変化等を示すデータと、画像信号とに基づいて設定され
る条件の下で、画像センサが生成する画像信号に対する
記録等の処理が行われる。
力に基づいて検知される、例えば画像を見た人の感情の
変化等を示すデータと、画像信号とに基づいて設定され
る条件の下で、画像センサが生成する画像信号に対する
記録等の処理が行われる。
【００３０】このため、画像センサが生成する画像信号
の内で、見た人の感情に変化を生じさせた画像、見た人
に深い印象を与えた画像等に係るものについて選択的に
記録する等の処理を行うことができる。
の内で、見た人の感情に変化を生じさせた画像、見た人
に深い印象を与えた画像等に係るものについて選択的に
記録する等の処理を行うことができる。
【図１】この発明の一実施形態の全体的な構成の一例を
示すブロック図である。
示すブロック図である。
【図２】この発明の一実施形態の一部の構成の一例を示
すブロック図である。
すブロック図である。
【図３】この発明の一実施形態の他の一部の構成の一例
を示すブロック図である。
を示すブロック図である。
【図４】この発明の一実施形態のさらに他の一部の構成
について説明するためのブロック図である。
について説明するためのブロック図である。
【図５】この発明の一実施形態のよりさらに他の一部の
構成について説明するためのブロック図である。
構成について説明するためのブロック図である。
【図６】この発明の一実施形態における動作タイミング
の一例を示すタイミングチャートである。
の一例を示すタイミングチャートである。
８・・・ＣＣＤ、１０・・・画像信号処理部、１１1 ・
・・温度センサ、１１2・・・筋電位センサ、１６・・
・記録制御部
・・温度センサ、１１2・・・筋電位センサ、１６・・
・記録制御部
Claims (22)
- 【請求項１】 画像信号を生成する画像センサと、 生体信号センサと、 上記画像信号および上記生体信号センサの出力に基づい
て設定される条件の下で上記画像信号に所定の処理を施
す画像信号処理手段とを有することを特徴とする信号処
理装置。 - 【請求項２】 請求項１において、 上記画像センサは、 ＣＣＤセンサであることを特徴とする信号処理装置。
- 【請求項３】 請求項１において、 上記生体信号センサは、 温度センサを含むことを特徴とする信号処理装置。
- 【請求項４】 請求項１において、 上記生体信号センサは、 筋電位センサを含むことを特徴とする信号処理装置。
- 【請求項５】 請求項１において、 上記画像センサは、 人体に装着され、被装着者の視野に対応した画像に係る
画像信号を生成することを特徴とする信号処理装置。 - 【請求項６】 請求項１において、 上記生体信号センサは、 人体に装着されることを特徴とする信号処理装置。
- 【請求項７】 請求項１において、 上記画像信号処理手段は、 上記画像信号および上記生体信号センサの出力の変化を
検出し、検出結果に基づいて上記条件を設定することを
特徴とする信号処理装置。 - 【請求項８】 請求項１において、 上記画像信号処理手段は、 上記画像信号からフレーム間差分を検出し、検出結果に
基づいて上記条件を設定することを特徴とする信号処理
装置。 - 【請求項９】 請求項１において、 上記画像信号処理手段は、 上記画像信号から動きベクトルを検出し、検出結果に基
づいて上記条件を設定することを特徴とする信号処理装
置。 - 【請求項１０】 請求項１において、 上記画像信号処理手段は、 上記画像信号の情報量を演算し、演算した情報量に基づ
いて上記条件を設定することを特徴とする信号処理装
置。 - 【請求項１１】 請求項１において、 上記画像信号処理手段は、 上記画像信号の情報量を演算し、演算した情報量の時間
変化に基づいて上記条件を設定することを特徴とする信
号処理装置。 - 【請求項１２】 請求項１において、 上記条件は、 上記所定の処理を行う期間の指定に係るものであること
を特徴とする信号処理装置。 - 【請求項１３】 請求項１において、 上記条件は、 上記所定の処理を開始する時点に係るものであることを
特徴とする信号処理装置。 - 【請求項１４】 請求項１において、 上記所定の処理は、 上記画像信号を記録する処理であることを特徴とする信
号処理装置。 - 【請求項１５】 請求項１４において、 記録された上記画像信号を再生する処理に係る構成をさ
らに有することを特徴とする信号処理装置。 - 【請求項１６】 請求項１５において、 記録された上記画像信号を再生する処理に係る構成を必
要に応じて分離することができることを特徴とする信号
処理装置。 - 【請求項１７】 請求項１において、 上記所定の処理は、 上記画像信号および／または上記画像信号に記録に係る
処理を施してなる信号を外部に送出する処理であること
を特徴とする信号処理装置。 - 【請求項１８】 請求項１において、 上記画像信号の伝達を遅延させる遅延手段をさらに有
し、 上記遅延手段による遅延の期間を適切に設定することに
より、上記所定の処理を行う期間と上記画像信号が伝達
される期間との間の関係を所望のものとすることを特徴
とする信号処理装置。 - 【請求項１９】 請求項１において、 上記画像信号の伝達を遅延させる遅延手段をさらに有
し、 上記遅延手段による遅延の期間を適切に設定することに
より、上記画像信号が伝達が開始される時点以前から上
記所定の処理が開始されるようにしたことを特徴とする
信号処理装置。 - 【請求項２０】 請求項１において、 上記画像信号の伝達を遅延させる遅延手段をさらに有
し、 上記遅延手段による遅延の期間を適切に設定することに
より、上記画像信号が伝達が開始される時点以後に上記
所定の処理が開始されるようにしたことを特徴とする信
号処理装置。 - 【請求項２１】 請求項１において、 上記所定の処理は、上記画像信号を記録する処理であ
り、 記憶した画像信号を再生する処理を行う処理系をさらに
含むことを特徴とする信号処理装置。 - 【請求項２２】 画像信号を生成する画像信号生成ステ
ップと、 生体信号を生成する生体信号生成ステップと、 上記画像信号および上記生体信号に基づいて設定される
条件の下で上記画像信号に所定の処理を施す画像信号処
理ステップとを有することを特徴とする信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8630899A JP4395908B2 (ja) | 1999-03-29 | 1999-03-29 | 信号処理装置および信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8630899A JP4395908B2 (ja) | 1999-03-29 | 1999-03-29 | 信号処理装置および信号処理方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009203278A Division JP4539783B2 (ja) | 2009-09-03 | 2009-09-03 | 信号処理装置および信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000285221A true JP2000285221A (ja) | 2000-10-13 |
| JP4395908B2 JP4395908B2 (ja) | 2010-01-13 |
Family
ID=13883216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8630899A Expired - Lifetime JP4395908B2 (ja) | 1999-03-29 | 1999-03-29 | 信号処理装置および信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4395908B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005063087A (ja) * | 2003-08-11 | 2005-03-10 | Sony Corp | 記録再生装置、再生装置、記録再生方法および再生方法 |
| JP2005260933A (ja) * | 2004-03-01 | 2005-09-22 | Microsoft Corp | 携帯型リコールデバイス |
| JP2008118527A (ja) * | 2006-11-07 | 2008-05-22 | Sony Corp | 撮像装置、表示装置、撮像方法、表示方法 |
| JP2010206592A (ja) * | 2009-03-04 | 2010-09-16 | Ikegami Tsushinki Co Ltd | 車両番号監視用撮像装置 |
| KR101072557B1 (ko) * | 2003-10-06 | 2011-10-11 | 소니 주식회사 | 정보 기록 장치 및 정보 기록 방법 |
| US8639320B2 (en) | 2010-06-16 | 2014-01-28 | Sony Corporation | Muscle-activity diagnosis apparatus, method, and program |
| US8872941B2 (en) | 2006-11-07 | 2014-10-28 | Sony Corporation | Imaging apparatus and imaging method |
| KR101788709B1 (ko) * | 2014-08-25 | 2017-10-20 | 주식회사 룩시드랩스 | 표정을 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| JP2019512822A (ja) * | 2016-03-14 | 2019-05-16 | フヴィ・コグニティヴ・ネットワーク・コーポレーション | 暗記および意思決定を強化するための個人的感情ベースのコンピュータ可読認知感覚メモリおよび認知洞察 |
| CN113615162A (zh) * | 2019-03-29 | 2021-11-05 | 索尼集团公司 | 电子设备和成像系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63172322A (ja) * | 1987-01-12 | 1988-07-16 | Mitsubishi Electric Corp | デ−タ入力装置 |
| JPH0498979A (ja) * | 1990-08-17 | 1992-03-31 | Fuji Photo Film Co Ltd | ビデオカメラ |
| JPH05252509A (ja) * | 1992-03-02 | 1993-09-28 | Toshiba Corp | マルチメディア装置及び電子会議システム |
| JPH0736610A (ja) * | 1993-06-28 | 1995-02-07 | Nissan Motor Co Ltd | 提示画像制御装置 |
| JPH0767982A (ja) * | 1993-09-02 | 1995-03-14 | Sanyo Electric Co Ltd | 訓練用装置 |
| JPH07177403A (ja) * | 1993-12-17 | 1995-07-14 | Canon Inc | ビデオカメラ |
| JPH07248873A (ja) * | 1994-03-08 | 1995-09-26 | Sharp Corp | 筋電信号を用いた制御装置 |
| JP2698320B2 (ja) * | 1993-08-31 | 1998-01-19 | 日本電信電話株式会社 | 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム |
| JPH1021363A (ja) * | 1996-06-28 | 1998-01-23 | Sanyo Electric Co Ltd | 評価支援方法及び装置 |
| JPH10113343A (ja) * | 1996-07-03 | 1998-05-06 | Hitachi Ltd | 動作及び行動の認識方法及び装置及びシステム |
| JPH10336576A (ja) * | 1997-05-29 | 1998-12-18 | Yamaha Motor Co Ltd | 画像記録システム |
| JP2000138858A (ja) * | 1998-11-02 | 2000-05-16 | Fuji Photo Film Co Ltd | 電子カメラシステム |
-
1999
- 1999-03-29 JP JP8630899A patent/JP4395908B2/ja not_active Expired - Lifetime
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63172322A (ja) * | 1987-01-12 | 1988-07-16 | Mitsubishi Electric Corp | デ−タ入力装置 |
| JPH0498979A (ja) * | 1990-08-17 | 1992-03-31 | Fuji Photo Film Co Ltd | ビデオカメラ |
| JPH05252509A (ja) * | 1992-03-02 | 1993-09-28 | Toshiba Corp | マルチメディア装置及び電子会議システム |
| JPH0736610A (ja) * | 1993-06-28 | 1995-02-07 | Nissan Motor Co Ltd | 提示画像制御装置 |
| JP2698320B2 (ja) * | 1993-08-31 | 1998-01-19 | 日本電信電話株式会社 | 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム |
| JPH0767982A (ja) * | 1993-09-02 | 1995-03-14 | Sanyo Electric Co Ltd | 訓練用装置 |
| JPH07177403A (ja) * | 1993-12-17 | 1995-07-14 | Canon Inc | ビデオカメラ |
| JPH07248873A (ja) * | 1994-03-08 | 1995-09-26 | Sharp Corp | 筋電信号を用いた制御装置 |
| JPH1021363A (ja) * | 1996-06-28 | 1998-01-23 | Sanyo Electric Co Ltd | 評価支援方法及び装置 |
| JPH10113343A (ja) * | 1996-07-03 | 1998-05-06 | Hitachi Ltd | 動作及び行動の認識方法及び装置及びシステム |
| JPH10336576A (ja) * | 1997-05-29 | 1998-12-18 | Yamaha Motor Co Ltd | 画像記録システム |
| JP2000138858A (ja) * | 1998-11-02 | 2000-05-16 | Fuji Photo Film Co Ltd | 電子カメラシステム |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005063087A (ja) * | 2003-08-11 | 2005-03-10 | Sony Corp | 記録再生装置、再生装置、記録再生方法および再生方法 |
| KR101072557B1 (ko) * | 2003-10-06 | 2011-10-11 | 소니 주식회사 | 정보 기록 장치 및 정보 기록 방법 |
| JP2005260933A (ja) * | 2004-03-01 | 2005-09-22 | Microsoft Corp | 携帯型リコールデバイス |
| US9918049B2 (en) | 2004-03-01 | 2018-03-13 | Microsoft Technology Licensing, Llc | Recall device |
| JP4541183B2 (ja) * | 2004-03-01 | 2010-09-08 | マイクロソフト コーポレーション | 携帯型リコールデバイス |
| US9344688B2 (en) | 2004-03-01 | 2016-05-17 | Microsoft Technology Licensing, Llc | Recall device |
| US8886298B2 (en) | 2004-03-01 | 2014-11-11 | Microsoft Corporation | Recall device |
| KR101376847B1 (ko) * | 2004-03-01 | 2014-03-20 | 마이크로소프트 코포레이션 | 재현 장치 |
| US8872941B2 (en) | 2006-11-07 | 2014-10-28 | Sony Corporation | Imaging apparatus and imaging method |
| JP2008118527A (ja) * | 2006-11-07 | 2008-05-22 | Sony Corp | 撮像装置、表示装置、撮像方法、表示方法 |
| JP2010206592A (ja) * | 2009-03-04 | 2010-09-16 | Ikegami Tsushinki Co Ltd | 車両番号監視用撮像装置 |
| US8639320B2 (en) | 2010-06-16 | 2014-01-28 | Sony Corporation | Muscle-activity diagnosis apparatus, method, and program |
| KR101788709B1 (ko) * | 2014-08-25 | 2017-10-20 | 주식회사 룩시드랩스 | 표정을 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| JP2019512822A (ja) * | 2016-03-14 | 2019-05-16 | フヴィ・コグニティヴ・ネットワーク・コーポレーション | 暗記および意思決定を強化するための個人的感情ベースのコンピュータ可読認知感覚メモリおよび認知洞察 |
| CN113615162A (zh) * | 2019-03-29 | 2021-11-05 | 索尼集团公司 | 电子设备和成像系统 |
| EP3952282A4 (en) * | 2019-03-29 | 2022-08-24 | Sony Group Corporation | ELECTRONIC EQUIPMENT AND IMAGING SYSTEM |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4395908B2 (ja) | 2010-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8157729B2 (en) | System, method and medium editing moving pictures using biometric signals | |
| US20090122147A1 (en) | Information-processing apparatus and method | |
| CN101179711A (zh) | 成像设备和成像方法 | |
| JP4395908B2 (ja) | 信号処理装置および信号処理方法 | |
| CN101902559A (zh) | 图像音响处理装置及摄像装置 | |
| JPH05123305A (ja) | 改良心臓モニター装置 | |
| US4424815A (en) | Stethoscope-type recording system with stretched-in-time playback | |
| JP2008141484A (ja) | 画像再生システム及び映像信号供給装置 | |
| JP2004219914A5 (ja) | ||
| JP4539783B2 (ja) | 信号処理装置および信号処理方法 | |
| US20120133784A1 (en) | Imaging apparatus and audio processing apparatus | |
| JP2011188289A (ja) | 画像音声記録システム | |
| JP2011139306A (ja) | 撮像装置及び再生装置 | |
| EP1587060A1 (en) | Method and device for recording, transmitting, or reproducing data | |
| JP2005051663A (ja) | 監視用映像信号の記録再生方法、及び装置監視用映像信号記録再生装置 | |
| JP5158054B2 (ja) | 録音装置、撮像装置、および、プログラム | |
| US11237669B2 (en) | Method and apparatus for improving the measurement of the timing of touches of a touch screen | |
| JP6469779B2 (ja) | 笑い促進プログラム及び笑い促進装置 | |
| JP4515005B2 (ja) | 電子カメラ | |
| JP5256761B2 (ja) | 記録再生方法、記録再生装置、再生方法および再生装置 | |
| US20190110022A1 (en) | Communication device, communication system, and non-transitory computer readable medium storing program | |
| JP2017005559A (ja) | タギング装置、タギングシステム、タギング方法及びプログラム | |
| JP2013160781A (ja) | 撮像録音装置 | |
| JP6631680B2 (ja) | 動画データ処理装置、動画データ処理方法及び動画データ処理プログラム | |
| JP6617825B2 (ja) | タギング装置、タギングシステム、タギング方法及びタギングプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090929 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091012 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |