JP2002366963A - 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム - Google Patents
画像処理方法、画像処理装置、撮像装置及びコンピュータプログラムInfo
- Publication number
- JP2002366963A JP2002366963A JP2001176521A JP2001176521A JP2002366963A JP 2002366963 A JP2002366963 A JP 2002366963A JP 2001176521 A JP2001176521 A JP 2001176521A JP 2001176521 A JP2001176521 A JP 2001176521A JP 2002366963 A JP2002366963 A JP 2002366963A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- coordinate position
- dimensional coordinate
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 直観的な指示に基づいて、入力又は撮影され
た画像から所望の被写体のみを抽出できる画像処理方
法、装置を提供する。 【解決手段】 入力又は撮影された画像における被写体
までの距離を検出し（ステップＳ１）、その画像におけ
る２次元座標位置を指定させ（ステップＳ２）、指定さ
れた２次元座標位置付近の距離に基づいて、被写体を抽
出させる（ステップＳ３）、ことで、入力された画像に
おいて所望の被写体に含まれる２次元座標を指定すると
いう極めて直観的な指示に基づいて、入力又は撮影され
た画像から所望の被写体のみを抽出できるようにした。
た画像から所望の被写体のみを抽出できる画像処理方
法、装置を提供する。 【解決手段】 入力又は撮影された画像における被写体
までの距離を検出し（ステップＳ１）、その画像におけ
る２次元座標位置を指定させ（ステップＳ２）、指定さ
れた２次元座標位置付近の距離に基づいて、被写体を抽
出させる（ステップＳ３）、ことで、入力された画像に
おいて所望の被写体に含まれる２次元座標を指定すると
いう極めて直観的な指示に基づいて、入力又は撮影され
た画像から所望の被写体のみを抽出できるようにした。
Description
【０００１】
【発明の属する技術分野】本発明は、撮影された画像中
の所望の被写体像を抽出し、或いは撮影された画像を被
写体毎に分割するための画像処理方法、画像処理装置、
撮像装置及びコンピュータプログラムに関する。
の所望の被写体像を抽出し、或いは撮影された画像を被
写体毎に分割するための画像処理方法、画像処理装置、
撮像装置及びコンピュータプログラムに関する。
【０００２】
【従来の技術】近年、現実世界に存在する素材を電子情
報として記録するデジタルビデオカメラやデジタルスチ
ルカメラが急速に普及している。また、これらのカメラ
によって取得された画像に加工・処理を施すことによ
り、再利用を図るという事例が見られるようになった。
その中でも、画像中の特定の被写体を抽出する技術は、
例えば抽出した被写体をクリップアートのような素材と
して再利用する、又は、画像を個々の被写体毎に分割す
ることにより、画像の管理・検索に役立てるなど、幅広
い応用が可能である。
報として記録するデジタルビデオカメラやデジタルスチ
ルカメラが急速に普及している。また、これらのカメラ
によって取得された画像に加工・処理を施すことによ
り、再利用を図るという事例が見られるようになった。
その中でも、画像中の特定の被写体を抽出する技術は、
例えば抽出した被写体をクリップアートのような素材と
して再利用する、又は、画像を個々の被写体毎に分割す
ることにより、画像の管理・検索に役立てるなど、幅広
い応用が可能である。
【０００３】これらを実現するため、幾つかの従来技術
が開示されている。
が開示されている。
【０００４】まず、階調、色、濃度勾配及びテクスチャ
など、画像の２次元的な特徴に基づき、画像を領域毎に
分割する手法は、一般にセグメンテーションと呼ばれて
おり、従来より数多く提案されている。例えば、文献
『画像の処理と認識』(安居院猛・長尾智晴共著、昭晃
堂)によると、注目している小領域と、それに隣接する
小領域が互いに同じ特徴を持っている場合に、それらを
一つの領域に統合する処理を順次実行することによっ
て、特徴が等しい領域を少しずつ成長させる領域成長
（region growing）法、領域成長法とは逆に画像全体を
開始点とし、一定の特徴を持たない領域を細分化してゆ
き、最終的に均一な領域になった時点で領域の細分化を
停止する分割法、或いは、これらの領域成長法と分割法
とを組合せた分割統合法などの手法が知られている。
など、画像の２次元的な特徴に基づき、画像を領域毎に
分割する手法は、一般にセグメンテーションと呼ばれて
おり、従来より数多く提案されている。例えば、文献
『画像の処理と認識』(安居院猛・長尾智晴共著、昭晃
堂)によると、注目している小領域と、それに隣接する
小領域が互いに同じ特徴を持っている場合に、それらを
一つの領域に統合する処理を順次実行することによっ
て、特徴が等しい領域を少しずつ成長させる領域成長
（region growing）法、領域成長法とは逆に画像全体を
開始点とし、一定の特徴を持たない領域を細分化してゆ
き、最終的に均一な領域になった時点で領域の細分化を
停止する分割法、或いは、これらの領域成長法と分割法
とを組合せた分割統合法などの手法が知られている。
【０００５】しかし、これらの手法は被写体の外見的な
性質に依存するため、安定的に所望の被写体を抽出する
ことは極めて困難である。
性質に依存するため、安定的に所望の被写体を抽出する
ことは極めて困難である。
【０００６】上記の他、被写体までの距離に基づき、画
像中から特定のオブジェクトのみを抽出する技術も幾つ
か提案されている。例えば、特開平９−３１２７９４号
公報においては、撮像する被写体を複数ブロックに分割
して、これらのブロック毎に被写体までの距離を測定
し、撮像した画像と測定された距離を前記ブロック毎に
リンクして記憶し、記憶された距離が同一のブロック画
像を抽出するという画像処理装置及び方法が開示されて
いる。また、特開平９−３２６０２５号公報において
は、撮影毎に複数の領域別に被写体までの距離を測定し
て距離データとして入力し、撮影毎に画像データと前記
複数の領域別の距離データとを対応させて記憶するとと
もに、抽出距離データを設定し、前記距離データと前記
抽出距離データに基づいて、前記画像データの中から前
記抽出距離データに対応する画像データのみを抽出する
画像処理装置が開示されている。
像中から特定のオブジェクトのみを抽出する技術も幾つ
か提案されている。例えば、特開平９−３１２７９４号
公報においては、撮像する被写体を複数ブロックに分割
して、これらのブロック毎に被写体までの距離を測定
し、撮像した画像と測定された距離を前記ブロック毎に
リンクして記憶し、記憶された距離が同一のブロック画
像を抽出するという画像処理装置及び方法が開示されて
いる。また、特開平９−３２６０２５号公報において
は、撮影毎に複数の領域別に被写体までの距離を測定し
て距離データとして入力し、撮影毎に画像データと前記
複数の領域別の距離データとを対応させて記憶するとと
もに、抽出距離データを設定し、前記距離データと前記
抽出距離データに基づいて、前記画像データの中から前
記抽出距離データに対応する画像データのみを抽出する
画像処理装置が開示されている。
【０００７】
【発明が解決しようとする課題】しかし、これらの公報
記載の発明においては、予め設定された距離区間又はユ
ーザーにより指定された被写体までの距離に基づいて当
該被写体が抽出されるが、ユーザーにとっては実際の被
写体までの距離は直観的に把握し難いため、所望の被写
体を簡単かつ迅速に抽出するのは困難である。さらに、
これらの公報記載の発明に基づいて所望の被写体を抽出
しようとすると、図１９に示すように、所望の被写体Ａ
とほぼ同一の距離に異なる被写体Ｂが写されている場
合、被写体Ａの他に不要な被写体Ｂまで抽出されること
となる。
記載の発明においては、予め設定された距離区間又はユ
ーザーにより指定された被写体までの距離に基づいて当
該被写体が抽出されるが、ユーザーにとっては実際の被
写体までの距離は直観的に把握し難いため、所望の被写
体を簡単かつ迅速に抽出するのは困難である。さらに、
これらの公報記載の発明に基づいて所望の被写体を抽出
しようとすると、図１９に示すように、所望の被写体Ａ
とほぼ同一の距離に異なる被写体Ｂが写されている場
合、被写体Ａの他に不要な被写体Ｂまで抽出されること
となる。
【０００８】本発明は、上述の点に鑑みてなされたもの
であり、その第１の目的は、直観的な指示に基づいて、
入力又は撮影された画像から所望の被写体を抽出するこ
とができる画像処理方法、画像処理装置、撮像装置及び
コンピュータプログラムを提供することである。
であり、その第１の目的は、直観的な指示に基づいて、
入力又は撮影された画像から所望の被写体を抽出するこ
とができる画像処理方法、画像処理装置、撮像装置及び
コンピュータプログラムを提供することである。
【０００９】本発明の第２の目的は、入力又は撮影され
た画像から、所望の被写体のみを抽出することができる
画像処理方法、画像処理装置、撮像装置及びコンピュー
タプログラムを提供することである。
た画像から、所望の被写体のみを抽出することができる
画像処理方法、画像処理装置、撮像装置及びコンピュー
タプログラムを提供することである。
【００１０】本発明の第３の目的は、さらに容易にかつ
高い信頼性をもって、入力又は撮影された画像から、所
望の被写体のみを抽出することができる画像処理方法、
画像処理装置、撮像装置及びコンピュータプログラムを
提供することである。
高い信頼性をもって、入力又は撮影された画像から、所
望の被写体のみを抽出することができる画像処理方法、
画像処理装置、撮像装置及びコンピュータプログラムを
提供することである。
【００１１】
【課題を解決するための手段】請求項１記載の発明は、
被写体までの距離に基づいて、画像中から所望の被写体
を抽出する画像処理方法であって、入力又は撮影された
前記画像における被写体までの距離を検出する第１のス
テップと、前記画像における２次元座標位置を指定する
第２のステップと、指定された前記２次元座標位置付近
の距離に基づいて、被写体を抽出する第３のステップ
と、を有することを特徴とする。
被写体までの距離に基づいて、画像中から所望の被写体
を抽出する画像処理方法であって、入力又は撮影された
前記画像における被写体までの距離を検出する第１のス
テップと、前記画像における２次元座標位置を指定する
第２のステップと、指定された前記２次元座標位置付近
の距離に基づいて、被写体を抽出する第３のステップ
と、を有することを特徴とする。
【００１２】従って、指定された２次元座標位置付近の
距離に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
距離に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
【００１３】請求項２記載の発明は、請求項１記載の画
像処理方法において、前記第３のステップは、指定され
た前記２次元座標位置における距離と当該２次元座標位
置近傍の２次元座標位置における距離との類否に基づい
て、抽出すべき被写体領域の拡大の可否を判定すること
により、前記被写体を抽出することを特徴とする。
像処理方法において、前記第３のステップは、指定され
た前記２次元座標位置における距離と当該２次元座標位
置近傍の２次元座標位置における距離との類否に基づい
て、抽出すべき被写体領域の拡大の可否を判定すること
により、前記被写体を抽出することを特徴とする。
【００１４】従って、指定された２次元座標位置におけ
る距離と当該２次元座標位置の近傍の２次元座標位置に
おける距離との類否に基づいて、抽出すべき被写体領域
の拡大の可否を判定することにより、入力又は撮影され
た画像から、所望の被写体のみを抽出することができ、
第２の目的が達成される。
る距離と当該２次元座標位置の近傍の２次元座標位置に
おける距離との類否に基づいて、抽出すべき被写体領域
の拡大の可否を判定することにより、入力又は撮影され
た画像から、所望の被写体のみを抽出することができ、
第２の目的が達成される。
【００１５】請求項３記載の発明は、請求項２記載の画
像処理方法において、前記第３のステップは、前記被写
体領域の拡大の可否を、前記画像における被写体までの
距離の統計量に基づき判定することを特徴とする。
像処理方法において、前記第３のステップは、前記被写
体領域の拡大の可否を、前記画像における被写体までの
距離の統計量に基づき判定することを特徴とする。
【００１６】従って、被写体領域の拡大の可否が、画像
における被写体までの距離の統計量に基づき判定される
ことにより、さらに容易にかつ高い信頼性をもって、入
力又は撮影された画像から、所望の被写体のみを抽出す
ることができ、第３の目的が達成される。
における被写体までの距離の統計量に基づき判定される
ことにより、さらに容易にかつ高い信頼性をもって、入
力又は撮影された画像から、所望の被写体のみを抽出す
ることができ、第３の目的が達成される。
【００１７】請求項４記載の発明は、被写体の少なくと
も一部が共通して撮影された少なくとも２枚の視差のあ
る画像に基づいて、画像中から所望の被写体を抽出する
画像処理方法であって、入力又は撮影された前記少なく
とも２枚の視差のある画像における視差を検出する第１
のステップと、少なくとも２枚の視差のある前記画像中
の一の画像における２次元座標位置を指定する第２のス
テップと、指定された前記２次元座標位置付近の視差に
基づいて、被写体を抽出する第３のステップと、を有す
ることを特徴とする。
も一部が共通して撮影された少なくとも２枚の視差のあ
る画像に基づいて、画像中から所望の被写体を抽出する
画像処理方法であって、入力又は撮影された前記少なく
とも２枚の視差のある画像における視差を検出する第１
のステップと、少なくとも２枚の視差のある前記画像中
の一の画像における２次元座標位置を指定する第２のス
テップと、指定された前記２次元座標位置付近の視差に
基づいて、被写体を抽出する第３のステップと、を有す
ることを特徴とする。
【００１８】従って、指定された２次元座標位置付近の
視差に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
視差に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
【００１９】請求項５記載の発明は、請求項４記載の画
像処理方法において、前記第３のステップは、指定され
た前記２次元座標位置における視差と当該２次元座標位
置近傍の２次元座標位置における視差との類否に基づい
て、抽出すべき被写体領域の拡大の可否を判定すること
により、前記被写体を抽出することを特徴とする。
像処理方法において、前記第３のステップは、指定され
た前記２次元座標位置における視差と当該２次元座標位
置近傍の２次元座標位置における視差との類否に基づい
て、抽出すべき被写体領域の拡大の可否を判定すること
により、前記被写体を抽出することを特徴とする。
【００２０】従って、指定された２次元座標位置におけ
る視差と当該２次元座標位置の近傍の２次元座標位置に
おける視差との類否に基づいて、抽出すべき被写体領域
の拡大の可否を判定することにより、入力又は撮影され
た画像から、所望の被写体のみを抽出することができ、
第２の目的が達成される。
る視差と当該２次元座標位置の近傍の２次元座標位置に
おける視差との類否に基づいて、抽出すべき被写体領域
の拡大の可否を判定することにより、入力又は撮影され
た画像から、所望の被写体のみを抽出することができ、
第２の目的が達成される。
【００２１】請求項６記載の発明は、請求項５記載の画
像処理方法において、前記第３のステップは、前記被写
体領域の拡大の可否を、前記画像における視差の統計量
に基づき判定されることを特徴とする。
像処理方法において、前記第３のステップは、前記被写
体領域の拡大の可否を、前記画像における視差の統計量
に基づき判定されることを特徴とする。
【００２２】従って、被写体領域の拡大の可否が、画像
における被写体までの視差の統計量に基づいて判定され
ることにより、さらに容易にかつ高い信頼性をもって、
入力又は撮影された画像から、被写体を抽出することが
でき、第３の目的が達成される。
における被写体までの視差の統計量に基づいて判定され
ることにより、さらに容易にかつ高い信頼性をもって、
入力又は撮影された画像から、被写体を抽出することが
でき、第３の目的が達成される。
【００２３】請求項７記載の発明は、被写体までの距離
に基づいて、画像中から所望の被写体を抽出する画像処
理装置であって、前記画像における２次元座標位置を指
定する指定手段と、指定された前記２次元座標位置付近
の距離に基づいて、被写体を抽出する抽出手段と、を有
することを特徴とする。
に基づいて、画像中から所望の被写体を抽出する画像処
理装置であって、前記画像における２次元座標位置を指
定する指定手段と、指定された前記２次元座標位置付近
の距離に基づいて、被写体を抽出する抽出手段と、を有
することを特徴とする。
【００２４】従って、指定された２次元座標位置付近の
距離に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
距離に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
【００２５】請求項８記載の発明は、請求項７記載の画
像処理装置において、前記抽出手段は、指定された前記
２次元座標位置における距離と当該２次元座標位置近傍
の２次元座標位置における距離との類否に基づいて、抽
出すべき被写体領域の拡大の可否を判定することによ
り、前記被写体を抽出することを特徴とする。
像処理装置において、前記抽出手段は、指定された前記
２次元座標位置における距離と当該２次元座標位置近傍
の２次元座標位置における距離との類否に基づいて、抽
出すべき被写体領域の拡大の可否を判定することによ
り、前記被写体を抽出することを特徴とする。
【００２６】従って、指定された２次元座標位置におけ
る距離と当該２次元座標位置の近傍の２次元座標位置に
おける距離との類否に基づいて、抽出すべき被写体領域
の拡大の可否を判定することにより、入力又は撮影され
た画像から、所望の被写体のみを抽出することができ、
第２の目的が達成される。
る距離と当該２次元座標位置の近傍の２次元座標位置に
おける距離との類否に基づいて、抽出すべき被写体領域
の拡大の可否を判定することにより、入力又は撮影され
た画像から、所望の被写体のみを抽出することができ、
第２の目的が達成される。
【００２７】請求項９記載の発明は、請求項８記載の画
像処理装置において、前記抽出手段は、前記被写体領域
の拡大の可否を、前記画像における被写体までの距離の
統計量に基づき判定することを特徴とする。
像処理装置において、前記抽出手段は、前記被写体領域
の拡大の可否を、前記画像における被写体までの距離の
統計量に基づき判定することを特徴とする。
【００２８】従って、被写体領域の拡大の可否が、画像
における被写体までの距離の統計量に基づき判定される
ことにより、さらに容易にかつ高い信頼性をもって、入
力又は撮影された画像から、所望の被写体のみを抽出す
ることができ、第３の目的が達成される。
における被写体までの距離の統計量に基づき判定される
ことにより、さらに容易にかつ高い信頼性をもって、入
力又は撮影された画像から、所望の被写体のみを抽出す
ることができ、第３の目的が達成される。
【００２９】請求項１０記載の発明は、被写体の少なく
とも一部が共通して撮影された少なくとも２枚の視差の
ある画像に基づいて、画像中から所望の被写体を抽出す
る画像処理装置であって、入力又は撮影された少なくと
も２枚の視差のある画像における視差を検出する視差検
出手段と、少なくとも２枚の視差のある前記画像中の一
の画像における２次元座標位置を指定する指定手段と、
指定された前記２次元座標位置付近の視差に基づいて、
被写体を抽出する抽出手段と、を有することを特徴とす
る。
とも一部が共通して撮影された少なくとも２枚の視差の
ある画像に基づいて、画像中から所望の被写体を抽出す
る画像処理装置であって、入力又は撮影された少なくと
も２枚の視差のある画像における視差を検出する視差検
出手段と、少なくとも２枚の視差のある前記画像中の一
の画像における２次元座標位置を指定する指定手段と、
指定された前記２次元座標位置付近の視差に基づいて、
被写体を抽出する抽出手段と、を有することを特徴とす
る。
【００３０】従って、指定された２次元座標位置付近の
視差に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
視差に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
【００３１】請求項１１記載の発明は、請求項１０記載
の画像処理装置において、前記抽出手段は、指定された
前記２次元座標位置における視差と当該２次元座標位置
近傍の２次元座標位置における視差との類否に基づい
て、抽出すべき被写体領域の拡大の可否を判定すること
により、前記被写体を抽出することを特徴とする。
の画像処理装置において、前記抽出手段は、指定された
前記２次元座標位置における視差と当該２次元座標位置
近傍の２次元座標位置における視差との類否に基づい
て、抽出すべき被写体領域の拡大の可否を判定すること
により、前記被写体を抽出することを特徴とする。
【００３２】従って、指定された２次元座標位置におけ
る視差と当該２次元座標位置の近傍の２次元座標位置に
おける視差との類否に基づいて、抽出すべき被写体領域
の拡大の可否を判定することにより、入力又は撮影され
た画像から、所望の被写体のみを抽出することができ、
第２の目的が達成される。
る視差と当該２次元座標位置の近傍の２次元座標位置に
おける視差との類否に基づいて、抽出すべき被写体領域
の拡大の可否を判定することにより、入力又は撮影され
た画像から、所望の被写体のみを抽出することができ、
第２の目的が達成される。
【００３３】請求項１２記載の発明は、請求項１１記載
の画像処理装置において、前記抽出手段は、前記被写体
領域の拡大の可否を、前記画像における視差の統計量に
基づき判定することを特徴とする。
の画像処理装置において、前記抽出手段は、前記被写体
領域の拡大の可否を、前記画像における視差の統計量に
基づき判定することを特徴とする。
【００３４】従って、被写体領域の拡大の可否が、画像
における被写体までの視差の統計量に基づいて判定され
ることにより、さらに容易にかつ高い信頼性をもって、
入力又は撮影された画像から、被写体を抽出することが
でき、第３の目的が達成される。
における被写体までの視差の統計量に基づいて判定され
ることにより、さらに容易にかつ高い信頼性をもって、
入力又は撮影された画像から、被写体を抽出することが
でき、第３の目的が達成される。
【００３５】請求項１３記載の発明は、請求項７ないし
１２の何れか一記載の画像処理装置において、前記指定
手段は、２次元座標位置をポインティングする手段を具
備することを特徴とする。
１２の何れか一記載の画像処理装置において、前記指定
手段は、２次元座標位置をポインティングする手段を具
備することを特徴とする。
【００３６】従って、指定手段が２次元座標位置をポイ
ンティングする手段を具備することにより、２次元座標
位置を直観的に指定でき、第１の目的が達成される。
ンティングする手段を具備することにより、２次元座標
位置を直観的に指定でき、第１の目的が達成される。
【００３７】請求項１４記載の発明は、請求項７ないし
１２の何れか一記載の画像処理装置において、前記指定
手段は、２次元座標位置を数値入力する手段を具備する
ことを特徴とする。
１２の何れか一記載の画像処理装置において、前記指定
手段は、２次元座標位置を数値入力する手段を具備する
ことを特徴とする。
【００３８】従って、指定手段が２次元座標位置を数値
入力する手段を具備することにより、２次元座標位置を
直観的に指定でき、第１の目的が達成される。
入力する手段を具備することにより、２次元座標位置を
直観的に指定でき、第１の目的が達成される。
【００３９】請求項１５記載の発明は、被写体を撮影
し、前記被写体の画像を表す映像信号を発生させる撮像
手段を有する撮像装置であって、前記被写体を撮影した
画像を記憶する画像メモリと、前記被写体までの距離を
検出する距離検出手段と、前記画像メモリに記憶された
画像における２次元座標位置を指定する指定手段と、指
定された前記２次元座標位置付近の距離に基づいて、被
写体を抽出する抽出手段と、を有することを特徴とす
る。
し、前記被写体の画像を表す映像信号を発生させる撮像
手段を有する撮像装置であって、前記被写体を撮影した
画像を記憶する画像メモリと、前記被写体までの距離を
検出する距離検出手段と、前記画像メモリに記憶された
画像における２次元座標位置を指定する指定手段と、指
定された前記２次元座標位置付近の距離に基づいて、被
写体を抽出する抽出手段と、を有することを特徴とす
る。
【００４０】従って、指定された２次元座標位置付近の
距離に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
距離に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
【００４１】請求項１６記載の発明は、被写体を撮影
し、前記被写体の画像を表す映像信号を発生させる撮像
手段を有する撮像装置であって、前記撮像手段に接続さ
れ、前記被写体の少なくとも一部が共通して撮影された
少なくとも２枚の視差のある画像を記憶する画像メモリ
と、記憶された少なくとも２枚の視差のある前記画像に
おける視差を検出する視差検出手段と、記憶された少な
くとも２枚の視差のある前記画像中の一の画像における
２次元座標位置を指定する指定手段と、指定された前記
２次元座標位置付近の視差に基づいて、被写体を抽出す
る抽出手段と、を有することを特徴とする。
し、前記被写体の画像を表す映像信号を発生させる撮像
手段を有する撮像装置であって、前記撮像手段に接続さ
れ、前記被写体の少なくとも一部が共通して撮影された
少なくとも２枚の視差のある画像を記憶する画像メモリ
と、記憶された少なくとも２枚の視差のある前記画像に
おける視差を検出する視差検出手段と、記憶された少な
くとも２枚の視差のある前記画像中の一の画像における
２次元座標位置を指定する指定手段と、指定された前記
２次元座標位置付近の視差に基づいて、被写体を抽出す
る抽出手段と、を有することを特徴とする。
【００４２】従って、指定された２次元座標位置付近の
視差に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
視差に基づいて、被写体を抽出することにより、入力さ
れた画像において所望の被写体に含まれる２次元座標を
指定するという極めて直観的な指示に基づいて、入力又
は撮影された画像から被写体を抽出することができ、第
１の目的が達成される。
【００４３】請求項１７記載の発明は、被写体までの距
離に基づいて、画像中から所望の被写体を抽出するコン
ピュータにインストールされ、前記コンピュータに、前
記画像及び前記被写体までの距離を入力させる機能と、
前記画像における２次元座標位置を指定させる機能と、
指定された前記２次元座標位置付近の距離に基づいて、
被写体を抽出させる機能と、を実行させるコンピュータ
読取り可能なコンピュータプログラムである。
離に基づいて、画像中から所望の被写体を抽出するコン
ピュータにインストールされ、前記コンピュータに、前
記画像及び前記被写体までの距離を入力させる機能と、
前記画像における２次元座標位置を指定させる機能と、
指定された前記２次元座標位置付近の距離に基づいて、
被写体を抽出させる機能と、を実行させるコンピュータ
読取り可能なコンピュータプログラムである。
【００４４】従って、指定された２次元座標位置付近の
距離に基づいて、被写体を抽出することにより、入力さ
れた画像における２次元座標の指定という直観的な指示
に基づいて、入力又は撮影された画像から被写体を抽出
することができ、コンピュータプログラムを利用して第
１の目的が達成される。
距離に基づいて、被写体を抽出することにより、入力さ
れた画像における２次元座標の指定という直観的な指示
に基づいて、入力又は撮影された画像から被写体を抽出
することができ、コンピュータプログラムを利用して第
１の目的が達成される。
【００４５】請求項１８記載の発明は、被写体の少なく
とも一部が共通して撮影された少なくとも２枚の視差の
ある画像に基づいて、画像中から所望の被写体を抽出す
るコンピュータにインストールされ、前記コンピュータ
に、少なくとも２枚の視差のある前記画像を入力させる
機能と、少なくとも２枚の視差のある前記画像における
視差を検出させる機能と、少なくとも２枚の視差のある
前記画像中の一の画像における２次元座標位置を指定さ
せる機能と、指定された前記２次元座標位置付近の視差
に基づいて、被写体を抽出させる機能と、を実行させる
コンピュータ読取り可能なコンピュータプログラムであ
る。
とも一部が共通して撮影された少なくとも２枚の視差の
ある画像に基づいて、画像中から所望の被写体を抽出す
るコンピュータにインストールされ、前記コンピュータ
に、少なくとも２枚の視差のある前記画像を入力させる
機能と、少なくとも２枚の視差のある前記画像における
視差を検出させる機能と、少なくとも２枚の視差のある
前記画像中の一の画像における２次元座標位置を指定さ
せる機能と、指定された前記２次元座標位置付近の視差
に基づいて、被写体を抽出させる機能と、を実行させる
コンピュータ読取り可能なコンピュータプログラムであ
る。
【００４６】従って、指定された２次元座標位置付近の
視差に基づいて、被写体を抽出することにより、入力さ
れた画像における２次元座標の指定という直観的な指示
に基づいて、入力又は撮影された画像から被写体を抽出
することができ、コンピュータプログラムを利用して第
１の目的が達成される。
視差に基づいて、被写体を抽出することにより、入力さ
れた画像における２次元座標の指定という直観的な指示
に基づいて、入力又は撮影された画像から被写体を抽出
することができ、コンピュータプログラムを利用して第
１の目的が達成される。
【００４７】
【発明の実施の形態】本発明の第一の実施の形態を図１
ないし図１１に基づいて説明する。図１は、本実施の形
態の画像処理装置の基本となるハードウェア構成例を示
すブロック図である。この画像処理装置は、当該画像処
理装置における各種の制御及び処理を行うＣＰＵ（Cent
ral Processing Unit）１１と、ＳＤＲＡＭ（Synchrono
us Dynamic Random Access Memory）１２と、ＨＤＤ（H
ard Disk Drive）１３と、マウス等のポインティングデ
バイス、キーボード、ボタン等の各種入力インターフェ
ース（以下“Ｉ／Ｆ”と略す）１４と、電源１５と、表
示Ｉ／Ｆ１６を介して接続されるＣＲＴ（Cathode Ray
Tube）等のディスプレイ１９と、ＣＤ−ＲＷ（Compact
Disk Rewritable）ドライブ等の記録装置１７と、デジ
タルカメラやプリンタ等の外部機器やインターネット等
の電気通信回線と有線又は無線接続するための外部Ｉ／
Ｆ１８とを、バスを介して接続することにより構成され
ている。
ないし図１１に基づいて説明する。図１は、本実施の形
態の画像処理装置の基本となるハードウェア構成例を示
すブロック図である。この画像処理装置は、当該画像処
理装置における各種の制御及び処理を行うＣＰＵ（Cent
ral Processing Unit）１１と、ＳＤＲＡＭ（Synchrono
us Dynamic Random Access Memory）１２と、ＨＤＤ（H
ard Disk Drive）１３と、マウス等のポインティングデ
バイス、キーボード、ボタン等の各種入力インターフェ
ース（以下“Ｉ／Ｆ”と略す）１４と、電源１５と、表
示Ｉ／Ｆ１６を介して接続されるＣＲＴ（Cathode Ray
Tube）等のディスプレイ１９と、ＣＤ−ＲＷ（Compact
Disk Rewritable）ドライブ等の記録装置１７と、デジ
タルカメラやプリンタ等の外部機器やインターネット等
の電気通信回線と有線又は無線接続するための外部Ｉ／
Ｆ１８とを、バスを介して接続することにより構成され
ている。
【００４８】ＳＤＲＡＭ１２は、ＣＰＵ１１の作業領域
として利用されるとともに、本実施の形態における画像
処理方法の各工程（ステップ）を実行するための処理プ
ログラムや、その他制御プログラムなどの固定情報の記
憶領域として利用される。処理プログラムは、例えば、
記録装置１７を介してＳＤＲＡＭ１２にロードされ、又
は、ＨＤＤ１３に一旦保存された後に必要なときにＳＤ
ＲＡＭ１２にロードされ、又は、外部Ｉ／Ｆ１８に接続
された電気通信回線を介してＳＤＲＡＭ１２にロードさ
れる。処理の対象となる画像は、記録装置１７又は外部
Ｉ／Ｆ１８に接続されたデジタルカメラ等の撮像装置若
しくは電気通信回線を介して入力される。
として利用されるとともに、本実施の形態における画像
処理方法の各工程（ステップ）を実行するための処理プ
ログラムや、その他制御プログラムなどの固定情報の記
憶領域として利用される。処理プログラムは、例えば、
記録装置１７を介してＳＤＲＡＭ１２にロードされ、又
は、ＨＤＤ１３に一旦保存された後に必要なときにＳＤ
ＲＡＭ１２にロードされ、又は、外部Ｉ／Ｆ１８に接続
された電気通信回線を介してＳＤＲＡＭ１２にロードさ
れる。処理の対象となる画像は、記録装置１７又は外部
Ｉ／Ｆ１８に接続されたデジタルカメラ等の撮像装置若
しくは電気通信回線を介して入力される。
【００４９】図２は、上述した画像処理装置と同様な機
能を備える本実施の形態の撮像装置の基本となるデジタ
ルカメラのハードウェア構成例を示すブロック図であ
る。図１中に示した部分と同一又は相当する部分は同一
符号を付して示す。即ち、デジタルカメラにおける各種
の制御及び処理を行うＣＰＵ１１と、ＳＤＲＡＭ１２
と、ＲＯＭ（Read Only Memory）２０と、ペン等のポイ
ンティングデバイスやカメラ本体に設置されたボタン等
の各種入力Ｉ／Ｆ１４と、電源１５と、表示Ｉ／Ｆ１６
を介して接続されるＬＣＤ（Liquid Crystal Display）
２８と、ＣＦ（Compact Flash）カード等の記録装置１
７と、プリンタ等の外部機器やインターネットと有線又
は無線接続するための外部Ｉ／Ｆ１８とを、バスを介し
て接続することにより構成される。さらに、レンズ２１
と、絞り２２と、シャッター２３と、ＣＣＤ（Charge C
oupled Device）等の光電変換素子２４と、この光電変
換素子２４のタイミング制御並びに光電変換素子２４に
より得られた画像信号に対して相関二重サンプリングや
アナログ−デジタル変換等のデジタル化処理を行う駆動
部２５と、この駆動部２５により得られたデジタル信号
に対してＡＷＢ（Automatic White Balance）、エッジ
強調やγ補正等の前処理及び画像圧縮／伸長処理を行う
前処理回路２６、フォーカス、ズーム、アイリス、シャ
ッタースピード等を制御するためにレンズ２１、絞り２
２、シャッター２３を駆動するモータ駆動部２７と、被
写体に対してフォーカスを合わせるためにカメラ本体か
ら被写体までの距離を測定する測距部２９とを備えてい
る。
能を備える本実施の形態の撮像装置の基本となるデジタ
ルカメラのハードウェア構成例を示すブロック図であ
る。図１中に示した部分と同一又は相当する部分は同一
符号を付して示す。即ち、デジタルカメラにおける各種
の制御及び処理を行うＣＰＵ１１と、ＳＤＲＡＭ１２
と、ＲＯＭ（Read Only Memory）２０と、ペン等のポイ
ンティングデバイスやカメラ本体に設置されたボタン等
の各種入力Ｉ／Ｆ１４と、電源１５と、表示Ｉ／Ｆ１６
を介して接続されるＬＣＤ（Liquid Crystal Display）
２８と、ＣＦ（Compact Flash）カード等の記録装置１
７と、プリンタ等の外部機器やインターネットと有線又
は無線接続するための外部Ｉ／Ｆ１８とを、バスを介し
て接続することにより構成される。さらに、レンズ２１
と、絞り２２と、シャッター２３と、ＣＣＤ（Charge C
oupled Device）等の光電変換素子２４と、この光電変
換素子２４のタイミング制御並びに光電変換素子２４に
より得られた画像信号に対して相関二重サンプリングや
アナログ−デジタル変換等のデジタル化処理を行う駆動
部２５と、この駆動部２５により得られたデジタル信号
に対してＡＷＢ（Automatic White Balance）、エッジ
強調やγ補正等の前処理及び画像圧縮／伸長処理を行う
前処理回路２６、フォーカス、ズーム、アイリス、シャ
ッタースピード等を制御するためにレンズ２１、絞り２
２、シャッター２３を駆動するモータ駆動部２７と、被
写体に対してフォーカスを合わせるためにカメラ本体か
ら被写体までの距離を測定する測距部２９とを備えてい
る。
【００５０】ＲＯＭ２０は、ＣＰＵ１１により実行され
る所定の命令を記憶する領域として利用されるととも
に、本実施の形態における画像処理方法の各工程を実行
するための処理プログラムとして利用される。ＳＤＲＡ
Ｍ１２は、ＣＰＵ１１の作業領域として利用されるとと
もに、本実施の形態における画像処理方法の各工程を実
行するための処理プログラムや、その他制御プログラム
などの固定情報の記憶領域として利用される。処理プロ
グラムは、例えば、ＲＯＭ２０に予め格納され、又は、
記録装置１７を介してＳＤＲＡＭ１２にロードされ、又
は、外部Ｉ／Ｆ１８に接続された電気通信回線を介して
ＳＤＲＡＭ１２にロードされる。制御プログラムは、例
えばＲＯＭ２０に予め格納される。
る所定の命令を記憶する領域として利用されるととも
に、本実施の形態における画像処理方法の各工程を実行
するための処理プログラムとして利用される。ＳＤＲＡ
Ｍ１２は、ＣＰＵ１１の作業領域として利用されるとと
もに、本実施の形態における画像処理方法の各工程を実
行するための処理プログラムや、その他制御プログラム
などの固定情報の記憶領域として利用される。処理プロ
グラムは、例えば、ＲＯＭ２０に予め格納され、又は、
記録装置１７を介してＳＤＲＡＭ１２にロードされ、又
は、外部Ｉ／Ｆ１８に接続された電気通信回線を介して
ＳＤＲＡＭ１２にロードされる。制御プログラムは、例
えばＲＯＭ２０に予め格納される。
【００５１】本実施の形態の画像処理装置は、図１に示
すような画像処理装置又は図２に示すような撮像装置に
適用されるもので、その機能を含む構成例を図３のブロ
ック図に示す。
すような画像処理装置又は図２に示すような撮像装置に
適用されるもので、その機能を含む構成例を図３のブロ
ック図に示す。
【００５２】本実施の形態の画像処理装置1は、信号処
理部３２とメモリ制御部３３と主制御部３４と画像メモ
リとしてのフレームメモリ３５とＩ／Ｆ３６と表示部３
７と外部記憶部３８と距離検出手段としての距離測定部
３９と指定手段としての座標指定部４０と抽出手段とし
ての被写体抽出部４１とを備える。ここで、撮像部３１
は信号処理部３２に接続され、信号処理部３２はメモリ
制御部３３と主制御部３４及びＩ／Ｆ３６に接続され、
フレームメモリ３５はメモリ制御部３３に接続される。
また、距離測定部３９は主制御部３４に接続され、座標
指定部４０は主制御部３４とメモリ制御部３３及びフレ
ームメモリ３５に接続され、被写体抽出部４１は距離測
定部３９と座標指定部４０及びフレームメモリ３５に接
続される。
理部３２とメモリ制御部３３と主制御部３４と画像メモ
リとしてのフレームメモリ３５とＩ／Ｆ３６と表示部３
７と外部記憶部３８と距離検出手段としての距離測定部
３９と指定手段としての座標指定部４０と抽出手段とし
ての被写体抽出部４１とを備える。ここで、撮像部３１
は信号処理部３２に接続され、信号処理部３２はメモリ
制御部３３と主制御部３４及びＩ／Ｆ３６に接続され、
フレームメモリ３５はメモリ制御部３３に接続される。
また、距離測定部３９は主制御部３４に接続され、座標
指定部４０は主制御部３４とメモリ制御部３３及びフレ
ームメモリ３５に接続され、被写体抽出部４１は距離測
定部３９と座標指定部４０及びフレームメモリ３５に接
続される。
【００５３】ここで、図３に示す本実施の形態の画像処
理装置１とその前提となる基本ハードウェア構成を示し
た図１及び図２との対応関係について説明する。図３中
の撮像手段としての撮像部３１は、図２に示したレンズ
２１、絞り機構２２、シャッター２３、光電変換素子２
４、駆動部２５及び前処理回路２６が含まれる。主制御
部３４はＣＰＵ１１とＲＯＭ２０とにより構成され、信
号処理部３２、メモリ制御部３３及び被写体抽出部４１
はＣＰＵ１１により構成される。フレームメモリ３５は
ＳＤＲＡＭ１２により構成される。Ｉ／Ｆ３６は表示Ｉ
／Ｆ１６と外部Ｉ／Ｆ１８を含み、表示部３７はディス
プレイ１９又はＬＣＤ２８により構成される。また、外
部記憶部３８はＨＤＤ１３又は記録装置１７により構成
され、より具体的には、ＣＤ−ＲＷや光磁気ディスクな
どが使用できるが、モデムカード等を利用することによ
り電気通信回線を介して画像信号を直接遠隔地の記録媒
体に送信できるようにしても良い。また、距離測定部３
９は測距部２９より構成され、座標指定部４０は入力Ｉ
／Ｆ１４により構成される。
理装置１とその前提となる基本ハードウェア構成を示し
た図１及び図２との対応関係について説明する。図３中
の撮像手段としての撮像部３１は、図２に示したレンズ
２１、絞り機構２２、シャッター２３、光電変換素子２
４、駆動部２５及び前処理回路２６が含まれる。主制御
部３４はＣＰＵ１１とＲＯＭ２０とにより構成され、信
号処理部３２、メモリ制御部３３及び被写体抽出部４１
はＣＰＵ１１により構成される。フレームメモリ３５は
ＳＤＲＡＭ１２により構成される。Ｉ／Ｆ３６は表示Ｉ
／Ｆ１６と外部Ｉ／Ｆ１８を含み、表示部３７はディス
プレイ１９又はＬＣＤ２８により構成される。また、外
部記憶部３８はＨＤＤ１３又は記録装置１７により構成
され、より具体的には、ＣＤ−ＲＷや光磁気ディスクな
どが使用できるが、モデムカード等を利用することによ
り電気通信回線を介して画像信号を直接遠隔地の記録媒
体に送信できるようにしても良い。また、距離測定部３
９は測距部２９より構成され、座標指定部４０は入力Ｉ
／Ｆ１４により構成される。
【００５４】このような構成の画像処理装置１におい
て、信号処理部３２は、撮像部３１で撮像され又はＩ／
Ｆ３６を介して外部から入力された画像に対して所定の
処理を施す。また、主制御部３４は画像処理装置を構成
する各部を集中的に制御し、フレームメモリ３５はメモ
リ制御部３３の命令により画像信号を蓄積する。また、
表示部３７はＩ／Ｆ３６を介して供給された画像信号を
表示し、外部記憶部３８はＩ／Ｆ３６を介して画像信号
等の種々の信号を読み書きする。
て、信号処理部３２は、撮像部３１で撮像され又はＩ／
Ｆ３６を介して外部から入力された画像に対して所定の
処理を施す。また、主制御部３４は画像処理装置を構成
する各部を集中的に制御し、フレームメモリ３５はメモ
リ制御部３３の命令により画像信号を蓄積する。また、
表示部３７はＩ／Ｆ３６を介して供給された画像信号を
表示し、外部記憶部３８はＩ／Ｆ３６を介して画像信号
等の種々の信号を読み書きする。
【００５５】図３のように構成された各部の動作を具体
的に説明する。まず、信号処理部３２は、撮像部３１で
撮像され又はＩ／Ｆ３６を介して外部から入力された画
像に対して、圧縮や伸長、色分解、ホワイトバランス調
整、γ補正等の種々の画像処理を施す。また、メモリ制
御部３３は信号処理部３２において処理された画像信号
をフレームメモリ３５に格納したり、その逆にフレーム
メモリ３５に格納された画像信号を読み出す。そして、
この場合にはフレームメモリ３５から読み出された画像
信号は、信号処理部３２において圧縮などが施された
後、Ｉ／Ｆ３６を介して外部記憶部３８に保存される。
また、外部記憶部３８に記憶された画像信号を読み出す
場合は、まずＩ／Ｆ３６を介して信号処理部３２に画像
信号が供給され、信号処理部３２において画像伸長が施
される。一方、外部記憶部３８及びフレームメモリ３５
から読み出された画像信号を表示する場合は、まず、読
み出された信号が信号処理部３２においてデジタル−ア
ナログ変換（Ｄ／Ａ変換）され、増幅などの信号処理が
なされる。そして、このような処理がなされた信号は、
Ｉ／Ｆ３６を介して表示部３７に送信される。
的に説明する。まず、信号処理部３２は、撮像部３１で
撮像され又はＩ／Ｆ３６を介して外部から入力された画
像に対して、圧縮や伸長、色分解、ホワイトバランス調
整、γ補正等の種々の画像処理を施す。また、メモリ制
御部３３は信号処理部３２において処理された画像信号
をフレームメモリ３５に格納したり、その逆にフレーム
メモリ３５に格納された画像信号を読み出す。そして、
この場合にはフレームメモリ３５から読み出された画像
信号は、信号処理部３２において圧縮などが施された
後、Ｉ／Ｆ３６を介して外部記憶部３８に保存される。
また、外部記憶部３８に記憶された画像信号を読み出す
場合は、まずＩ／Ｆ３６を介して信号処理部３２に画像
信号が供給され、信号処理部３２において画像伸長が施
される。一方、外部記憶部３８及びフレームメモリ３５
から読み出された画像信号を表示する場合は、まず、読
み出された信号が信号処理部３２においてデジタル−ア
ナログ変換（Ｄ／Ａ変換）され、増幅などの信号処理が
なされる。そして、このような処理がなされた信号は、
Ｉ／Ｆ３６を介して表示部３７に送信される。
【００５６】また、距離測定部３９は被写体までの距離
を測定し、座標指定部４０はフレームメモリ３５に記憶
された画像における２次元座標位置を指定し、被写体抽
出部４１は被写体までの距離及び指定された２次元座標
位置に基づいて、フレームメモリ３５に記憶された画像
における所望の被写体を抽出するが、これらの各動作に
ついての詳細は後述する。
を測定し、座標指定部４０はフレームメモリ３５に記憶
された画像における２次元座標位置を指定し、被写体抽
出部４１は被写体までの距離及び指定された２次元座標
位置に基づいて、フレームメモリ３５に記憶された画像
における所望の被写体を抽出するが、これらの各動作に
ついての詳細は後述する。
【００５７】次に、本実施の形態に係る画像処理方法を
図４のフローチャートを参照して説明する。まず、最初
に、ユーザーは撮像部３１により撮影された画像、又
は、予め撮影されＩ／Ｆ３６を介して供給された画像を
入力する（ステップＳ１）。
図４のフローチャートを参照して説明する。まず、最初
に、ユーザーは撮像部３１により撮影された画像、又
は、予め撮影されＩ／Ｆ３６を介して供給された画像を
入力する（ステップＳ１）。
【００５８】撮像部３１により撮影された画像を入力す
る場合は、この撮影とともに、距離測定部３９により、
当該画像に写された被写体までの距離が測定される。こ
こで、距離測定部３９は、被写体に波動（光、電波、音
波）を照射し、被写体からの反射波の伝播時間を測定す
ることにより距離を求めるＴＯＦ（Time of Flight）
法、カメラと位置関係が既知の光源からスリット光やス
ポット光を被写体に照射し、被写体における光像の歪み
をカメラで観測して距離を求める光投影法、多眼カメラ
を用いて被写体を撮影した画像から三角測量法により被
写体の３次元形状を計算する多眼立体視などの公知技術
により実現される。ここでは、距離測定部３９は光投影
法により構成されると仮定して、以下にその構成・動作
を説明する。
る場合は、この撮影とともに、距離測定部３９により、
当該画像に写された被写体までの距離が測定される。こ
こで、距離測定部３９は、被写体に波動（光、電波、音
波）を照射し、被写体からの反射波の伝播時間を測定す
ることにより距離を求めるＴＯＦ（Time of Flight）
法、カメラと位置関係が既知の光源からスリット光やス
ポット光を被写体に照射し、被写体における光像の歪み
をカメラで観測して距離を求める光投影法、多眼カメラ
を用いて被写体を撮影した画像から三角測量法により被
写体の３次元形状を計算する多眼立体視などの公知技術
により実現される。ここでは、距離測定部３９は光投影
法により構成されると仮定して、以下にその構成・動作
を説明する。
【００５９】［距離測定部３９の構成・動作］図５は距
離測定部３９の一例を示す原理的構成図である。図５に
示すように、距離測定部３９はスポット光源３９１及び
受光素子３９２により構成される。スポット光源３９１
は発光ダイオードや半導体レーザー等の光源３９１ａ、
ポリゴンミラーなどの走査ミラー３９１ｂ及び走査ミラ
ー３９１ｂの動きを制御する駆動部３９１ｃより構成さ
れ、光源３９１ａより発生したスポット光が被写体面に
当たるように光の向きを制御する部分であり、その光の
向きは駆動部３９１ｃより出力される信号により検出さ
れる。受光素子３９２は、スポット光源３９１と位置関
係が既知である場所に設置されたＰＳＤ（Position Sen
sitive Detector）やＣＣＤ等の光電変換素子より構成
され、被写体面より戻ってきた反射光の向きを検出す
る。ここで、受光素子３９２は、撮像部３１における光
電変換素子を兼用するという形態で構成されても構わな
い。
離測定部３９の一例を示す原理的構成図である。図５に
示すように、距離測定部３９はスポット光源３９１及び
受光素子３９２により構成される。スポット光源３９１
は発光ダイオードや半導体レーザー等の光源３９１ａ、
ポリゴンミラーなどの走査ミラー３９１ｂ及び走査ミラ
ー３９１ｂの動きを制御する駆動部３９１ｃより構成さ
れ、光源３９１ａより発生したスポット光が被写体面に
当たるように光の向きを制御する部分であり、その光の
向きは駆動部３９１ｃより出力される信号により検出さ
れる。受光素子３９２は、スポット光源３９１と位置関
係が既知である場所に設置されたＰＳＤ（Position Sen
sitive Detector）やＣＣＤ等の光電変換素子より構成
され、被写体面より戻ってきた反射光の向きを検出す
る。ここで、受光素子３９２は、撮像部３１における光
電変換素子を兼用するという形態で構成されても構わな
い。
【００６０】被写体までの距離は、スポット光源３９１
の照射したスポット光の向き、スポット光源３９１と受
光素子３９２との位置関係、及び、受光素子３９２が検
出した反射光の向きより、三角測量の原理で算出され
る。ここで、走査ミラー３９１ｂを駆動しスポット光を
走査することにより、被写体全体の距離を測定すること
ができる。
の照射したスポット光の向き、スポット光源３９１と受
光素子３９２との位置関係、及び、受光素子３９２が検
出した反射光の向きより、三角測量の原理で算出され
る。ここで、走査ミラー３９１ｂを駆動しスポット光を
走査することにより、被写体全体の距離を測定すること
ができる。
【００６１】一方、予め撮影されＩ／Ｆ３６を介して供
給された画像を入力する場合は、被写体までの距離も併
せてＩ／Ｆ３６を介して入力される。この動作を、以下
に説明する。
給された画像を入力する場合は、被写体までの距離も併
せてＩ／Ｆ３６を介して入力される。この動作を、以下
に説明する。
【００６２】図６は、同図（ａ）に示す画像と併せて被
写体までの距離を、予め測定された被写体までの距離の
遠近を画像の濃淡で表現した同図（ｂ）の距離画像とい
う形態で入力するという一例を示した図である。図６に
おける距離画像は、距離が遠い被写体は黒に近い濃度
で、近い被写体は白に近い濃度で表現されている。この
ような距離画像は、例えば、画像の階調が２５６である
場合、画像に写された領域における距離の最小値に対し
ては画素値を２５５、最大値に対しては画素値を０と
し、画像中の全領域に対して画素値を距離に反比例させ
て与えることにより形成される。この例のように、入力
される被写体までの距離は、必ずしも計量値で表現され
る必要はなく、相対値で表現されても構わない。
写体までの距離を、予め測定された被写体までの距離の
遠近を画像の濃淡で表現した同図（ｂ）の距離画像とい
う形態で入力するという一例を示した図である。図６に
おける距離画像は、距離が遠い被写体は黒に近い濃度
で、近い被写体は白に近い濃度で表現されている。この
ような距離画像は、例えば、画像の階調が２５６である
場合、画像に写された領域における距離の最小値に対し
ては画素値を２５５、最大値に対しては画素値を０と
し、画像中の全領域に対して画素値を距離に反比例させ
て与えることにより形成される。この例のように、入力
される被写体までの距離は、必ずしも計量値で表現され
る必要はなく、相対値で表現されても構わない。
【００６３】図４において、画像の撮影又は入力、並び
に被写体までの距離の測定又は入力が終了すると、画像
において被写体が写された領域を示す２次元座標位置を
指定する（ステップＳ２）。この作業は、座標指定部４
０により行われる。以下、座標指定部４０の構成・動作
の具体例を説明する。
に被写体までの距離の測定又は入力が終了すると、画像
において被写体が写された領域を示す２次元座標位置を
指定する（ステップＳ２）。この作業は、座標指定部４
０により行われる。以下、座標指定部４０の構成・動作
の具体例を説明する。
【００６４】［座標指定部４０の構成・動作］図７は座
標指定部４０の構成の一例を示す説明図である。図７に
示す例では、この座標指定部４０は、表示部３７の表面
に設置された透明タッチパネル４０１と、画像中の２次
元座標位置を指定するポインティングデバイス４０２と
より構成されている。
標指定部４０の構成の一例を示す説明図である。図７に
示す例では、この座標指定部４０は、表示部３７の表面
に設置された透明タッチパネル４０１と、画像中の２次
元座標位置を指定するポインティングデバイス４０２と
より構成されている。
【００６５】以下において、この座標指定部４０の動作
について説明する。まず、前述のステップＳ１の処理が
終了すると、表示部３７において「座標指定」という文
字がオーバーレイ表示される。次に、ユーザーは表示部
３７に表示された画像において、抽出したい被写体を示
す位置をポインティングすることにより、２次元座標位
置を指定する。すると、表示部３７上に十字型のポイン
タ４０３が画像に重畳表示され、当該２次元座標位置が
指定されたことがユーザーに通知される。以上の操作
で、画像における２次元座標位置を指定することができ
る。
について説明する。まず、前述のステップＳ１の処理が
終了すると、表示部３７において「座標指定」という文
字がオーバーレイ表示される。次に、ユーザーは表示部
３７に表示された画像において、抽出したい被写体を示
す位置をポインティングすることにより、２次元座標位
置を指定する。すると、表示部３７上に十字型のポイン
タ４０３が画像に重畳表示され、当該２次元座標位置が
指定されたことがユーザーに通知される。以上の操作
で、画像における２次元座標位置を指定することができ
る。
【００６６】また、図８は座標指定部４０の構成の他例
を示す説明図である。図８に示す例では、座標指定部４
０は、画像中の２次元座標位置を指定するカーソルボタ
ン４０４及び決定ボタン４０５により構成されている。
を示す説明図である。図８に示す例では、座標指定部４
０は、画像中の２次元座標位置を指定するカーソルボタ
ン４０４及び決定ボタン４０５により構成されている。
【００６７】以下において、この座標指定部４０の動作
について説明する。まず、前述のステップＳ１の処理が
終了すると、表示部３７において「座標指定」という文
字がオーバーレイ表示される。次に、表示部３７上に十
字型のポインタ４０３が画像に重畳表示され、ユーザー
は表示部３７に表示された画像において、カーソルボタ
ン４０４を操作することにより、ポインタ４０３を上下
左右に移動させる。ポインタ４０３が抽出したい被写体
を示す位置にあれば、決定ボタン４０５を押下すること
により、２次元座標位置が指定される。以上の操作で、
画像における２次元座標位置を指定することができる。
について説明する。まず、前述のステップＳ１の処理が
終了すると、表示部３７において「座標指定」という文
字がオーバーレイ表示される。次に、表示部３７上に十
字型のポインタ４０３が画像に重畳表示され、ユーザー
は表示部３７に表示された画像において、カーソルボタ
ン４０４を操作することにより、ポインタ４０３を上下
左右に移動させる。ポインタ４０３が抽出したい被写体
を示す位置にあれば、決定ボタン４０５を押下すること
により、２次元座標位置が指定される。以上の操作で、
画像における２次元座標位置を指定することができる。
【００６８】また、図９は座標指定部４０の構成のさら
に異なる一例を示す説明図である。図９に示す例では、
座標指定部４０は、画像中の２次元座標位置を数値入力
するテンキー４０６及び決定ボタン４０５により構成さ
れている。
に異なる一例を示す説明図である。図９に示す例では、
座標指定部４０は、画像中の２次元座標位置を数値入力
するテンキー４０６及び決定ボタン４０５により構成さ
れている。
【００６９】以下において、この座標指定部４０の動作
について説明する。まず、前述のステップＳ１の処理が
終了すると、表示部３７において「座標指定」という文
字がオーバーレイ表示される。次に、表示部３７上に２
次元座標位置を数値入力するための２つの矩形４０７
ａ，４０７ｂが画像に重畳表示される。ここで、矩形４
０７ａは画像における横方向の座標、矩形４０７ｂは縦
方向の座標の入力用の矩形であるとする。続いて、ユー
ザーは、表示部３７に表示された画像において、テンキ
ー４０６を操作することにより、矩形４０７ａ，４０７
ｂ内に各々数値を入力する。ここで、図中左向き矢印で
示されるキー４０８はバックスペースキーであり、誤入
力された数値入力を修正するのに使用される。すると、
表示部３７において、これらの数値に対応する２次元座
標位置上にポインタ４０３が出現する。このとき、この
ポインタ４０３が抽出したい被写体を示す位置にあれ
ば、決定ボタン４０５を押下することにより、２次元座
標位置が指定される。以上の操作で、画像における２次
元座標位置を指定することができる。
について説明する。まず、前述のステップＳ１の処理が
終了すると、表示部３７において「座標指定」という文
字がオーバーレイ表示される。次に、表示部３７上に２
次元座標位置を数値入力するための２つの矩形４０７
ａ，４０７ｂが画像に重畳表示される。ここで、矩形４
０７ａは画像における横方向の座標、矩形４０７ｂは縦
方向の座標の入力用の矩形であるとする。続いて、ユー
ザーは、表示部３７に表示された画像において、テンキ
ー４０６を操作することにより、矩形４０７ａ，４０７
ｂ内に各々数値を入力する。ここで、図中左向き矢印で
示されるキー４０８はバックスペースキーであり、誤入
力された数値入力を修正するのに使用される。すると、
表示部３７において、これらの数値に対応する２次元座
標位置上にポインタ４０３が出現する。このとき、この
ポインタ４０３が抽出したい被写体を示す位置にあれ
ば、決定ボタン４０５を押下することにより、２次元座
標位置が指定される。以上の操作で、画像における２次
元座標位置を指定することができる。
【００７０】図４において、このように２次元座標位置
の指定が終了すると、２次元座標位置付近の距離に基づ
いて被写体を抽出する（ステップＳ３）。このステップ
Ｓ３の処理は被写体抽出部４１により行われる。以下、
被写体抽出部４１の構成・動作を説明する。
の指定が終了すると、２次元座標位置付近の距離に基づ
いて被写体を抽出する（ステップＳ３）。このステップ
Ｓ３の処理は被写体抽出部４１により行われる。以下、
被写体抽出部４１の構成・動作を説明する。
【００７１】［被写体抽出部４１の構成・動作］被写体
抽出部４１は、座標指定部４０により指定された２次元
座標位置に対応する被写体までの距離を読み取り、この
距離に存在する被写体を抽出するものである。これによ
り、２次元座標位置という視覚に訴える情報に基づいて
被写体が抽出されるので、従来の技術と比較して格段に
直観的な被写体の抽出が可能となる。しかし、これの処
理だけでは図１９で説明した従来の技術の問題点を解消
できないため、以下において所望の被写体のみを抽出す
ることを可能とする被写体抽出部４１の動作について説
明する。
抽出部４１は、座標指定部４０により指定された２次元
座標位置に対応する被写体までの距離を読み取り、この
距離に存在する被写体を抽出するものである。これによ
り、２次元座標位置という視覚に訴える情報に基づいて
被写体が抽出されるので、従来の技術と比較して格段に
直観的な被写体の抽出が可能となる。しかし、これの処
理だけでは図１９で説明した従来の技術の問題点を解消
できないため、以下において所望の被写体のみを抽出す
ることを可能とする被写体抽出部４１の動作について説
明する。
【００７２】図１０は、このような動作を説明するため
の説明図である。図１０に示すように、指定された２次
元座標位置を点Ｐ、また、この点Ｐの上下左右の４近傍
内の点を点Ｐｉ（ｉ＝１，２，３，４）とする。ここ
で、点Ｐｉと点Ｐとの画像における距離は、1画素であ
っても２以上の或る一定数の画素であっても構わない。
点Ｐが指定されると、点Ｐにおける被写体までの距離と
点Ｐｉにおける被写体までの距離との類否を判定し、両
者が類似と判定されれば点Ｐｉを被写体領域として統合
する。ここで、類否判定の基準として、点Ｐと点Ｐｉと
の距離の差分を用いる。そして、この差分が予め定めら
れた閾値ｄ以下であれば、点Ｐｉを被写体領域として統
合する。
の説明図である。図１０に示すように、指定された２次
元座標位置を点Ｐ、また、この点Ｐの上下左右の４近傍
内の点を点Ｐｉ（ｉ＝１，２，３，４）とする。ここ
で、点Ｐｉと点Ｐとの画像における距離は、1画素であ
っても２以上の或る一定数の画素であっても構わない。
点Ｐが指定されると、点Ｐにおける被写体までの距離と
点Ｐｉにおける被写体までの距離との類否を判定し、両
者が類似と判定されれば点Ｐｉを被写体領域として統合
する。ここで、類否判定の基準として、点Ｐと点Ｐｉと
の距離の差分を用いる。そして、この差分が予め定めら
れた閾値ｄ以下であれば、点Ｐｉを被写体領域として統
合する。
【００７３】その結果、例えば、図１０（ａ）において
は、点Ｐ１，Ｐ３，Ｐ４の３点が、新たに被写体領域と
して統合される。次に、新たに統合された点Ｐｉ（図１
０（ａ）における点Ｐ１，Ｐ３，Ｐ４）を開始点とし、
同様に距離の類否を判定し、新たな被写体領域を統合す
る。このような処理を順次実行し、新たに統合される４
近傍内の点が存在しなくなれば、処理を終了する。
は、点Ｐ１，Ｐ３，Ｐ４の３点が、新たに被写体領域と
して統合される。次に、新たに統合された点Ｐｉ（図１
０（ａ）における点Ｐ１，Ｐ３，Ｐ４）を開始点とし、
同様に距離の類否を判定し、新たな被写体領域を統合す
る。このような処理を順次実行し、新たに統合される４
近傍内の点が存在しなくなれば、処理を終了する。
【００７４】以上により、最終的に図１０（ｂ）に白抜
きで示すように被写体領域が抽出される。さらに、撮影
又は入力された前記画像とこの被写体領域とを照合する
ことにより、図１０（ｃ）に示すように、２次元座標位
置で指定した点付近の被写体のみが抽出された画像が生
成される。
きで示すように被写体領域が抽出される。さらに、撮影
又は入力された前記画像とこの被写体領域とを照合する
ことにより、図１０（ｃ）に示すように、２次元座標位
置で指定した点付近の被写体のみが抽出された画像が生
成される。
【００７５】ところで、距離の差分の閾値ｄは、ユーザ
ーにより手動で設定しても、画像処理装置1において自
動的に決定しても構わないが、従来の技術で説明したよ
うに、ユーザーにとっては実際の被写体までの距離は直
観的に把握し難いので、距離の差分の閾値ｄを手動で設
定するのは困難である。従って、画像全体の距離データ
を統計的に解析し、得られた統計量に基づいてこの閾値
ｄを自動的に決定する方式が好適である。
ーにより手動で設定しても、画像処理装置1において自
動的に決定しても構わないが、従来の技術で説明したよ
うに、ユーザーにとっては実際の被写体までの距離は直
観的に把握し難いので、距離の差分の閾値ｄを手動で設
定するのは困難である。従って、画像全体の距離データ
を統計的に解析し、得られた統計量に基づいてこの閾値
ｄを自動的に決定する方式が好適である。
【００７６】以下、その動作の一例を説明する。まず、
図１１に示すように、被写体までの距離のヒストグラム
をとる。次に、このヒストグラムを基に、クラスタリン
グを行うことにより距離データを任意のＮ個のクラスタ
Ｃｊ（ｊ＝１，…，Ｎ）に分類する。例えば、図１１は
被写体までの距離が３つのクラスタに分類されたことを
示している。ここで、クラスタリングの方法は、公知技
術である階層的クラスタリング法、Ｋ−means法などを
用いれば良い。
図１１に示すように、被写体までの距離のヒストグラム
をとる。次に、このヒストグラムを基に、クラスタリン
グを行うことにより距離データを任意のＮ個のクラスタ
Ｃｊ（ｊ＝１，…，Ｎ）に分類する。例えば、図１１は
被写体までの距離が３つのクラスタに分類されたことを
示している。ここで、クラスタリングの方法は、公知技
術である階層的クラスタリング法、Ｋ−means法などを
用いれば良い。
【００７７】次に、各クラスタＣｊにおいて距離データ
の統計量を算出する。例えば、各クラスタにおける距離
データは正規分布を示すと仮定することにより、クラス
タＣｊに対して距離データの平均値ｍｊ及び標準偏差σ
ｊを各々算出し、これらを前述の統計量として用いるこ
とができる。最後に、上記の手順により得られた統計量
に基づいて閾値ｄを決定する。例えば、閾値ｄは各クラ
スタの標準偏差を用いて（１）式と決定される。
の統計量を算出する。例えば、各クラスタにおける距離
データは正規分布を示すと仮定することにより、クラス
タＣｊに対して距離データの平均値ｍｊ及び標準偏差σ
ｊを各々算出し、これらを前述の統計量として用いるこ
とができる。最後に、上記の手順により得られた統計量
に基づいて閾値ｄを決定する。例えば、閾値ｄは各クラ
スタの標準偏差を用いて（１）式と決定される。
【００７８】
【数１】
【００７９】以上の構成・動作により、入力された画像
において所望の被写体に含まれる２次元座標を指定する
という極めて直観的な指示に基づいて、入力又は撮影さ
れた画像から所望の被写体のみを抽出することができ
る。
において所望の被写体に含まれる２次元座標を指定する
という極めて直観的な指示に基づいて、入力又は撮影さ
れた画像から所望の被写体のみを抽出することができ
る。
【００８０】本発明の第二の実施の形態を図１２ないし
図１７に基づいて説明する。図１ないし図１１で示した
部分と同一又は相当する部分は同一符号を用いて示し、
説明も省略する。
図１７に基づいて説明する。図１ないし図１１で示した
部分と同一又は相当する部分は同一符号を用いて示し、
説明も省略する。
【００８１】本実施の形態の画像処理装置１は、基本的
には、図３に示した第一の実施の形態の構成と同様であ
るが、距離測定部３９を視差検出手段としての視差検出
部４２に置き換えたものである。この視差検出部４２は
主制御部３４，フレームメモリ３５及び被写体抽出部４
１に接続されている。
には、図３に示した第一の実施の形態の構成と同様であ
るが、距離測定部３９を視差検出手段としての視差検出
部４２に置き換えたものである。この視差検出部４２は
主制御部３４，フレームメモリ３５及び被写体抽出部４
１に接続されている。
【００８２】ここで、図１２に示す本実施の形態の画像
処理装置１とその前提となる基本ハードウェア構成を示
した図１及び図２との対応関係も、基本的には、図３で
説明した場合と同様であるが、視差検出部４２はＣＰＵ
１１により構成されている。
処理装置１とその前提となる基本ハードウェア構成を示
した図１及び図２との対応関係も、基本的には、図３で
説明した場合と同様であるが、視差検出部４２はＣＰＵ
１１により構成されている。
【００８３】このような構成を有する本実施の形態の画
像処理装置１において、信号処理部３２は、撮像部３１
で撮像され又はＩ／Ｆ３６を介して外部から入力され
た、少なくとも２枚の視差のある画像に対して所定の処
理を施す。また、主制御部３４は画像処理装置を構成す
る各部を集中的に制御し、フレームメモリ３５はメモリ
制御部３３の命令により、少なくとも２枚分の画像信号
を蓄積する。また、表示部３７はＩ／Ｆ３６を介して供
給された画像信号を表示し、外部記憶部３８はＩ／Ｆ３
６を介して画像信号等の種々の信号を読み書きする。ま
た、視差検出部４２は、少なくとも２枚の視差のある画
像に対して視差を検出するが、この動作の詳細について
は後述する。
像処理装置１において、信号処理部３２は、撮像部３１
で撮像され又はＩ／Ｆ３６を介して外部から入力され
た、少なくとも２枚の視差のある画像に対して所定の処
理を施す。また、主制御部３４は画像処理装置を構成す
る各部を集中的に制御し、フレームメモリ３５はメモリ
制御部３３の命令により、少なくとも２枚分の画像信号
を蓄積する。また、表示部３７はＩ／Ｆ３６を介して供
給された画像信号を表示し、外部記憶部３８はＩ／Ｆ３
６を介して画像信号等の種々の信号を読み書きする。ま
た、視差検出部４２は、少なくとも２枚の視差のある画
像に対して視差を検出するが、この動作の詳細について
は後述する。
【００８４】次に、本実施の形態に係る画像処理方法を
図１３のフローチャートを参照して説明する。まず、ユ
ーザーは撮像部３１により撮影された画像、又は、予め
撮影されＩ／Ｆ３６を介して供給された、少なくとも２
枚の視差のある画像を入力する（ステップＳ１１）。次
に、視差検出部４２により、この２枚の視差のある画像
における視差を検出する（ステップＳ１２）。ここで、
視差検出部４２は、濃度相関によるブロックマッチン
グ、オプティカル・フローなどの従来技術を適用するこ
とにより実現される。以下においては、濃度相関による
ブロックマッチングを適用するものと仮定して、視差検
出部４２の構成・動作を説明する。
図１３のフローチャートを参照して説明する。まず、ユ
ーザーは撮像部３１により撮影された画像、又は、予め
撮影されＩ／Ｆ３６を介して供給された、少なくとも２
枚の視差のある画像を入力する（ステップＳ１１）。次
に、視差検出部４２により、この２枚の視差のある画像
における視差を検出する（ステップＳ１２）。ここで、
視差検出部４２は、濃度相関によるブロックマッチン
グ、オプティカル・フローなどの従来技術を適用するこ
とにより実現される。以下においては、濃度相関による
ブロックマッチングを適用するものと仮定して、視差検
出部４２の構成・動作を説明する。
【００８５】［視差検出部４２の構成・動作］図１４は
視差検出部４２の構成の一例を示す図である。図１４に
示すように、視差検出部４２は特徴点設定部４２１、相
関演算部４２２により構成される。図１２のフレームメ
モリ３５には、視差を有する２枚の画像が格納されてお
り、各々画像１、画像２と呼ぶこととする。特徴点設定
部４２１は画像１において特徴点の位置を決定する。ま
た、特徴点を中心とする（２Ｎ＋１）(２Ｐ＋１)のブロ
ックを生成し、このブロック内の濃淡パターンを抽出す
る。ここで、特徴点の位置は、1又は一定数の画素毎に
選択する、角（corner）のように画像の濃度パターンが
特徴的である箇所を抽出するなどの方法により決定され
る。相関演算部４２２は、画像１において作成されたブ
ロックの濃淡パターンとほぼ一致する箇所を、画像２に
おいて相関演算により検出し、これを対応点と決定す
る。
視差検出部４２の構成の一例を示す図である。図１４に
示すように、視差検出部４２は特徴点設定部４２１、相
関演算部４２２により構成される。図１２のフレームメ
モリ３５には、視差を有する２枚の画像が格納されてお
り、各々画像１、画像２と呼ぶこととする。特徴点設定
部４２１は画像１において特徴点の位置を決定する。ま
た、特徴点を中心とする（２Ｎ＋１）(２Ｐ＋１)のブロ
ックを生成し、このブロック内の濃淡パターンを抽出す
る。ここで、特徴点の位置は、1又は一定数の画素毎に
選択する、角（corner）のように画像の濃度パターンが
特徴的である箇所を抽出するなどの方法により決定され
る。相関演算部４２２は、画像１において作成されたブ
ロックの濃淡パターンとほぼ一致する箇所を、画像２に
おいて相関演算により検出し、これを対応点と決定す
る。
【００８６】ここで、図１５に基づいて濃度相関による
ブロックマッチングにより対応点を検出する動作につい
て具体的に説明する。図１５に示すように、（２Ｎ＋
１）(２Ｐ＋１)のブロックを用い、ブロックマッチング
で、画像１におけるの特徴点（ｍ，ｎ）と、画像２にお
ける点（ｍ＋ｄｍ，ｎ＋ｄｎ）の正規化相互相関値Ｓ
は、次式（２）により計算される。ここで、（２）式に
おいて、Ｉ１(ｘ，ｙ)：画像１の点(ｘ，ｙ)における濃
度、Ｉ２(ｘ，ｙ)：画像２の点(ｘ，ｙ)における濃度で
ある。
ブロックマッチングにより対応点を検出する動作につい
て具体的に説明する。図１５に示すように、（２Ｎ＋
１）(２Ｐ＋１)のブロックを用い、ブロックマッチング
で、画像１におけるの特徴点（ｍ，ｎ）と、画像２にお
ける点（ｍ＋ｄｍ，ｎ＋ｄｎ）の正規化相互相関値Ｓ
は、次式（２）により計算される。ここで、（２）式に
おいて、Ｉ１(ｘ，ｙ)：画像１の点(ｘ，ｙ)における濃
度、Ｉ２(ｘ，ｙ)：画像２の点(ｘ，ｙ)における濃度で
ある。
【００８７】
【数２】
【００８８】全ての特徴点(ｍ，ｎ)に対して、以上の計
算に基づき正規化相互相関値Ｓが最大となる画像２にお
ける点を求め、かつ、この正規化相互相関値Ｓが予め定
められた閾値以上であれば、その点を対応点とすればよ
い。その結果、全ての特徴点に対して視差を示すベクト
ル(ｄｍ，ｄｎ)を得ることができる。
算に基づき正規化相互相関値Ｓが最大となる画像２にお
ける点を求め、かつ、この正規化相互相関値Ｓが予め定
められた閾値以上であれば、その点を対応点とすればよ
い。その結果、全ての特徴点に対して視差を示すベクト
ル(ｄｍ，ｄｎ)を得ることができる。
【００８９】図１３において、視差の検出が終了する
と、画像において被写体が写された領域を示す２次元座
標位置を指定させる（ステップＳ１３）。このステップ
Ｓ１３の作業は、座標指定部４０により行われるが、そ
の動作は第一の実施の形態で説明した通りであり、説明
を省略する。
と、画像において被写体が写された領域を示す２次元座
標位置を指定させる（ステップＳ１３）。このステップ
Ｓ１３の作業は、座標指定部４０により行われるが、そ
の動作は第一の実施の形態で説明した通りであり、説明
を省略する。
【００９０】２次元座標位置の指定が終了すると、２次
元座標位置付近の視差に基づいて被写体を抽出する（ス
テップＳ１４）。このステップＳ３の処理は、第一の実
施の形態の場合と同様に、被写体抽出部４１により行わ
れるが、その動作は第一の実施の形態の場合とはやや異
なる。そこで、本実施の形態における被写体抽出部４１
の構成・動作を説明する。
元座標位置付近の視差に基づいて被写体を抽出する（ス
テップＳ１４）。このステップＳ３の処理は、第一の実
施の形態の場合と同様に、被写体抽出部４１により行わ
れるが、その動作は第一の実施の形態の場合とはやや異
なる。そこで、本実施の形態における被写体抽出部４１
の構成・動作を説明する。
【００９１】［被写体抽出部４１の構成・動作］図１６
は本実施の形態における被写体抽出部４１の動作の一例
を示す説明図である。まず、図１６（ａ）（ｂ）は入力
された２枚の視差を有する画像を示す図である。図１６
（ｃ）は視差検出部４２により検出された、この２枚の
画像における視差と、座標指定部４０により指定された
２次元座標位置である点Ｐとを示す図である。図１６
（ｄ）は、同図（ｃ）において点Ｐ付近を拡大した図で
あり、点Ｐにおける視差を示すベクトルをｖ、点Ｐの上
下左右の４近傍内の点Ｐｉ(ｉ＝１，２，３，４)におけ
る視差を示すベクトルをｖｉとする。ここで、点Ｐｉと
点Ｐとの画像における距離は、視差検出部４２が検出し
た特徴点の間隔と一致するが、この間隔は1画素であっ
ても２以上のある一定数の画素であっても構わない。
は本実施の形態における被写体抽出部４１の動作の一例
を示す説明図である。まず、図１６（ａ）（ｂ）は入力
された２枚の視差を有する画像を示す図である。図１６
（ｃ）は視差検出部４２により検出された、この２枚の
画像における視差と、座標指定部４０により指定された
２次元座標位置である点Ｐとを示す図である。図１６
（ｄ）は、同図（ｃ）において点Ｐ付近を拡大した図で
あり、点Ｐにおける視差を示すベクトルをｖ、点Ｐの上
下左右の４近傍内の点Ｐｉ(ｉ＝１，２，３，４)におけ
る視差を示すベクトルをｖｉとする。ここで、点Ｐｉと
点Ｐとの画像における距離は、視差検出部４２が検出し
た特徴点の間隔と一致するが、この間隔は1画素であっ
ても２以上のある一定数の画素であっても構わない。
【００９２】点Ｐが指定されると、ベクトルｖとベクト
ルｖｉとの類否を判定し、両者が類似と判定されれば点
Ｐｉを被写体領域として統合する。ここで、類否判定の
基準として、ベクトルｖとベクトルｖｉとの差分ベクト
ルｖｉ−ｖのユークリッド距離、即ち、Ｌ２ノルム‖ｖ
ｉ−ｖ‖を用いる。そして、‖ｖｉ−ｖ‖が予め定めら
れた閾値Ｄ以下であれば、点Ｐｉを被写体領域として統
合する。その結果、例えば、図１６（ｄ）においては、
点Ｐ１，Ｐ３，Ｐ４の３点が、新たに被写体領域として
統合される。次に、新たに統合された点Ｐｉ（図１６
（ｄ）における点Ｐ１，Ｐ３，Ｐ４）を開始点とし、同
様に視差の類否を判定し、新たな被写体領域を統合す
る。このような処理を順次実行し、新たに統合される４
近傍内の点が存在しなくなれば、処理を終了する。
ルｖｉとの類否を判定し、両者が類似と判定されれば点
Ｐｉを被写体領域として統合する。ここで、類否判定の
基準として、ベクトルｖとベクトルｖｉとの差分ベクト
ルｖｉ−ｖのユークリッド距離、即ち、Ｌ２ノルム‖ｖ
ｉ−ｖ‖を用いる。そして、‖ｖｉ−ｖ‖が予め定めら
れた閾値Ｄ以下であれば、点Ｐｉを被写体領域として統
合する。その結果、例えば、図１６（ｄ）においては、
点Ｐ１，Ｐ３，Ｐ４の３点が、新たに被写体領域として
統合される。次に、新たに統合された点Ｐｉ（図１６
（ｄ）における点Ｐ１，Ｐ３，Ｐ４）を開始点とし、同
様に視差の類否を判定し、新たな被写体領域を統合す
る。このような処理を順次実行し、新たに統合される４
近傍内の点が存在しなくなれば、処理を終了する。
【００９３】以上の構成・処理により、第一の実施の形
態の場合と同様に、最終的に図１０（ｃ）に示した場合
のように、２次元座標位置で指定した点付近の被写体の
みが抽出された画像が生成される。
態の場合と同様に、最終的に図１０（ｃ）に示した場合
のように、２次元座標位置で指定した点付近の被写体の
みが抽出された画像が生成される。
【００９４】ところで、視差の差分ベクトルのＬ２ノル
ムの閾値Ｄは、ユーザーにより手動で設定しても、画像
処理装置1において自動的に決定しても構わないが、被
写体までの距離と同様に、ユーザーにとって視差は直観
的に把握し難いので、該閾値Ｄを手動で設定するのは困
難である。従って、画像全体の視差データを統計的に解
析し、得られた統計量に基づいて該閾値Ｄを自動的に決
定する方式が好適である。
ムの閾値Ｄは、ユーザーにより手動で設定しても、画像
処理装置1において自動的に決定しても構わないが、被
写体までの距離と同様に、ユーザーにとって視差は直観
的に把握し難いので、該閾値Ｄを手動で設定するのは困
難である。従って、画像全体の視差データを統計的に解
析し、得られた統計量に基づいて該閾値Ｄを自動的に決
定する方式が好適である。
【００９５】以下において、その動作の一例を説明す
る。まず、図１７に示すように、画像における視差に対
して、横軸を視差の横方向の成分ｄｍ、縦軸を視差の縦
方向の成分ｄｎとする分布をとる。次に、このような分
布を基にクラスタリングを行うことにより、視差データ
を任意のＮ個のクラスタＣｊ(ｊ＝１，…，Ｎ)に分類す
る。例えば、図１７は視差データが３つのクラスタに分
類されたことを示している。ここで、クラスタリングの
方法は、公知技術である階層的クラスタリング法、Ｋ−
means法などを用いれば良い。次に、各クラスタＣｊに
おいて視差データの統計量を算出する。例えば、各クラ
スタにおける視差データは等方的な２次元正規分布を示
すと仮定することにより、クラスタＣｊに対して視差デ
ータの平均ベクトルμｊ、ｄｍ軸方向の標準偏差σｍ
ｊ、及び、ｄｎ軸方向の標準偏差σｎｊを各々算出し、
これらを上述の十の統計量として用いることができる。
最後に、このような手順により得られた統計量に基づき
閾値Ｄを決定する。例えば、この閾値Ｄは各クラスタに
おける視差の標準偏差を用いて、（３）式により決定さ
れる。
る。まず、図１７に示すように、画像における視差に対
して、横軸を視差の横方向の成分ｄｍ、縦軸を視差の縦
方向の成分ｄｎとする分布をとる。次に、このような分
布を基にクラスタリングを行うことにより、視差データ
を任意のＮ個のクラスタＣｊ(ｊ＝１，…，Ｎ)に分類す
る。例えば、図１７は視差データが３つのクラスタに分
類されたことを示している。ここで、クラスタリングの
方法は、公知技術である階層的クラスタリング法、Ｋ−
means法などを用いれば良い。次に、各クラスタＣｊに
おいて視差データの統計量を算出する。例えば、各クラ
スタにおける視差データは等方的な２次元正規分布を示
すと仮定することにより、クラスタＣｊに対して視差デ
ータの平均ベクトルμｊ、ｄｍ軸方向の標準偏差σｍ
ｊ、及び、ｄｎ軸方向の標準偏差σｎｊを各々算出し、
これらを上述の十の統計量として用いることができる。
最後に、このような手順により得られた統計量に基づき
閾値Ｄを決定する。例えば、この閾値Ｄは各クラスタに
おける視差の標準偏差を用いて、（３）式により決定さ
れる。
【００９６】
【数３】
【００９７】以上の構成・動作により、入力された画像
において所望の被写体に含まれる２次元座標を指定する
という極めて直観的な指示に基づいて、入力又は撮影さ
れた画像から所望の被写体のみを抽出することができ
る。
において所望の被写体に含まれる２次元座標を指定する
という極めて直観的な指示に基づいて、入力又は撮影さ
れた画像から所望の被写体のみを抽出することができ
る。
【００９８】本発明の第三の実施の形態を図１８に基づ
いて説明する。本実施の形態は、前述の第一，第二の実
施の形態による画像処理方法をコンピュータプログラム
として記述した場合の適用例を示している。
いて説明する。本実施の形態は、前述の第一，第二の実
施の形態による画像処理方法をコンピュータプログラム
として記述した場合の適用例を示している。
【００９９】例えば、図１８（ａ）に示すように、当該
コンピュータプログラムを格納した記録媒体１７１をコ
ンピュータとしても機能する画像処理装置１に装着し、
画像処理装置１に当該コンピュータプログラムをインス
トールしてプログラムを実行させることにより、上述し
たような画像処理を容易に実現することができる。
コンピュータプログラムを格納した記録媒体１７１をコ
ンピュータとしても機能する画像処理装置１に装着し、
画像処理装置１に当該コンピュータプログラムをインス
トールしてプログラムを実行させることにより、上述し
たような画像処理を容易に実現することができる。
【０１００】また、図１８（ｂ）に示すように、当該コ
ンピュータプログラムを格納したＣＤ−ＲＯＭ１７２を
パーソナルコンピュータ（以下、“ＰＣ”と略す）１７
３に装着し、当該コンピュータプログラムをＰＣ１７３
にインストールして実行させることによっても、上述し
たような画像処理を容易に実現することができる。な
お、ＰＣ１７３へ装着され当該コンピュータプログラム
を格納する記録媒体としては、ＣＤ−ＲＯＭ１７２に限
らず、例えばＤＶＤ−ＲＯＭ等であってもよいことはい
うまでもない。
ンピュータプログラムを格納したＣＤ−ＲＯＭ１７２を
パーソナルコンピュータ（以下、“ＰＣ”と略す）１７
３に装着し、当該コンピュータプログラムをＰＣ１７３
にインストールして実行させることによっても、上述し
たような画像処理を容易に実現することができる。な
お、ＰＣ１７３へ装着され当該コンピュータプログラム
を格納する記録媒体としては、ＣＤ−ＲＯＭ１７２に限
らず、例えばＤＶＤ−ＲＯＭ等であってもよいことはい
うまでもない。
【０１０１】前述した画像処理方法を当該コンピュータ
プログラムの実行により実現する場合の具体例を説明す
る。この場合には、画像処理装置1又はＰＣ１７３は、
内蔵されたメモリやハードディスクなどの記憶装置及び
ＣＤ−ＲＯＭ等の記録媒体に格納され、又は電気通信回
線を介してサーバーなどの他の計算機の記憶装置等に格
納された画像を、ＰＣ１７３に搭載された各種インター
フェースを介して信号処理部３２へ取り込む。
プログラムの実行により実現する場合の具体例を説明す
る。この場合には、画像処理装置1又はＰＣ１７３は、
内蔵されたメモリやハードディスクなどの記憶装置及び
ＣＤ−ＲＯＭ等の記録媒体に格納され、又は電気通信回
線を介してサーバーなどの他の計算機の記憶装置等に格
納された画像を、ＰＣ１７３に搭載された各種インター
フェースを介して信号処理部３２へ取り込む。
【０１０２】また、前述した被写体までの距離について
は、予め距離画像を作成しておき、該記録媒体の内部に
記録しておく。そして、ユーザーは画面上において、そ
の画像に対応する距離画像を選択することにより、被写
体までの距離をＰＣ１７３に入力することができる。一
方、距離画像に関する情報は、対応する画像におけるヘ
ッダ情報として記録しておくこともできる。例えば、当
該画像のフォーマットとしてＥｘＩ／Ｆ（Exchangeable
image file format）を採用する場合、そのヘッダ情報
中のMaker Noteと呼ばれる、製造者が自由に利用できる
フィールドに当該距離画像のファイル名やその存在場所
を記録することができる。そして、ＰＣ１７３はこのヘ
ッダ情報を読み取ることにより、当該距離画像を入力す
ることができる。
は、予め距離画像を作成しておき、該記録媒体の内部に
記録しておく。そして、ユーザーは画面上において、そ
の画像に対応する距離画像を選択することにより、被写
体までの距離をＰＣ１７３に入力することができる。一
方、距離画像に関する情報は、対応する画像におけるヘ
ッダ情報として記録しておくこともできる。例えば、当
該画像のフォーマットとしてＥｘＩ／Ｆ（Exchangeable
image file format）を採用する場合、そのヘッダ情報
中のMaker Noteと呼ばれる、製造者が自由に利用できる
フィールドに当該距離画像のファイル名やその存在場所
を記録することができる。そして、ＰＣ１７３はこのヘ
ッダ情報を読み取ることにより、当該距離画像を入力す
ることができる。
【０１０３】また、前述の視差の検出については、視差
検出部４２の動作を、ＰＣ１７３内のＣＰＵによりその
まま実現させることができる。
検出部４２の動作を、ＰＣ１７３内のＣＰＵによりその
まま実現させることができる。
【０１０４】また、前述の２次元座標の指定は、ＰＣ１
７３のキーボードにおけるカーソルキーなどの所定のキ
ーを操作した後、改行キーを押下し、又は、画面上に表
示されたマウスカーソルをマウスで動かした後、左ボタ
ンをクリックすることにより遂行される。また、２次元
座標位置を数値入力により指定する場合は、テンキーな
どが利用できる。
７３のキーボードにおけるカーソルキーなどの所定のキ
ーを操作した後、改行キーを押下し、又は、画面上に表
示されたマウスカーソルをマウスで動かした後、左ボタ
ンをクリックすることにより遂行される。また、２次元
座標位置を数値入力により指定する場合は、テンキーな
どが利用できる。
【０１０５】さらに、前述の被写体の抽出については、
被写体抽出部４１の動作をＰＣ１７３内のＣＰＵにより
そのまま実現させることができる。
被写体抽出部４１の動作をＰＣ１７３内のＣＰＵにより
そのまま実現させることができる。
【０１０６】なお、本発明は、前述の実施の形態で例示
した構成・動作例に減縮されるものでないことは言うま
でもない。例えば、第一の実施の形態において、被写体
までの距離の類否判定の尺度として距離の差分を用いた
が、近傍の点Ｐｉにおける距離が点Ｐと同一のクラスタ
に属するならば被写体領域として統合するなど、これ以
外の尺度を適用しても構わない。また、各クラスタにお
ける距離データの分布が正規分布であると仮定して統計
量を算出する手順を説明したが、もちろんこれ以外の分
布を用いても構わない。
した構成・動作例に減縮されるものでないことは言うま
でもない。例えば、第一の実施の形態において、被写体
までの距離の類否判定の尺度として距離の差分を用いた
が、近傍の点Ｐｉにおける距離が点Ｐと同一のクラスタ
に属するならば被写体領域として統合するなど、これ以
外の尺度を適用しても構わない。また、各クラスタにお
ける距離データの分布が正規分布であると仮定して統計
量を算出する手順を説明したが、もちろんこれ以外の分
布を用いても構わない。
【０１０７】また、第二の実施の形態において、視差の
類否判定の尺度として差分ベクトルのＬ２ノルムを用い
たが、２次元座標位置近傍の点Ｐｉにおける視差が点Ｐ
と同一のクラスタに属するならば被写体領域として統合
するなど、これ以外の尺度を適用しても構わない。ま
た、各クラスタにおける視差データの分布が正規分布で
あると仮定して統計量を算出する手順を説明したが、も
ちろんこれ以外の分布を用いても構わない。
類否判定の尺度として差分ベクトルのＬ２ノルムを用い
たが、２次元座標位置近傍の点Ｐｉにおける視差が点Ｐ
と同一のクラスタに属するならば被写体領域として統合
するなど、これ以外の尺度を適用しても構わない。ま
た、各クラスタにおける視差データの分布が正規分布で
あると仮定して統計量を算出する手順を説明したが、も
ちろんこれ以外の分布を用いても構わない。
【０１０８】
【発明の効果】請求項１記載の発明によれば、指定され
た２次元座標位置付近の距離に基づいて、被写体を抽出
するようにしたので、入力された画像において所望の被
写体に含まれる２次元座標を指定するという極めて直観
的な指示に基づいて、入力又は撮影された画像から被写
体を抽出することができる。
た２次元座標位置付近の距離に基づいて、被写体を抽出
するようにしたので、入力された画像において所望の被
写体に含まれる２次元座標を指定するという極めて直観
的な指示に基づいて、入力又は撮影された画像から被写
体を抽出することができる。
【０１０９】請求項２記載の発明によれば、請求項１記
載の画像処理方法において、指定された２次元座標位置
における距離と当該２次元座標位置の近傍の２次元座標
位置における距離との類否に基づいて、抽出すべき被写
体領域の拡大の可否を判定するようにしたので、入力又
は撮影された画像から、所望の被写体のみを抽出するこ
とができる。
載の画像処理方法において、指定された２次元座標位置
における距離と当該２次元座標位置の近傍の２次元座標
位置における距離との類否に基づいて、抽出すべき被写
体領域の拡大の可否を判定するようにしたので、入力又
は撮影された画像から、所望の被写体のみを抽出するこ
とができる。
【０１１０】請求項３記載の発明によれば、請求項２記
載の画像処理方法において、被写体領域の拡大の可否を
画像における被写体までの距離の統計量に基づき判定す
るようにしたので、さらに容易にかつ高い信頼性をもっ
て、入力又は撮影された画像から、所望の被写体のみを
抽出することができる。
載の画像処理方法において、被写体領域の拡大の可否を
画像における被写体までの距離の統計量に基づき判定す
るようにしたので、さらに容易にかつ高い信頼性をもっ
て、入力又は撮影された画像から、所望の被写体のみを
抽出することができる。
【０１１１】請求項４記載の発明によれば、指定された
２次元座標位置付近の視差に基づいて、被写体を抽出す
るようにしたので、入力された画像において所望の被写
体に含まれる２次元座標を指定するという極めて直観的
な指示に基づいて、入力又は撮影された画像から被写体
を抽出することができる。
２次元座標位置付近の視差に基づいて、被写体を抽出す
るようにしたので、入力された画像において所望の被写
体に含まれる２次元座標を指定するという極めて直観的
な指示に基づいて、入力又は撮影された画像から被写体
を抽出することができる。
【０１１２】請求項５記載の発明によれば、請求項４記
載の画像処理方法において、指定された２次元座標位置
における視差と当該２次元座標位置の近傍の２次元座標
位置における視差との類否に基づいて、抽出すべき被写
体領域の拡大の可否を判定するようにしたので、入力又
は撮影された画像から、所望の被写体のみを抽出するこ
とができる。
載の画像処理方法において、指定された２次元座標位置
における視差と当該２次元座標位置の近傍の２次元座標
位置における視差との類否に基づいて、抽出すべき被写
体領域の拡大の可否を判定するようにしたので、入力又
は撮影された画像から、所望の被写体のみを抽出するこ
とができる。
【０１１３】請求項６記載の発明によれば、請求項５記
載の画像処理方法において、被写体領域の拡大の可否
を、画像における被写体までの視差の統計量に基づいて
判定するようにしたので、さらに容易にかつ高い信頼性
をもって、入力又は撮影された画像から、被写体を抽出
することができる。
載の画像処理方法において、被写体領域の拡大の可否
を、画像における被写体までの視差の統計量に基づいて
判定するようにしたので、さらに容易にかつ高い信頼性
をもって、入力又は撮影された画像から、被写体を抽出
することができる。
【０１１４】請求項７記載の発明によれば、指定された
２次元座標位置付近の距離に基づいて、被写体を抽出す
るようにしたので、入力された画像において所望の被写
体に含まれる２次元座標を指定するという極めて直観的
な指示に基づいて、入力又は撮影された画像から被写体
を抽出することができる。
２次元座標位置付近の距離に基づいて、被写体を抽出す
るようにしたので、入力された画像において所望の被写
体に含まれる２次元座標を指定するという極めて直観的
な指示に基づいて、入力又は撮影された画像から被写体
を抽出することができる。
【０１１５】請求項８記載の発明によれば、請求項７記
載の画像処理装置において、指定された２次元座標位置
における距離と当該２次元座標位置の近傍の２次元座標
位置における距離との類否に基づいて、抽出すべき被写
体領域の拡大の可否を判定するようにしたので、入力又
は撮影された画像から、所望の被写体のみを抽出するこ
とができる。
載の画像処理装置において、指定された２次元座標位置
における距離と当該２次元座標位置の近傍の２次元座標
位置における距離との類否に基づいて、抽出すべき被写
体領域の拡大の可否を判定するようにしたので、入力又
は撮影された画像から、所望の被写体のみを抽出するこ
とができる。
【０１１６】請求項９記載の発明によれば、請求項８記
載の画像処理装置において、被写体領域の拡大の可否
を、画像における被写体までの距離の統計量に基づき判
定するようにしたので、さらに容易にかつ高い信頼性を
もって、入力又は撮影された画像から、所望の被写体の
みを抽出することができる。
載の画像処理装置において、被写体領域の拡大の可否
を、画像における被写体までの距離の統計量に基づき判
定するようにしたので、さらに容易にかつ高い信頼性を
もって、入力又は撮影された画像から、所望の被写体の
みを抽出することができる。
【０１１７】請求項１０記載の発明によれば、指定され
た２次元座標位置付近の視差に基づいて、被写体を抽出
するようにしたので、入力された画像において所望の被
写体に含まれる２次元座標を指定するという極めて直観
的な指示に基づいて、入力又は撮影された画像から被写
体を抽出することができる。
た２次元座標位置付近の視差に基づいて、被写体を抽出
するようにしたので、入力された画像において所望の被
写体に含まれる２次元座標を指定するという極めて直観
的な指示に基づいて、入力又は撮影された画像から被写
体を抽出することができる。
【０１１８】請求項１１記載の発明によれば、請求項１
０記載の画像処理装置において、指定された２次元座標
位置における視差と当該２次元座標位置の近傍の２次元
座標位置における視差との類否に基づいて、抽出すべき
被写体領域の拡大の可否を判定するようにしたので、入
力又は撮影された画像から、所望の被写体のみを抽出す
ることができる。
０記載の画像処理装置において、指定された２次元座標
位置における視差と当該２次元座標位置の近傍の２次元
座標位置における視差との類否に基づいて、抽出すべき
被写体領域の拡大の可否を判定するようにしたので、入
力又は撮影された画像から、所望の被写体のみを抽出す
ることができる。
【０１１９】請求項１２記載の発明によれば、請求項１
１記載の画像処理装置において、被写体領域の拡大の可
否を、画像における被写体までの視差の統計量に基づい
て判定するようにしたので、さらに容易にかつ高い信頼
性をもって、入力又は撮影された画像から、被写体を抽
出することができる。
１記載の画像処理装置において、被写体領域の拡大の可
否を、画像における被写体までの視差の統計量に基づい
て判定するようにしたので、さらに容易にかつ高い信頼
性をもって、入力又は撮影された画像から、被写体を抽
出することができる。
【０１２０】請求項１３記載の発明によれば、請求項７
ないし１２の何れか一記載の画像処理装置において、指
定手段が２次元座標位置をポインティングする手段を具
備することにより、２次元座標位置を直観的に指定でき
る。
ないし１２の何れか一記載の画像処理装置において、指
定手段が２次元座標位置をポインティングする手段を具
備することにより、２次元座標位置を直観的に指定でき
る。
【０１２１】請求項１４記載の発明によれば、請求項７
ないし１２の何れか一記載の画像処理装置において、指
定手段が２次元座標位置を数値入力する手段を具備する
ことにより、２次元座標位置を直観的に指定できる。
ないし１２の何れか一記載の画像処理装置において、指
定手段が２次元座標位置を数値入力する手段を具備する
ことにより、２次元座標位置を直観的に指定できる。
【０１２２】請求項１５記載の発明によれば、指定され
た２次元座標位置付近の距離に基づいて、被写体を抽出
するようにしたので、入力された画像において所望の被
写体に含まれる２次元座標を指定するという極めて直観
的な指示に基づいて、入力又は撮影された画像から被写
体を抽出することができる。
た２次元座標位置付近の距離に基づいて、被写体を抽出
するようにしたので、入力された画像において所望の被
写体に含まれる２次元座標を指定するという極めて直観
的な指示に基づいて、入力又は撮影された画像から被写
体を抽出することができる。
【０１２３】請求項１６記載の発明によれば、指定され
た２次元座標位置付近の視差に基づいて、被写体を抽出
するようにしたので、入力された画像において所望の被
写体に含まれる２次元座標を指定するという極めて直観
的な指示に基づいて、入力又は撮影された画像から被写
体を抽出することができる。
た２次元座標位置付近の視差に基づいて、被写体を抽出
するようにしたので、入力された画像において所望の被
写体に含まれる２次元座標を指定するという極めて直観
的な指示に基づいて、入力又は撮影された画像から被写
体を抽出することができる。
【０１２４】請求項１７記載の発明によれば、指定され
た２次元座標位置付近の距離に基づいて、被写体を抽出
するようにしたので、入力された画像における２次元座
標の指定という直観的な指示に基づいて、入力又は撮影
された画像から被写体を抽出することができ、コンピュ
ータプログラムを利用して実現できる。
た２次元座標位置付近の距離に基づいて、被写体を抽出
するようにしたので、入力された画像における２次元座
標の指定という直観的な指示に基づいて、入力又は撮影
された画像から被写体を抽出することができ、コンピュ
ータプログラムを利用して実現できる。
【０１２５】請求項１８記載の発明によれば、指定され
た２次元座標位置付近の視差に基づいて、被写体を抽出
するようにしたので、入力された画像における２次元座
標の指定という直観的な指示に基づいて、入力又は撮影
された画像から被写体を抽出することができ、コンピュ
ータプログラムを利用して実現できる。
た２次元座標位置付近の視差に基づいて、被写体を抽出
するようにしたので、入力された画像における２次元座
標の指定という直観的な指示に基づいて、入力又は撮影
された画像から被写体を抽出することができ、コンピュ
ータプログラムを利用して実現できる。
【図１】本発明の第一の実施の形態の画像処理装置の基
本となるハードウェア構成例を示すブロック図である。
本となるハードウェア構成例を示すブロック図である。
【図２】本発明の第一の実施の形態の撮像装置の基本と
なるデジタルカメラのハードウェア構成例を示すブロッ
ク図である。
なるデジタルカメラのハードウェア構成例を示すブロッ
ク図である。
【図３】本発明の第一の実施の形態の画像処理装置の構
成例を示すブロック図である。
成例を示すブロック図である。
【図４】画像処理方法を示す概略フローチャートであ
る。
る。
【図５】距離測定部の一例を示す原理的構成図である。
【図６】距離画像に関する説明図である。
【図７】座標指定部の一例を示す説明図である。
【図８】座標指定部の他例を示す説明図である。
【図９】座標指定部のさらに異なる一例を示す説明図で
ある。
ある。
【図１０】被写体抽出部の動作の一例を示す説明図であ
る。
る。
【図１１】被写体までの距離のヒストグラムを示す説明
図である。
図である。
【図１２】本発明の第二の実施の形態の画像処理装置の
構成例を示すブロック図である。
構成例を示すブロック図である。
【図１３】画像処理方法を示す概略フローチャートであ
る。
る。
【図１４】視差検出部の一例を示すブロック図である。
【図１５】視差検出部の動作の一例を示す説明図であ
る。
る。
【図１６】被写体抽出部の動作の一例を示す説明図であ
る。
る。
【図１７】類否判定処理例を示す説明図である。
【図１８】本発明の第三の実施の形態を示し、（ａ）は
画像処理装置の斜視図、（ｂ）はＰＣの斜視図である。
画像処理装置の斜視図、（ｂ）はＰＣの斜視図である。
【図１９】従来例方式を示す説明図である。
３１ 撮像手段 ３５ 画像メモリ ３９ 距離検出手段 ４０ 指定手段 ４０３，４０４ ポインティング手段、指定手段 ４０６ 数値入力手段、指定手段 ４１ 抽出手段 ４２ 視差検出手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｆ 5/232 5/232 Ｚ 13/00 13/00 13/02 13/02 // Ｈ０４Ｎ 101:00 101:00 (72)発明者 青木 伸 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 Ｆターム(参考） 5B050 AA09 BA06 BA15 CA07 DA07 EA03 EA07 EA12 FA02 FA09 5B057 AA19 BA24 CA12 CA20 CB12 CB20 CC03 CH01 CH11 DA08 DA16 DB02 DC16 DC34 5C022 AA13 AB27 AC69 CA00 5C061 AA29 AB03 AB08 AB21 5L096 BA02 BA18 CA02 DA01 EA27 FA02 FA34 FA66 FA69 GA08 JA04
Claims (18)
- 【請求項１】 被写体までの距離に基づいて、画像中か
ら所望の被写体を抽出する画像処理方法であって、 入力又は撮影された前記画像における被写体までの距離
を検出する第１のステップと、 前記画像における２次元座標位置を指定する第２のステ
ップと、 指定された前記２次元座標位置付近の距離に基づいて、
被写体を抽出する第３のステップと、を有することを特
徴とする画像処理方法。 - 【請求項２】 前記第３のステップは、指定された前記
２次元座標位置における距離と当該２次元座標位置近傍
の２次元座標位置における距離との類否に基づいて、抽
出すべき被写体領域の拡大の可否を判定することによ
り、前記被写体を抽出することを特徴とする請求項１記
載の画像処理方法。 - 【請求項３】 前記第３のステップは、前記被写体領域
の拡大の可否を、前記画像における被写体までの距離の
統計量に基づき判定することを特徴とする請求項２記載
の画像処理方法。 - 【請求項４】 被写体の少なくとも一部が共通して撮影
された少なくとも２枚の視差のある画像に基づいて、画
像中から所望の被写体を抽出する画像処理方法であっ
て、 入力又は撮影された前記少なくとも２枚の視差のある画
像における視差を検出する第１のステップと、 少なくとも２枚の視差のある前記画像中の一の画像にお
ける２次元座標位置を指定する第２のステップと、 指定された前記２次元座標位置付近の視差に基づいて、
被写体を抽出する第３のステップと、を有することを特
徴とする画像処理方法。 - 【請求項５】 前記第３のステップは、指定された前記
２次元座標位置における視差と当該２次元座標位置近傍
の２次元座標位置における視差との類否に基づいて、抽
出すべき被写体領域の拡大の可否を判定することによ
り、前記被写体を抽出することを特徴とする請求項４記
載の画像処理方法。 - 【請求項６】 前記第３のステップは、前記被写体領域
の拡大の可否を、前記画像における視差の統計量に基づ
き判定されることを特徴とする請求項５記載の画像処理
方法。 - 【請求項７】 被写体までの距離に基づいて、画像中か
ら所望の被写体を抽出する画像処理装置であって、 前記画像における２次元座標位置を指定する指定手段
と、 指定された前記２次元座標位置付近の距離に基づいて、
被写体を抽出する抽出手段と、を有することを特徴とす
る画像処理装置。 - 【請求項８】 前記抽出手段は、指定された前記２次元
座標位置における距離と当該２次元座標位置近傍の２次
元座標位置における距離との類否に基づいて、抽出すべ
き被写体領域の拡大の可否を判定することにより、前記
被写体を抽出することを特徴とする請求項７記載の画像
処理装置。 - 【請求項９】 前記抽出手段は、前記被写体領域の拡大
の可否を、前記画像における被写体までの距離の統計量
に基づき判定することを特徴とする請求項８記載の画像
処理装置。 - 【請求項１０】 被写体の少なくとも一部が共通して撮
影された少なくとも２枚の視差のある画像に基づいて、
画像中から所望の被写体を抽出する画像処理装置であっ
て、 入力又は撮影された少なくとも２枚の視差のある画像に
おける視差を検出する視差検出手段と、 少なくとも２枚の視差のある前記画像中の一の画像にお
ける２次元座標位置を指定する指定手段と、 指定された前記２次元座標位置付近の視差に基づいて、
被写体を抽出する抽出手段と、 を有することを特徴とする画像処理装置。 - 【請求項１１】 前記抽出手段は、指定された前記２次
元座標位置における視差と当該２次元座標位置近傍の２
次元座標位置における視差との類否に基づいて、抽出す
べき被写体領域の拡大の可否を判定することにより、前
記被写体を抽出することを特徴とする請求項１０記載の
画像処理装置。 - 【請求項１２】 前記抽出手段は、前記被写体領域の拡
大の可否を、前記画像における視差の統計量に基づき判
定することを特徴とする請求項１１記載の画像処理装
置。 - 【請求項１３】 前記指定手段は、２次元座標位置をポ
インティングする手段を具備することを特徴とする請求
項７ないし１２の何れか一記載の画像処理装置。 - 【請求項１４】前記指定手段は、２次元座標位置を数値
入力する手段を具備することを特徴とする請求項７ない
し１２の何れか一記載の画像処理装置。 - 【請求項１５】 被写体を撮影し、前記被写体の画像を
表す映像信号を発生させる撮像手段を有する撮像装置で
あって、 前記被写体を撮影した画像を記憶する画像メモリと、 前記被写体までの距離を検出する距離検出手段と、 前記画像メモリに記憶された画像における２次元座標位
置を指定する指定手段と、 指定された前記２次元座標位置付近の距離に基づいて、
被写体を抽出する抽出手段と、を有することを特徴とす
る撮像装置。 - 【請求項１６】 被写体を撮影し、前記被写体の画像を
表す映像信号を発生させる撮像手段を有する撮像装置で
あって、 前記撮像手段に接続され、前記被写体の少なくとも一部
が共通して撮影された少なくとも２枚の視差のある画像
を記憶する画像メモリと、 記憶された少なくとも２枚の視差のある前記画像におけ
る視差を検出する視差検出手段と、 記憶された少なくとも２枚の視差のある前記画像中の一
の画像における２次元座標位置を指定する指定手段と、 指定された前記２次元座標位置付近の視差に基づいて、
被写体を抽出する抽出手段と、を有することを特徴とす
る撮像装置。 - 【請求項１７】 被写体までの距離に基づいて、画像中
から所望の被写体を抽出するコンピュータにインストー
ルされ、前記コンピュータに、 前記画像及び前記被写体までの距離を入力させる機能
と、 前記画像における２次元座標位置を指定させる機能と、 指定された前記２次元座標位置付近の距離に基づいて、
被写体を抽出させる機能と、を実行させるコンピュータ
読取り可能なコンピュータプログラム。 - 【請求項１８】 被写体の少なくとも一部が共通して撮
影された少なくとも２枚の視差のある画像に基づいて、
画像中から所望の被写体を抽出するコンピュータにイン
ストールされ、前記コンピュータに、 少なくとも２枚の視差のある前記画像を入力させる機能
と、 少なくとも２枚の視差のある前記画像における視差を検
出させる機能と、 少なくとも２枚の視差のある前記画像中の一の画像にお
ける２次元座標位置を指定させる機能と、 指定された前記２次元座標位置付近の視差に基づいて、
被写体を抽出させる機能と、を実行させるコンピュータ
読取り可能なコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001176521A JP4348028B2 (ja) | 2001-06-12 | 2001-06-12 | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001176521A JP4348028B2 (ja) | 2001-06-12 | 2001-06-12 | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002366963A true JP2002366963A (ja) | 2002-12-20 |
| JP4348028B2 JP4348028B2 (ja) | 2009-10-21 |
Family
ID=19017497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001176521A Expired - Fee Related JP4348028B2 (ja) | 2001-06-12 | 2001-06-12 | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4348028B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004212129A (ja) * | 2002-12-27 | 2004-07-29 | Ishikawajima Harima Heavy Ind Co Ltd | 環境状況把握装置 |
| JP2006527443A (ja) * | 2003-06-12 | 2006-11-30 | 本田技研工業株式会社 | 奥行き検出を用いた対象の向きの推定 |
| JP2007506172A (ja) * | 2003-09-17 | 2007-03-15 | コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． | ３次元画像ディスプレイの画面に３次元画像を描画するシステム及び方法 |
| JP2008116309A (ja) * | 2006-11-02 | 2008-05-22 | Fujifilm Corp | 距離画像生成方法及びその装置 |
| JP2008294785A (ja) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
| JP2009157062A (ja) * | 2007-12-26 | 2009-07-16 | Casio Comput Co Ltd | オートフォーカス装置、オートフォーカス方法及びプログラム |
| JP2010154323A (ja) * | 2008-12-25 | 2010-07-08 | Casio Computer Co Ltd | 画像処理装置、画像抽出方法、および、プログラム |
| JP2011509451A (ja) * | 2007-12-20 | 2011-03-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像データのセグメント化 |
| WO2011122168A1 (ja) * | 2010-03-29 | 2011-10-06 | シャープ株式会社 | 画像符号化装置、画像復号装置、画像符号化装置の制御方法、画像復号装置の制御方法、制御プログラムおよび記録媒体 |
| JP2011250334A (ja) * | 2010-05-31 | 2011-12-08 | Hitachi Consumer Electronics Co Ltd | 多視点画像補正装置 |
| WO2012002033A1 (ja) * | 2010-06-28 | 2012-01-05 | シャープ株式会社 | 画像変換装置、画像変換装置の制御方法、画像変換装置制御プログラムおよび記録媒体 |
| JP2012252648A (ja) * | 2011-06-06 | 2012-12-20 | Sharp Corp | 画像処理装置、画像処理方法、プログラム、撮像装置及びテレビジョン受像機 |
| JP2014086851A (ja) * | 2012-10-23 | 2014-05-12 | Toppan Printing Co Ltd | 視差制御装置及び視差制御プログラム |
| JP2016122085A (ja) * | 2014-12-25 | 2016-07-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| JP2016127492A (ja) * | 2015-01-06 | 2016-07-11 | オリンパス株式会社 | 撮像装置、操作支援方法及び操作支援プログラム |
-
2001
- 2001-06-12 JP JP2001176521A patent/JP4348028B2/ja not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004212129A (ja) * | 2002-12-27 | 2004-07-29 | Ishikawajima Harima Heavy Ind Co Ltd | 環境状況把握装置 |
| JP2006527443A (ja) * | 2003-06-12 | 2006-11-30 | 本田技研工業株式会社 | 奥行き検出を用いた対象の向きの推定 |
| JP4740135B2 (ja) * | 2003-09-17 | 2011-08-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ３次元画像ディスプレイの画面に３次元画像を描画するシステム及び方法 |
| JP2007506172A (ja) * | 2003-09-17 | 2007-03-15 | コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． | ３次元画像ディスプレイの画面に３次元画像を描画するシステム及び方法 |
| JP2008116309A (ja) * | 2006-11-02 | 2008-05-22 | Fujifilm Corp | 距離画像生成方法及びその装置 |
| JP2008294785A (ja) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
| JP2011509451A (ja) * | 2007-12-20 | 2011-03-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像データのセグメント化 |
| US8515172B2 (en) | 2007-12-20 | 2013-08-20 | Koninklijke Philips N.V. | Segmentation of image data |
| JP2009157062A (ja) * | 2007-12-26 | 2009-07-16 | Casio Comput Co Ltd | オートフォーカス装置、オートフォーカス方法及びプログラム |
| JP2010154323A (ja) * | 2008-12-25 | 2010-07-08 | Casio Computer Co Ltd | 画像処理装置、画像抽出方法、および、プログラム |
| WO2011122168A1 (ja) * | 2010-03-29 | 2011-10-06 | シャープ株式会社 | 画像符号化装置、画像復号装置、画像符号化装置の制御方法、画像復号装置の制御方法、制御プログラムおよび記録媒体 |
| JP2011211351A (ja) * | 2010-03-29 | 2011-10-20 | Sharp Corp | 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体 |
| JP2011250334A (ja) * | 2010-05-31 | 2011-12-08 | Hitachi Consumer Electronics Co Ltd | 多視点画像補正装置 |
| WO2012002033A1 (ja) * | 2010-06-28 | 2012-01-05 | シャープ株式会社 | 画像変換装置、画像変換装置の制御方法、画像変換装置制御プログラムおよび記録媒体 |
| JP2012252648A (ja) * | 2011-06-06 | 2012-12-20 | Sharp Corp | 画像処理装置、画像処理方法、プログラム、撮像装置及びテレビジョン受像機 |
| JP2014086851A (ja) * | 2012-10-23 | 2014-05-12 | Toppan Printing Co Ltd | 視差制御装置及び視差制御プログラム |
| JP2016122085A (ja) * | 2014-12-25 | 2016-07-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| JP2016127492A (ja) * | 2015-01-06 | 2016-07-11 | オリンパス株式会社 | 撮像装置、操作支援方法及び操作支援プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4348028B2 (ja) | 2009-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5456159B2 (ja) | 背景から前景の頭頂部を分離するための方法および装置 | |
| US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
| JP4772839B2 (ja) | 画像識別方法および撮像装置 | |
| US9503629B2 (en) | Image processing apparatus, image processing method, and computer-readable device having instructions for generating focused image | |
| US8331619B2 (en) | Image processing apparatus and image processing method | |
| CN107948517B (zh) | 预览画面虚化处理方法、装置及设备 | |
| JP5538909B2 (ja) | 検出装置およびその方法 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| CN202018662U (zh) | 图像获取和处理设备 | |
| JP4348028B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム | |
| EP3108379B1 (en) | Image editing techniques for a device | |
| US7903164B2 (en) | Image capturing apparatus, an image capturing method and a machine readable medium storing thereon a computer program for capturing an image of a range wider than an image capture designation range | |
| TWI394085B (zh) | 辨識被攝主體之維度形態的方法 | |
| CN111724470A (zh) | 一种处理方法及电子设备 | |
| JP2004062393A (ja) | 注目判定方法及び注目判定装置 | |
| JP3774495B2 (ja) | 画像情報抽出装置および方法 | |
| US7835552B2 (en) | Image capturing apparatus and face area extraction method | |
| JP2002342758A (ja) | 視覚認識システム | |
| JP4632417B2 (ja) | 撮像装置、及びその制御方法 | |
| JP6038489B2 (ja) | 画像処理装置 | |
| US10990802B2 (en) | Imaging apparatus providing out focusing and method for controlling the same | |
| JP2008211534A (ja) | 顔検知装置 | |
| JP2004145592A (ja) | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 | |
| JP2007249526A (ja) | 撮像装置及びその顔領域抽出方法 | |
| Rahman et al. | Real-time face-based auto-focus for digital still and cell-phone cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041004 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060828 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090717 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130724 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |