JP2006287589A - 画像処理方法、画像処理装置 - Google Patents

画像処理方法、画像処理装置 Download PDF

Info

Publication number
JP2006287589A
JP2006287589A JP2005104368A JP2005104368A JP2006287589A JP 2006287589 A JP2006287589 A JP 2006287589A JP 2005104368 A JP2005104368 A JP 2005104368A JP 2005104368 A JP2005104368 A JP 2005104368A JP 2006287589 A JP2006287589 A JP 2006287589A
Authority
JP
Japan
Prior art keywords
image
imaging
camera
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005104368A
Other languages
English (en)
Other versions
JP2006287589A5 (ja
Inventor
Katsuhiko Mori
克彦 森
Masakazu Matsugi
優和 真継
Masami Kato
政美 加藤
Hirosuke Mitarai
裕輔 御手洗
Yuji Kaneda
雄司 金田
Hiroshi Sato
博 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005104368A priority Critical patent/JP2006287589A/ja
Priority to US11/376,882 priority patent/US8077246B2/en
Publication of JP2006287589A publication Critical patent/JP2006287589A/ja
Publication of JP2006287589A5 publication Critical patent/JP2006287589A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 撮像されるべき広範囲の領域の指定を容易にし、またその広範囲の領域を撮像する際の設定及びその撮像を容易にすること。
【解決手段】 カメラにより得られた画像における注目領域の位置及びサイズと、画像を得るためにカメラに設定されたカメラパラメータとを用いて、注目領域に含まれている対象物体が所定のサイズで撮像される為の撮像方向（Ｓ２０８）、撮像倍率（Ｓ２０９）を求める。
【選択図】 図２

Description

本発明は、撮像方向、撮像倍率を求める為の技術に関するものである。
カメラの撮像方向（パン・チルト）や撮像倍率をネットワークを介して遠隔操作し、任意の領域を撮像することが可能な撮像装置が知られている。上記のようなカメラは、例えば、遠隔監視システムやTV会議システムで使用されている。
このようなカメラのパン・チルト・ズーム等の制御について従来では、カメラで撮像した画像とともに、そのカメラを制御するGUI（Graphical User Interface）を表示手段に表示させ、そのGUIを用いて行う技術が開示されている（特許文献１を参照）。つまり、見たい領域が撮像されるように、カメラの撮像方向や撮像倍率を遠隔操作で調整することが可能である。
また、予めカメラの撮像方向や撮像倍率を記憶させておくことも可能である。例えば、複数の領域を撮像したい場合には、各領域を撮像する毎に、撮像方向や撮像倍率をGUIを使用して調整する必要はなく、記憶させたカメラの撮像方向や撮像倍率をGUIを使用して呼び出し、カメラに設定することでその領域が撮像されるため、撮像する領域の切り替えが容易に行なえる。
特開平０９−００９２３１号公報
しかしながら、監視システム等のように広範囲の領域を撮像するためには、予め記憶させる撮像方向及び撮像倍率が多数となってしまっていた。また、ある範囲を複数の領域に分割して撮像する際に、全ての範囲がカバーされるように設定するのは容易ではなかった。
本発明は以上の問題に鑑みてなされたものであり、撮像されるべき広範囲の領域の指定を容易にし、またその広範囲の領域を撮像する際の設定及びその撮像を容易にすることを目的とする。
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
即ち、カメラにより得られた画像内で注目領域を指示する指示工程と、
前記画像における前記注目領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記注目領域に含まれている対象物体が所定のサイズで撮像される為の撮像方向、撮像倍率を求める計算工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
即ち、カメラにより得られた画像内で注目領域を指示する指示工程と、
前記注目領域を複数の分割領域に分割する分割工程と、
前記画像における前記分割領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記分割領域に含まれている対象物体が所定のサイズで撮像される為の撮像方向、撮像倍率を求める処理を、それぞれの分割領域毎に行う計算工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
即ち、カメラにより得られた画像内で特定の被写体を検出する検出工程と、
前記画像における前記被写体の領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記被写体の領域が所定のサイズで撮像される為の撮像方向、撮像倍率を求める計算工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、カメラにより得られた画像内で注目領域を指示する指示手段と、
前記画像における前記注目領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記注目領域に含まれている対象物体が所定のサイズで撮像される為の撮像方向、撮像倍率を求める計算手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、カメラにより得られた画像内で注目領域を指示する指示手段と、
前記注目領域を複数の分割領域に分割する分割手段と、
前記画像における前記分割領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記分割領域に含まれている対象物体が所定のサイズで撮像される為の撮像方向、撮像倍率を求める処理を、それぞれの分割領域毎に行う計算手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、カメラにより得られた画像内で特定の被写体を検出する検出手段と、
前記画像における前記被写体の領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記被写体の領域が所定のサイズで撮像される為の撮像方向、撮像倍率を求める計算手段と
を備えることを特徴とする。
本発明の構成により、撮像されるべき広範囲の領域の指定を容易にし、またその広範囲の領域を撮像する際の設定及びその撮像を容易にすることができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
［第１の実施形態］
図１は、本実施形態に係るシステムの機能構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、撮像部１００、雲台１１０、コンピュータ１９０により構成されている。
また、コンピュータ１９０は画像処理部１２０、表示部１３０、システム制御部１４０、カメラ制御部１５０、撮像領域設定部１７０、撮像倍率設定部１８０、カメラ制御データ保持部１０１により構成されている。また、カメラ制御部１５０は、撮像方向制御部１５１、撮像倍率制御部１５２、フォーカス制御部１５３から構成され、撮像領域設定部１７０は、画像合成部１７１、位置範囲指定部１７２、撮像方向設定部１７３から構成される。
撮像部１００は、レンズやCCD等のイメージセンサから構成され、現実空間の動画像、若しくは静止画像を撮像する。雲台１１０は不図示のモータを備え、このモータを外部からの制御に従って駆動させることで撮像部１００の撮像方向をパン・チルト方向に変化させることができる。
画像処理部１２０は、撮像部１００によって撮像された画像を取得し、取得したこの画像の色や明るさ等を補正する。この補正処理についてはガンマ補正など、周知のものであるので、これに関する説明は省略する。
表示部１３０は、画像処理部１２０によって補正された画像を表示する。システム制御部１４０は、システムを構成する各部の制御を行う。カメラ制御部１５０は、撮像部１００、及び雲台１１０の制御を行なうのであるが、より具体的にはカメラ制御部１５０を構成する撮像方向制御部１５１、撮像倍率制御部１５２、フォーカス制御部１５３が以下説明する処理を行う。撮像方向制御部１５１は、雲台１１０に備わっているモータの駆動制御を行う。撮像倍率設定部１５２は、撮像部１００の撮像倍率を制御する。フォーカス制御部１５３は、撮像部１００のフォーカスを制御する。
撮像領域設定部１７０は、撮像部１００で撮像する領域を設定する。より具体的には、撮像領域設定部１７０を構成する画像合成部１７１、位置範囲指定部１７２、撮像方向設定部１７３が以下説明する処理を行う。画像合成部１７１は、画像処理部１２０から得られる複数の画像を順次連結して合成し、１つの画像を生成する。位置範囲指定部１７２は、画像合成部１７１によって得られる画像内で、撮像したい対象物が写っている領域を指定する。撮像方向設定部１７３は、位置範囲指定部１７２によって指定された領域を撮像するための撮像方向を設定する。
撮像倍率設定部１８０は、撮像領域設定部１７０によって設定された領域を撮像する為の撮像倍率を設定する。
カメラ制御データ保持部１０１は、以下説明する処理によって求められるカメラパラメータを保持する。本実施形態ではこのカメラパラメータには、撮像方向設定部１７３によって設定された撮像方向、撮像倍率設定部１８０によって設定された撮像倍率が含まれているものとする。
図１４は、コンピュータ１９０のハードウェア構成を示すブロック図である。
ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているプログラムやデータを用いて本コンピュータ１９０全体の制御を行うと共に、コンピュータ１９０が行う後述の各処理を実行する。
ＲＡＭ１４０２は外部記憶装置１４０５からロードされたプログラムやデータを一時的に記憶するためのエリア、Ｉ／Ｆ１４０８に接続される撮像部１００が撮像することで取得される画像を一時的に記憶するためのエリア、ＣＰＵ１４０１が各種の処理を実行する際に使用するワークエリア等の各種のエリアを提供することができる。
ＲＯＭ１４０３は本コンピュータ１９０の設定データや、ブートプログラムなどを格納する。
操作部１４０４は、キーボードやマウスなどにより構成されており、各種の指示をＣＰＵ１４０１に対して入力することができる。
外部記憶装置１４０５はハードディスクドライブ装置に代表される大容量情報記憶装置であり、ここにＯＳ（オペレーティングシステム）や、ＣＰＵ１４０１にコンピュータ１９０が行う後述の各処理を実行させるためのプログラムやデータなどが保存されており、これらの一部若しくは全部はＣＰＵ１４０１による制御に従ってＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。
表示部１４０６は図１の表示部１３０に相当するもので、ＣＰＵ１４０１による処理結果を画像や文字などでもって表示することができる。
カメラ制御部１４０７は図１のカメラ制御部１５０に相当するものであり、ここに接続されている撮像部１００や雲台１１０を制御する。
Ｉ／Ｆ１４０８は、上記雲台１１０、撮像部１００を接続するものであり、本コンピュータ１９０はこのＩ／Ｆ１４０８を介して雲台１１０、撮像部１００とのデータ通信を行うことになる。
１４０９は上述の各部を繋ぐバスである。
次に、上記構成を備えるシステムの動作について説明する。本実施形態に係るシステムの動作は大きく分けて２つの動作に大別される。
一方の動作は、現実空間の画像を撮像して取得し、取得した画像において以降も撮像したい対象物が写っている領域が決まると、この対象物を以降も撮像すべく、撮像部１００の撮像方向、撮像倍率を決めて保持する、という動作である。以下ではこのような動作を「領域設定動作」と呼称する。
他方の動作は、撮像部１００でもって画像を撮像し、撮像した画像を画像処理部１２０によって補正したものを表示部１３０の表示画面上に表示する、所謂通常の撮像動作である。以下ではこのような動作を「通常撮像動作」と呼称する。
先ず、領域設定動作について説明する。
図２は、本実施形態に係るシステムが領域設定動作を行う際にコンピュータ１９０が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１４０１に実行させるためのプログラムやデータは外部記憶装置１４０５に保存されており、これは適宜ＣＰＵ１４０１による制御に従ってＲＡＭ１４０２にロードされ、ＣＰＵ１４０１がこれを用いて処理を実行することで、コンピュータ１９０は後述する各処理を実行することになる。
先ず、ＣＰＵ１４０１は、撮像部１００の撮像倍率を所定の倍率にすべく、カメラ制御部１４０７に備わっている撮像倍率制御部１５２を制御する（ステップＳ２０１）。例えば、撮像倍率を最小にし、広角画像の撮像を可能にする。
次に、ＣＰＵ１４０１は、雲台１１０のモータを駆動制御して撮像部１００の撮像方向を所望の方向に向けるべく、カメラ制御部１４０７に備わっている撮像方向制御部１５１を制御する（ステップＳ２０２）。本ステップで行う処理の詳細については後述する。
次に、以上のようにして撮像倍率、撮像方向が設定された撮像部１００により現実空間の撮像を開始するので、撮像した画像はＩ／Ｆ１４０８を介してデータとしてＲＡＭ１４０２に入力される。ＣＰＵ１４０１は画像処理部１２０として機能し、この画像に対して色補正処理など、各種の補正処理を行う（ステップＳ２０３）。これにより、撮像部１００により取得された１つの画像をＲＡＭ１４０２に取得することができる。なお、補正後の画像は表示部１４０６の表示画面上に表示するようにしても良い。
次に、ＣＰＵ１４０１は所定の範囲内、例えば、雲台１１０がパン・チルト方向それぞれに可動可能な最大範囲の中で、それぞれの方向について撮像部１００が撮像を行ったのかを判断し、行っていなければ処理をステップＳ２０２に戻し、撮像方向を移動させて現実空間の撮像を行い、撮像した画像を補正してＲＡＭ１４０２に保持する。このように、所定範囲内のそれぞれの方向について同じ撮像倍率でもって撮像を行い、撮像したそれぞれの画像を補正してＲＡＭ１４０２に取得する。
より具体的に説明すると、パン方向の所定範囲をＰａ≦Ｐ≦Ｐｂ（Ｐはパン角、Ｐａ、Ｐｂはそれぞれ雲台１１０のパン角の最小値、最大値）、チルト角の所定範囲をＴａ≦Ｔ≦Ｔｂ（Ｔはチルト角、Ｔａ、Ｔｂはそれぞれ雲台１１０のチルト角の最小値、最大値）とすると、先ず、ステップＳ２０２ではカメラ制御部１４０７は雲台１１０に対して「撮像部１００のパン角がＰａ、チルト角がＴａ」となるように制御信号を出力するので、雲台１１０はこの制御信号に従って撮像部１００のパン角をＰａ、チルト角をＴａとなるように制御する。そしてステップＳ２０３では、この状態で撮像した画像を補正してＲＡＭ１４０２に取得する。
そして処理をステップＳ２０２に戻してパン角Ｐａを（Ｐａ＋Δｐ）に更新し、カメラ制御部１４０７は雲台１１０に対して「撮像部１００のパン角が（Ｐａ＋Δｐ）、チルト角がＴａ」となるように制御信号を出力するので、雲台１１０はこの制御信号に従って撮像部１００のパン角を（Ｐａ＋Δｐ）、チルト角をＴａとなるように制御する。そしてステップＳ２０３では、この状態で撮像した画像を補正してＲＡＭ１４０２に取得する。
そしてこのような処理をＰ＝Ｐｂとなるまで続け、Ｐ＝Ｐｂとなると、ＣＰＵ１４０１はＰをＰａに更新すると共に、Ｔを（Ｔａ＋Δｔ）に更新し、カメラ制御部１４０７は雲台１１０に対して「撮像部１００のパン角がＰａ、チルト角が（Ｔａ＋Δｔ）」となるように制御信号を出力するので、雲台１１０はこの制御信号に従って撮像部１００のパン角をＰａ、チルト角を（Ｔａ＋Δｔ）となるように制御する。そしてステップＳ２０３では、この状態で撮像した画像を補正してＲＡＭ１４０２に取得する。
そしてこのような処理をＴ＝Ｔｂとなるまで繰り返す。ここで、ステップＳ２０１で制御する撮像倍率を最小にし、かつ雲台１１０がパン・チルト方向それぞれに可動可能な最大範囲を所定範囲とすると、撮像部１００と雲台１１０を使用した時に撮像可能な最大の範囲の画像が分割して撮像されることとなる。
図３（ａ）は、撮像部１００のパン角、チルト角を更新しながら得た画像群を示す図である。同図に示す如く、画像３００〜３１４（以下、それぞれの画像を分割画像と呼称する場合がある）は、ある現実空間の領域を撮像部１００のパン角、チルト角を変更しながら撮像することで得た画像群であり、更に隣接した画像同士（例えば画像３００と画像３０１、画像３０５）がそれぞれ領域をオーバーラップさせるように撮像されている（換言すれば上記Δｐ、Δｔはそれぞれ、隣接した画像同士が互いに領域をオーバーラップさせるように決定されていることになる）。
図２に戻って、次に、ＣＰＵ１４０１は、所定枚数の画像を撮像したことを検知すると（上述の例ではＰ＝Ｐｂ、Ｔ＝Ｔｂとなったことを検知すると）、処理をステップＳ２０４を介してステップＳ２０５に進め、ＣＰＵ１４０１は画像合成部１７１として機能し、ＲＡＭ１４０２に取得した複数枚の画像を連結して１枚の画像に合成する処理を行う（ステップＳ２０５）。図３（ｂ）は、画像３００〜３１４を連結することで合成された１枚の画像を示す図である。
このような合成技術については、デジタルカメラ等で撮像された複数枚の画像を合成して、高解像度画像を作成するパノラマ合成技術として公知である。特に、本実施形態の場合には、画像の撮像時に焦点距離の変動は無く、また基本的に視点の移動は無く、さらに各画像の撮像時の撮像方向もわかっているため、合成画像の法線ベクトルと各分割画像の法線ベクトルとがなす角の大きさを各分割画像を変換する際の回転角度とし、各分割画像を回転変換する。または合成画像の各座標をその角度を使用して変換し、その変換座標に対応する分割画像中の画素値を内挿処理等で求めて、合成画像を作成することが出来る。なおこの画像の合成技術に関しては、コンピュータビジョン−技術評論と将来展望−松山隆司他編（株）新技術コミュニケーションや、電子情報通信学会論文誌D-II Vol.J81-D-II No.6 pp.1182-1193 “視点固定型パンチルトズームカメラとその応用”和田俊和他に開示されている。
いずれにせよ、ステップＳ２０５までの処理で、広範囲の画像（合成画像）を取得するのであるが、同様の画像を取得する方法についてはこれに限定するものではない。また、ステップＳ２０６以降の処理は、予めこのような広範囲の画像を外部記憶装置１４０５に保存させておき、必要時にＲＡＭ１４０２にロードして用いるようにしても良いことはいうまでもない。
図２に戻って、次に、このようにして取得された合成画像を表示部１４０６の表示画面上に表示する（ステップＳ２０６）。ここで表示の際には、表示部１４０６の解像度に合うように合成画像の解像度を変換して行なうのであるが、合成画像の解像度と表示部１４０６の解像度が大きく異なると合成画像の画質が大幅に劣化するため、合成画像の一部を切り出して表示し、表示部１４０６に表示されているGUI（グラフィカルユーザインターフェース）を使用して合成画像の表示領域を変更するようにしても良い。
次に、本コンピュータ１９０の操作者は、表示部１４０６に表示された合成画像中で、通常撮影時に撮像部１００で撮像すべき対象が写っている領域の位置と範囲とを操作部１４０４を用いて指定するので、ＣＰＵ１４０１は位置範囲指定部１７２として機能し、この指定を受け付ける（ステップＳ２０７）。指定の方法については特に限定するものではないが、例えばマウスを用いて所望の領域（通常撮影時に撮像部１００で撮像すべき対象が写っている領域）を選択する。これにより、撮像すべき位置（選択した領域の中心位置）と範囲（選択した領域のサイズ）の両方を指定することができる。
そして撮像すべき位置と範囲が指定されると、合成画像における指定領域の位置データ（指定領域の中心位置データ）と、指定領域の縦横のサイズのデータとをＲＡＭ１４０２に一時的に格納する。
このように、撮像部１００と雲台１１０を使用して撮像可能な所定の範囲全体を表示し、その中からポインティングデバイスを用いて領域を選択することにより、通常撮影時に撮像部１００で撮像する領域を容易に設定することが出来る。
図３（ｃ）は図３（ｂ）に示した画像３２０においてステップＳ２０７で指定された領域を示す図である。同図に示す如く、画像３２０において領域３３０〜３３２が指定されている。なお、指定する領域の数はこれに限定するものではない。以下では説明を簡単にするために、領域３３０のみが指定されたものとして説明するが、複数個の領域が指定された場合には以下説明する処理を個々の領域について行うようにすればよい。
図２に戻って、次に、ＣＰＵ１４０１は撮像方向設定部１７３として機能し、通常撮影時に撮像部１００が撮像する方向、即ち、通常撮影時に撮像部１００で撮像すべき対象に撮像部１００を向ける場合に、向ける方向を求める（ステップＳ２０８）。ステップＳ２０８における処理について、図４を用いて詳細に説明する。
図４は、通常撮影時に撮像部１００が領域３３０を撮像するために向ける方向を求めるための処理を説明する為の図である。同図において４０１は合成画像面を示しており、この画像面４０１上には当然領域３３０が存在する。また、Ｏは撮像系の視点、ｆは焦点距離、Ｒｐは領域３３０の範囲（即ちステップＳ２０７で指定した領域のサイズ）、Ｒｏは領域３３０の中心位置（即ちステップＳ２０７で指定した領域の中心位置）、Ｄｐは画像面４０１上における領域３３０の中心位置Ｒｏと画像中心位置（合成画像における中心位置）との距離、θは視点Ｏの位置と画像中心位置とを結ぶ直線に対する、視点Ｏの位置と領域３３０の中心位置Ｒｏとを結ぶ直線の角度を示す。なお、この図４は、説明をわかりやすくするため、撮像方向の１軸方向（パン方向）のみを示している。
通常撮影時に領域３３０を撮像するためには、撮像部１００の光軸を領域３３０の中心位置Ｒｏの方向に角度θだけ回転させ、撮像倍率を領域３３０の範囲Ｒｐがほぼ画像全体に撮像されるように設定する必要がある。つまり、この角度θが、合成画像の撮像方向を基準にした、領域３３０を撮像するときの（パン方向における）撮像方向となる。
よって、ステップＳ２０８では、パン方向、チルト方向それぞれについて、この角度θを以下の式（１）に従って求める。
｜θ｜＝ａｒｃｔａｎ（Ｄｐ／ｆ） （１）
なお、上記Ｄｐは、
（合成画像面４０１の１画素に相当する長さ）×（画素数）
として求める。なお、（合成画像面４０１の１画素に相当する長さ）は、ステップＳ２０５における合成処理で用いた焦点距離、変換係数などの情報を用いて周知の方法でもって得ることができる。また、（画素数）は、画像中心の座標値と領域３３０の中心座標値との差分の絶対値を計算することで得られるものである。これにより、Ｄｐを求めることができる。
また、式（１）において焦点距離ｆについては予め撮像部１００に設定されているので、これを用いればよい。
以上の処理により、撮像方向（パン角、チルト角）を求めることができる。
図２に戻って、次に、ＣＰＵ１４０１は撮像倍率設定部１８０として機能し、通常撮影時に撮像部１００が領域３３０を撮像する際の撮像倍率を求める（ステップＳ２０９）。
合成画像と、通常撮影時で撮像する画像と、で解像度が同じであるならば、図４に示した領域３３０の範囲Ｒｐが、通常撮影時にほぼ画像全体に撮像されるためには、合成画像に対してＮｎ／Ｎｒｐ倍の撮像倍率で撮像すればよい。ここでＮｎは通常撮影時の画像の水平方向の画素数、Ｎｒｐは領域３３０の範囲Ｒｐの画素数である。なお、角度θ回転したことを考慮して、撮像倍率をＮｎ／（Ｎｒｐ／ｃｏｓθ）としても良い。また、解像度が異なる場合は、係数として乗算すればよい。
このようにして、撮像倍率を求めることができる。なお、上述のように、ステップＳ２０７で複数の領域を指定した場合には、ステップＳ２０８、Ｓ２０９における処理を、指定した個々の領域について行うようにすればよい。
そして、以上のようにして求めた撮像方向を示すデータ（パン角のデータ、チルト角のデータ）と、撮像倍率を示すデータとをカメラパラメータとしてＲＡＭ１４０２に一時的に格納する、若しくは外部記憶装置１４０５に保存する（ステップＳ２１０）。
これにより、領域３３０に含まれている対象物体に対して撮像部１００を向ける際の方向（撮像方向）と、通常撮影時にほぼ画像全体にこの対象物体を撮像するための撮像倍率を求めることができる。
次に、以上の処理が完了し、操作部１４０４を用いて通常撮像動作の指示が入力されると、ＣＰＵ１４０１はこれを検知して通常撮像動作の為の処理を実行する。なお、通常撮像動作の為の処理の実行は図４のフローチャートに従った処理が完了すると即座に実行するようにしても良い。
図５は、通常撮像動作の為にコンピュータ１９０が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１４０１に実行させるためのプログラムやデータは外部記憶装置１４０５に保存されており、これは適宜ＣＰＵ１４０１による制御に従ってＲＡＭ１４０２にロードされ、ＣＰＵ１４０１がこれを用いて処理を実行することで、コンピュータ１９０は後述する各処理を実行することになる。
先ず、図４のフローチャートに従った処理でもって求めたカメラパラメータが外部記憶装置１４０５に保存されている場合にはこれをＲＡＭ１４０２にロードする（ステップＳ５０１）。なお、カメラパラメータがＲＡＭ１４０２に一時的に格納されている場合にはステップＳ５０１における処理は省略する。
次に、ＣＰＵ１４０１はカメラ制御部１４０７を、カメラパラメータに従って制御し、撮像部１００の撮像方向、撮像倍率を、求めたものに設定する（ステップＳ５０２）。より詳しくは、ＣＰＵ１４０１はカメラ制御部１４０７のうちの撮像方向制御部１５１を、カメラパラメータのうちの撮像方向を示すデータに従って制御するので、結果として雲台１１０に備わっている不図示のモータが駆動制御され、求めた撮像方向に撮像部１００を向けることができる。
また、ＣＰＵ１４０１はカメラ制御部１４０７のうちの撮像倍率制御部１５２を、カメラパラメータのうちの撮像倍率を示すデータに従って制御するので、求めた撮像倍率が撮像部１００に対して設定されることになる。
また、ＣＰＵ１４０１はカメラ制御部１４０７のうちのフォーカス制御部１５３を制御し、ピントが合うように制御される。
そして次に、撮像部１００は撮像を開始するので、ＣＰＵ１４０１はＩ／Ｆ１４０８を介して撮像画像を取得し、取得した撮像画像に対して（画像処理部１２０として機能して）上述の各補正処理を行い、補正後の画像を表示部１４０６の表示画面上に表示する（ステップＳ５０３）。なお、補正後の画像の出力先はこれに限定するものではなく、ネットワークを介して外部の表示装置、記憶装置、端末装置などに出力するようにしても良い。
なお、補正後の画像を外部の端末装置に出力した場合には、この外部の端末装置側で更に以上説明したような処理（図４のフローチャートに従った処理）を実行するようにしても良い。
そして操作部１４０４から処理終了の旨の指示が入力されたことをＣＰＵ１４０１が検知した場合には本処理を終了するのであるが、検知していない場合にはステップＳ５０１以降の処理を繰り返す。
以上の説明のように、本実施形態によって、撮像対象を撮像するための撮像方向、撮像倍率の設定は、合成画像上でユーザが領域を指定するだけで行うことができるので、ユーザは撮像対象を視覚的に確認しながら選択することができるし、ユーザにとってはこの選択のみであとはコンピュータ１９０側で撮像方向、撮像倍率を求めるので、ユーザによっては、撮像対象を撮像するための撮像方向、撮像倍率の設定を簡便に行うことができる。
［第２の実施形態］
図６は、本実施形態に係るシステムの機能構成を示すブロック図である。なお、同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。図６に示す如く、本実施形態に係るシステムは、撮像部１００、雲台１１０、コンピュータ６９９により構成されている。
また、コンピュータ６９９は画像処理部１２０、表示部１３０、システム制御部６４０、カメラ制御部１５０、撮像領域設定部６７０、撮像倍率設定部１８０、分割撮像領域設定部６９０、カメラ制御データ保持部６０１により構成されている。また、撮像領域設定部６７０は、画像合成部１７１、位置範囲指定部１７２から構成されており、分割撮像領域設定部６９０は撮像方向設定部６９１から構成されている。
図１に示したものと異なる部分についてのみ説明する。システム制御部６４０は、コンピュータ６９９を構成する各部の制御を行う。撮像領域設定部６７０は、撮像部１００で撮像する領域を設定する。より具体的には、撮像領域設定部６７０を構成する画像合成部１７１、位置範囲指定部１７２が上述の各処理を行う。
撮像倍率設定部６８０は、撮像領域設定部６７０によって設定された領域を撮像する為の撮像倍率を設定する。
分割撮像領域設定部６９０は、位置範囲指定部１７２によって指定された領域を、撮像倍率設定部６８０で設定された撮像倍率で撮像する際の分割領域を設定する。撮像方向設定部６９１は、分割撮像領域設定部６９０で設定されたそれぞれの分割領域を撮像するための撮像方向を設定する。
カメラ制御データ保持部６０１は、以下説明する処理によって求められるカメラパラメータを保持する。本実施形態ではこのカメラパラメータには、撮像方向設定部６９１によって設定された撮像方向、撮像倍率設定部１８０によって設定された撮像倍率が含まれているものとする。
また、コンピュータ６９９のハードウェア構成については第１の実施形態と同じであるとする。
図７は、本実施形態に係るシステムが領域設定動作を行う際にコンピュータ６９９が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１４０１に実行させるためのプログラムやデータは外部記憶装置１４０５に保存されており、これは適宜ＣＰＵ１４０１による制御に従ってＲＡＭ１４０２にロードされ、ＣＰＵ１４０１がこれを用いて処理を実行することで、コンピュータ１９０は後述する各処理を実行することになる。
先ず、ステップＳ７０１〜ステップＳ７０６の各ステップにおける処理は、図２のステップＳ２０１〜ステップＳ２０６と同じであるので、その説明は省略する。
次に、本コンピュータ１９０の操作者は、表示部１４０６に表示された合成画像中で、通常撮影時に撮像部１００で撮像すべき対象が写っている領域の位置と範囲とを操作部１４０４を用いて指定するので、ＣＰＵ１４０１は位置範囲指定部１７２として機能し、この指定を受け付ける（ステップＳ７０７）。指定の方法については特に限定するものではないが、例えばマウスを用いて所望の領域（通常撮影時に撮像部１００で撮像すべき対象が写っている領域）を選択する。これにより、撮像すべき位置（選択した領域の中心位置）と範囲（選択した領域のサイズ）の両方を指定することができる。
ここで、領域の指定について第１の実施形態と異なる点は、第１の実施形態では図３（ｃ）に示したように、複数の領域を指定してもそれぞれの領域は一度で撮像できるものであった。しかし本実施形態では一度に撮像できないほどのサイズの領域（一度に撮像不可能な広範囲の領域）を指定する。
図８（ａ）は図３（ｂ）に示した画像３２０において一度に撮像できないほどのサイズを有する領域８０１を示す図である。
図７に戻って、次に、本コンピュータ１９０の操作者は、表示部１４０６に表示された合成画像中のステップＳ７０７で指定した領域内で、一度に撮像可能な領域を指定するので、ＣＰＵ１４０１は位置範囲指定部１７２として機能し、この指定を受け付ける（ステップＳ７０８）。指定の方法についてはステップＳ７０７と同じである。図８（ｂ）は、領域８０１内でステップＳ７０８で設定された領域８０２を示す図である。
図７に戻って、次に、ＣＰＵ１４０１は撮像倍率設定部６８０として機能し、通常撮影時に撮像部１００がステップＳ７０８で指定された領域を撮像する際の撮像倍率を求める（ステップＳ７０９）。求める方法については第１の実施形態と同じである。
次に、ＣＰＵ１４０１は分割撮像領域設定部６９０として機能し、ステップＳ７０７で指定された領域を、ステップＳ７０８で指定された領域で分割する（ステップＳ７１０）。分割の手法については特に限定するものではないが、例えば、ステップＳ７０８で指定した領域の位置を基準に、所定のオーバーラップ量で分割領域を、ステップＳ７０７で指定された領域になるまで、重ねていく。その際に、周囲の分割領域がステップＳ７０７で指定された領域より所定値（例えば分割領域の半分）以上はみ出るようであれば、オーバーラップ量を調整して、やり直す。
図８（ｃ）は、領域８０１（ステップＳ７０７で指定された領域に相当）を領域８０２（ステップＳ７０８で指定された領域に相当）で分割した結果を示す図である。
図７に戻って、次に、通常撮影時に撮像部１００が分割領域を撮像する場合に、この撮像部１００を向ける方向を求める処理を、それぞれの分割領域について行う（ステップＳ７１１）。即ち、分割領域がＮ個ある場合には、分割領域１を撮像するための撮像方向、分割領域２を撮像するための撮像方向、…、分割領域Ｎを撮像するための撮像方向、というように、それぞれの分割領域について撮像方向を求める。なお、求める方法については第１の実施形態と同じである。
そしてステップＳ７０９で求めた撮像倍率を示すデータと、ステップＳ７１１でそれぞれの分割領域について求めた撮像方向を示すデータ（パン角のデータ、チルト角のデータ）とをカメラパラメータとしてＲＡＭ１４０２に一時的に格納する、若しくは外部記憶装置１４０５に保存する（ステップＳ７１２）。
そして以上の処理が完了し、操作部１４０４を用いて通常撮像動作の指示が入力されると、ＣＰＵ１４０１はこれを検知して通常撮像動作の為の処理を実行する。なお、通常撮像動作の為の処理の実行は図７のフローチャートに従った処理が完了すると即座に実行するようにしても良い。通常撮像動作の為にコンピュータ６９９が行う処理については第１の実施形態と同様であるので、ここでの説明は省略する。
［第３の実施形態］
図９は、本実施形態に係るシステムの機能構成を示すブロック図である。なお、同図において図１、６と同じ部分については同じ番号を付けており、その説明は省略する。図９に示す如く、本実施形態に係るシステムは、撮像部１００、雲台１１０、コンピュータ９９９により構成されている。
また、コンピュータ９９９は画像処理部１２０、表示部１３０、システム制御部９４０、カメラ制御部１５０、撮像領域設定部９７０、撮像倍率設定部９８０、分割撮像領域設定部６９０、特定被写体検出部９００、カメラ制御データ保持部６０１により構成されている。また、撮像領域設定部９７０は、画像合成部１７１、位置範囲指定部９７２から構成されている。
図１に示したものと異なる部分についてのみ説明する。システム制御部６４０は、コンピュータ９９９を構成する各部の制御を行う。撮像領域設定部９７０は、撮像部１００で撮像する領域を設定する。本実施形態に係るコンピュータ９９９が第２の実施形態に係るコンピュータ６９９と大きく異なる点は、特定被写体検出部９００を備える点にある。
特定被写体検出部９００は、撮像部１００によって撮像された画像中の特定の被写体の検出を行なう。例えば、監視システムであれば、特定の被写体の侵入を検出することも重要であり、そのためには、特定の被写体が検出できる撮像倍率で画像を撮像する必要がある。そこで、本実施形態では、撮像領域設定時に特定被写体部９００を用いて、撮像部１００で撮像された画像中の特定被写体を検出し、その特定被写体が画像中で所定の大きさになるように撮像倍率を設定する。
特定被写体を検出する技術は、一般にテンプレートマッチング等様々な手法が使用されており、特に限定はしない。ここでは、一例として、人間の顔を特定被写体とした場合を説明する。
以下の説明では、特定被写体として人間の顔を用いるが、以下の説明の本質がこれに限定するものではないことは以下の説明により明らかである。
図１０は、階層的処理により画像中の顔を検出する処理の過程を示す図である。この処理では、局所特徴をある階層で検出し、その検出結果を統合し、次の階層レベルのより複雑な局所特徴を検出する、という処理を繰り返して、最終的に被写体である顔を検出する。つまり、最初にプリミティブな特徴である１次特徴を検出し、その１次特徴の検出結果（検出レベルと位置関係）を用いて２次特徴を検出する。そして、２次特徴の検出結果を用いて３次特徴を検出、最後にその３次特徴の検出結果を用いて４次特徴である顔を検出する。
最初に、縦特徴（１−１）・横特徴（１−２）・右上がり斜め特徴（１−３）・右下がり斜め特徴（１−４）といった一次特徴量を検出する。ここに、縦特徴（１−１）とは縦方向のエッジセグメントを表す（以下同様である）。この検出結果は、各特徴毎に、入力画像と同等の大きさの検出結果画像という形で出力される。つまり、この例であれば４種類の検出結果画像が得られ、各特徴の検出結果画像の各位置の値を見て、入力画像のその位置に各特徴が存在するか否かが判断できる。
２次特徴量の、右空きＶ字特徴（２−１）・左空きＶ字特徴（２−２）・水平平行線特徴（２−３）・垂直平行線特徴（２−４）は、右空きＶ字特徴は右上がり斜め特徴と右下がり斜め特徴から、左空きＶ字特徴は右下がり斜め特徴と右上がり斜め特徴から、水平平行線特徴は横特徴から、垂直平行線特徴は縦特徴から検出を行なう。
また３次特徴量の目特徴（３−１）・口特徴（３−２）は、目特徴は右空きＶ字特徴と左空きＶ字特徴と水平平行線特徴と垂直平行線特徴とから、口特徴は右空きＶ字特徴と左空きＶ字特徴と水平平行線特徴とから検出を行なう。そして、４次特徴量である顔特徴（４−１）は、目特徴と口特徴とから検出を行なう。
なお、上記の検出手法を並列階層処理により画像認識を行う神経回路網を用いて実現することも可能であり、M.Matsugu,K.Mori,et.al, “Convolutional Spiking Neural Network Model for Robust Face Detection”,2002,Internatinal Conference On Neural Information Processing (ICONIP02) に記述がされている。
図１１は、並列階層処理により画像認識を行う神経回路網の構成を示す図である。この神経回路網は、入力データ中の局所領域において、対象または幾何学的特徴などの認識(検出)に関与する情報を階層的に扱うものであり、その基本構造はいわゆるConvolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, “Convolutional Networks for Images Speech, and Time Series” in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)である。最終層（最上位層）では検出したい被写体の有無と、存在すればその入力データ上の位置情報が得られる。
データ入力層１１０１は、画像データを入力する層である。最初の特徴検出層１１０２ａは、データ入力層１１０１より入力された画像パターンの局所的な低次の特徴（特定方向成分、特定空間周波数成分などの幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置を中心として局所領域（或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域）において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出する。
特徴統合層１１０３ａは、所定の受容野構造（以下、受容野とは直前の層の出力素子との結合範囲、受容野構造とはその結合荷重の分布を意味する）を有し、特徴検出層からの同一受容野内にある複数のニューロン素子出力の統合（局所平均化、最大出力検出等によるサブサンプリングなどの演算）を行う。この統合処理は、特徴検出層からの出力を空間的にぼかすことで、位置ずれや変形などを許容する役割を有する。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。
後続の層である各特徴検出層（１１０２ｂ、１１０２ｃ）及び各特徴統合層（１１０３ｂ、１１０３ｃ）は、上述した各層と同様に前者は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。
図１０に示した各特徴を検出するためには、図１１に示した各特徴検出層の検出に使用する各ニューロンの受容野構造をその特徴を検出するためのものに共通にすることで、各特徴の検出が可能である。また、最終層の顔検出層における顔の検出に使用する受容野構造を、各サイズや各回転量に適したものを用意し、顔特徴の検出において、顔が存在するという結果を得たときにどの受容野構造を用いて検出したかによって、その顔の大きさや向き等の顔データを得ることが出来る。
また、上記各受容野を、変更することで、顔だけを検出するのではなく、車等の他の被写体を検出することも可能である。
よって特定被写体検出部９００は、上述のような階層的な神経回路網による特定被写体検出処理を行うようにしても良いし、その方法については特に限定するものではない。
また、コンピュータ９９９のハードウェア構成については第１の実施形態と同じであるとする。
図１２は、本実施形態に係るシステムが領域設定動作を行う際にコンピュータ９９９が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１４０１に実行させるためのプログラムやデータは外部記憶装置１４０５に保存されており、これは適宜ＣＰＵ１４０１による制御に従ってＲＡＭ１４０２にロードされ、ＣＰＵ１４０１がこれを用いて処理を実行することで、コンピュータ１９０は後述する各処理を実行することになる。
先ず、ステップＳ１２０１〜ステップＳ１２０７の各ステップにおける処理は、図７のステップＳ７０１〜ステップＳ７０７と同じであるので、その説明は省略する。
ステップＳ１２０７における領域指定が成されると、ＣＰＵ１４０１は特定被写体検出部９００として機能し、指定された領域内で特定被写体を検出する処理を行う（ステップＳ１２０８）。
図１３（ａ）は特定被写体の例としての人間の顔を示す図で、図１３（ｂ）は指定された領域１３００内で検出された特定被写体１３０１を示す図である。なお、ステップＳ１２０７における領域指定処理は必ずしも必要ではなく、合成画像全体から特定被写体を検出するようにしても良い。
次に、ＣＰＵ１４０１は撮影倍率設定部９８０として機能し、ステップＳ１２０８で検出した特定被写体が通常撮像動作時に所定のサイズで撮像されるように撮像倍率を求める（ステップＳ１２０９）。被写体のサイズを求める方法は、例えば、図１０で示したように、顔を検出する際には、両目や口も検出されているため、両目と口の距離から求めることが可能である。また、図１１で説明したように、各サイズに適応した受容野を使用することで、顔のおおよそのサイズを得ることも出来る。これにより第１の実施形態で説明した方法を用いれば、ステップＳ１２０８で検出した特定被写体が通常撮像動作時に所定のサイズで撮像されるように撮像倍率を求めることができる。
図１３（ｃ）は、検出した被写体が所定のサイズで撮像されるように撮影倍率を設定したときに、一度に撮影可能な領域１３０２を示す図である。
そしてステップＳ１２１０〜ステップＳ１２１２の各ステップにおける処理はステップＳ７１０〜ステップＳ７１２の各ステップにおける処理と同じであるので、説明は省略する。
以上の説明により、本実施形態によって、一度に撮像する領域を、実際に検出する被写体を使用して設定できるため、通常撮影時の設定が容易に行なえるとともに、実際の検出精度が向上するという効果がある。
［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。 本発明の第１の実施形態に係るシステムが領域設定動作を行う際にコンピュータ１９０が行う処理のフローチャートである。 （ａ）は、撮像部１００のパン角、チルト角を更新しながら得た画像群を示す図、画像３００〜３１４を連結することで合成された１枚の画像を示す図、（ｂ）に示した画像３２０においてステップＳ２０７で指定された領域を示す図である。 通常撮影時に撮像部１００が領域３３０を撮像するために向ける方向を求めるための処理を説明する為の図である。 通常撮像動作の為にコンピュータ１９０が行う処理のフローチャートである。 本発明の第２の実施形態に係るシステムの機能構成を示すブロック図である。 本発明の第２の実施形態に係るシステムが領域設定動作を行う際にコンピュータ６９９が行う処理のフローチャートである。 （ａ）は図３（ｂ）に示した画像３２０において一度に撮像できないほどのサイズを有する領域８０１を示す図、（ｂ）は、領域８０１内でステップＳ７０８で設定された領域８０２を示す図、（ｃ）は、領域８０１（ステップＳ７０７で指定された領域に相当）を領域８０２（ステップＳ７０８で指定された領域に相当）で分割した結果を示す図である。 本発明の第３の実施形態に係るシステムの機能構成を示すブロック図である。 階層的処理により画像中の顔を検出する処理の過程を示す図である。 並列階層処理により画像認識を行う神経回路網の構成を示す図である。 本発明の第３の実施形態に係るシステムが領域設定動作を行う際にコンピュータ９９９が行う処理のフローチャートである。 （ａ）は特定被写体の例としての人間の顔を示す図、（ｂ）は指定された領域１３００内で検出された特定被写体１３０１を示す図、（ｃ）は、検出した被写体が所定のサイズで撮像されるように撮影倍率を設定したときに、一度に撮影可能な領域１３０２を示す図である。 コンピュータ１９０のハードウェア構成を示すブロック図である。

Claims (10)

  1. カメラにより得られた画像内で注目領域を指示する指示工程と、
    前記画像における前記注目領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記注目領域に含まれている対象物体が所定のサイズで撮像される為の撮像方向、撮像倍率を求める計算工程と
    を備えることを特徴とする画像処理方法。
  2. 前記計算工程では、前記カメラに設定された焦点距離ｆ、前記画像の中心位置を基準とした前記注目領域の位置Ｄｐ、を用いて前記カメラの撮像方向θを以下の式
    θ＝ａｒｃｔａｎ（Ｄｐ／ｆ）
    に従って求めることを特徴とする請求項１に記載の画像処理方法。
  3. 前記計算工程では、通常撮影時の画像の水平方向の画素数Ｎｎ、前記注目領域の範囲の画素数Ｎｒｐ、を用いて前記カメラの撮像倍率ＳＲを以下の式
    ＳＲ＝Ｎｎ／Ｎｒｐ
    に従って求めることを特徴とする請求項１に記載の画像処理方法。
  4. カメラにより得られた画像内で注目領域を指示する指示工程と、
    前記注目領域を複数の分割領域に分割する分割工程と、
    前記画像における前記分割領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記分割領域に含まれている対象物体が所定のサイズで撮像される為の撮像方向、撮像倍率を求める処理を、それぞれの分割領域毎に行う計算工程と
    を備えることを特徴とする画像処理方法。
  5. カメラにより得られた画像内で特定の被写体を検出する検出工程と、
    前記画像における前記被写体の領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記被写体の領域が所定のサイズで撮像される為の撮像方向、撮像倍率を求める計算工程と
    を備えることを特徴とする画像処理方法。
  6. カメラにより得られた画像内で注目領域を指示する指示手段と、
    前記画像における前記注目領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記注目領域に含まれている対象物体が所定のサイズで撮像される為の撮像方向、撮像倍率を求める計算手段と
    を備えることを特徴とする画像処理装置。
  7. カメラにより得られた画像内で注目領域を指示する指示手段と、
    前記注目領域を複数の分割領域に分割する分割手段と、
    前記画像における前記分割領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記分割領域に含まれている対象物体が所定のサイズで撮像される為の撮像方向、撮像倍率を求める処理を、それぞれの分割領域毎に行う計算手段と
    を備えることを特徴とする画像処理装置。
  8. カメラにより得られた画像内で特定の被写体を検出する検出手段と、
    前記画像における前記被写体の領域の位置及びサイズと、前記画像を得るために前記カメラに設定されたカメラパラメータとを用いて、前記被写体の領域が所定のサイズで撮像される為の撮像方向、撮像倍率を求める計算手段と
    を備えることを特徴とする画像処理装置。
  9. コンピュータに請求項１乃至５の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
  10. 請求項９に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
JP2005104368A 2005-03-31 2005-03-31 画像処理方法、画像処理装置 Pending JP2006287589A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005104368A JP2006287589A (ja) 2005-03-31 2005-03-31 画像処理方法、画像処理装置
US11/376,882 US8077246B2 (en) 2005-03-31 2006-03-15 Method and apparatus for controlling imaging direction and magnification of camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005104368A JP2006287589A (ja) 2005-03-31 2005-03-31 画像処理方法、画像処理装置

Publications (2)

Publication Number Publication Date
JP2006287589A true JP2006287589A (ja) 2006-10-19
JP2006287589A5 JP2006287589A5 (ja) 2010-04-22

Family

ID=37070611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005104368A Pending JP2006287589A (ja) 2005-03-31 2005-03-31 画像処理方法、画像処理装置

Country Status (2)

Country Link
US (1) US8077246B2 (ja)
JP (1) JP2006287589A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237628A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp オブジェクト検出方法、オブジェクト検出装置、印刷装置、オブジェクト検出プログラムおよびオブジェクト検出プログラムを記録したコンピュータ読取可能な記録媒体
TWI715148B (zh) * 2019-08-14 2021-01-01 宏碁股份有限公司 電子裝置與其畫面視角辨識方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5437095B2 (ja) * 2009-05-19 2014-03-12 東芝機械株式会社 敷ブロックの配置方法、敷ブロック移動用工具、および、その工具を備えた工作機械
US8395653B2 (en) 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US8842161B2 (en) 2010-05-18 2014-09-23 Polycom, Inc. Videoconferencing system having adjunct camera for auto-framing and tracking
US9723260B2 (en) 2010-05-18 2017-08-01 Polycom, Inc. Voice tracking camera with speaker identification
US8248448B2 (en) * 2010-05-18 2012-08-21 Polycom, Inc. Automatic camera framing for videoconferencing
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
WO2019035007A1 (en) * 2017-08-15 2019-02-21 American Well Corporation APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT
JP7414551B2 (ja) * 2020-01-24 2024-01-16 キヤノン株式会社 制御装置および制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217187A (ja) * 1992-10-14 1994-08-05 Mitsubishi Electric Corp 撮像装置，動きベクトル検出装置及び画像揺れ補正装置
JPH0837615A (ja) * 1994-07-22 1996-02-06 Nec Corp 移動体撮影装置
JPH10108163A (ja) * 1996-09-26 1998-04-24 Sony Corp ビデオ装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111288A (en) * 1988-03-02 1992-05-05 Diamond Electronics, Inc. Surveillance camera system
EP1686802A3 (en) * 1993-09-20 2008-05-21 Canon Kabushiki Kaisha Video system
JPH099231A (ja) 1995-06-16 1997-01-10 Canon Inc ビデオ会議システム及びカメラ制御システム
US20020101530A1 (en) * 2001-01-29 2002-08-01 Philips Electronics North America Corporation Camera system and method for operating same
JP4226231B2 (ja) * 2001-06-13 2009-02-18 株式会社日立国際電気 映像信号処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217187A (ja) * 1992-10-14 1994-08-05 Mitsubishi Electric Corp 撮像装置，動きベクトル検出装置及び画像揺れ補正装置
JPH0837615A (ja) * 1994-07-22 1996-02-06 Nec Corp 移動体撮影装置
JPH10108163A (ja) * 1996-09-26 1998-04-24 Sony Corp ビデオ装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237628A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp オブジェクト検出方法、オブジェクト検出装置、印刷装置、オブジェクト検出プログラムおよびオブジェクト検出プログラムを記録したコンピュータ読取可能な記録媒体
TWI715148B (zh) * 2019-08-14 2021-01-01 宏碁股份有限公司 電子裝置與其畫面視角辨識方法
US11169603B2 (en) 2019-08-14 2021-11-09 Acer Incorporated Electronic apparatus and method for recognizing view angle of displayed screen thereof

Also Published As

Publication number Publication date
US20060222354A1 (en) 2006-10-05
US8077246B2 (en) 2011-12-13

Similar Documents

Publication Publication Date Title
JP2006287589A (ja) 画像処理方法、画像処理装置
US7215364B2 (en) Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array
US8861806B2 (en) Real-time face tracking with reference images
JP4377932B2 (ja) パノラマ画像生成装置およびプログラム
US6819778B2 (en) Method and system for tracking a fast moving object
US8928730B2 (en) Method and system for correcting a distorted input image
US20210176395A1 (en) Gimbal system and image processing method thereof and unmanned aerial vehicle
JPH1093808A (ja) 画像合成装置および方法
JP6436783B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP5313127B2 (ja) 映像合成方法、映像合成システム
WO2019238113A1 (zh) 成像方法、装置、终端和存储介质
JP2020053774A (ja) 撮像装置および画像記録方法
CN108805807A (zh) 环景图像的拼接方法及其系统
JP5183152B2 (ja) 画像処理装置
JP5566199B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
JP2001243476A (ja) 移動体の監視方法および装置
JP2011188258A (ja) カメラシステム
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP2001136431A (ja) カメラ制御装置及びカメラ制御方法及び記憶媒体
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP2009169884A (ja) 撮影装置および撮影装置の制御方法、画像再生装置および方法並びにプログラム
JP2009027437A (ja) 画像処理装置，画像処理方法及び撮像装置
JPH07162730A (ja) 移動体撮像装置
CN110692235A (zh) 图像处理装置、图像处理程序及图像处理方法
KR20220108683A (ko) 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100813