JP2003319262A - Image pickup camera apparatus and image data reading method for imager - Google Patents

Image pickup camera apparatus and image data reading method for imager

Info

Publication number
JP2003319262A
JP2003319262A JP2002116362A JP2002116362A JP2003319262A JP 2003319262 A JP2003319262 A JP 2003319262A JP 2002116362 A JP2002116362 A JP 2002116362A JP 2002116362 A JP2002116362 A JP 2002116362A JP 2003319262 A JP2003319262 A JP 2003319262A
Authority
JP
Japan
Prior art keywords
image data
image
pixel
imager
coordinate conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002116362A
Other languages
Japanese (ja)
Other versions
JP4175828B2 (en
Inventor
Idaku Ishii
抱 石井
Tomohiko Nagase
朋彦 長瀬
Kenji Tajima
健司 田嶋
Hiroshi Nagai
弘史 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PHOTRON Ltd
Original Assignee
PHOTRON Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PHOTRON Ltd filed Critical PHOTRON Ltd
Priority to JP2002116362A priority Critical patent/JP4175828B2/en
Publication of JP2003319262A publication Critical patent/JP2003319262A/en
Application granted granted Critical
Publication of JP4175828B2 publication Critical patent/JP4175828B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To make a high spatial resolution compatible with a high-speed real- time property in an image pickup camera apparatus configured to present a feature amount of an image. <P>SOLUTION: In the image pickup camera apparatus equipped with a camera head 11, the camera head 11 is provided with an imager 21 for scanning a partial area of an image pickup area in a prescribed pixel size in accordance with designated position information and outputting image data in the relevant partial area and a computing element 22 for receiving the image data in the partial area outputted from the imager 21 and operating the image feature amount and a coordinate transformation parameter for the next frame based upon the image data and a designated coordinate transformation parameter. Besides, the camera head 11 is equipped with a coordinate transforming circuit 23 for designating a pixel position to be scanned by the imager 21 based upon the coordinate transformation parameter for the next frame operated by the computing element 22 and the image data in the partial area. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、撮像用の所定サイ
ズの画素領域を有し且つこの画素領域にランダムアクセ
ス可能な2次元イメージングセンサを備え、このイメー
ジセンサのランダムアクセス機能を用いて高空間解像度
と高速リアルタイム性とを両立させる撮像カメラ装置及
びイメージャの画像データ読取り方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention is provided with a two-dimensional imaging sensor having a pixel area of a predetermined size for imaging and capable of random access to this pixel area. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an imaging camera device and a method for reading image data of an imager that achieves both high resolution and high-speed real-time property.

【0002】[0002]

【従来の技術】従来、撮像カメラは種々の分野で多種多
用な態様で使用されるようになってきている。このよう
な使用上の広がりが進むにつれて、撮像カメラに求めら
れる要求も徐々に高まっている。その一つに、高空間解
像度と高速リアルタイム性の両立がある。
2. Description of the Related Art Conventionally, image pickup cameras have been used in various fields in various fields. With the spread of such use, the demands for the imaging camera are gradually increasing. One of them is the compatibility of high spatial resolution and high-speed real-time performance.

【0003】撮像対象をより精細に観察する上で、空間
解像度を高めることは必須である。高空間解像度にする
ことで、撮像対象の認識能力を向上させることができる
一方で、同時計測範囲を広域化できる。また、高いリア
ルタイム性を得ることで、高速に動く対象を認識するこ
とができ、俊敏な応答が可能になる。一般の視覚システ
ムは、テレビジョンの規格(NTSC)にみられるよう
に、通常、1秒間に30フレームのレートで撮像してい
る。このフレームレートの場合、例えば300km/h
で走行する新幹線鉄道は各フレーム間に約2.7mも走
行するし、200km/hで飛んでくるサーブ時のテニ
スボールは各フレーム間に約2.7mも進む。このた
め、高速に進む撮像対象の場合、リアルタイム性に不足
し、必要な情報が欠落することが多い。
In order to observe an imaged object more finely, it is essential to increase the spatial resolution. The high spatial resolution can improve the recognition ability of the imaging target, while widening the simultaneous measurement range. Also, by obtaining a high real-time property, it is possible to recognize an object that moves at high speed, and to provide an agile response. A general vision system normally captures images at a rate of 30 frames per second as found in the television standard (NTSC). With this frame rate, for example, 300 km / h
The Shinkansen railway that runs at about 2.7m travels between frames, and the serve tennis ball flying at 200km / h travels about 2.7m between frames. For this reason, in the case of an imaging target that advances at high speed, the real-time property is insufficient, and necessary information is often lost.

【0004】高い空間解像度と高速リアルタイム性は互
いに相反する性質があり、通常は、何れか一方をある程
度に抑制してもう一方の機能を高めるという構成が多用
されている。
High spatial resolution and high-speed real-time property are contradictory to each other, and a structure in which either one is suppressed to a certain degree and the function of the other is enhanced is often used.

【0005】このような状況にあって、近年の撮像カメ
ラの一つに、固体イメージセンサとしてのCMOSイメ
ージセンサを搭載したものが多く使用されるようになっ
てきた。この撮像カメラは、例えば論文“A.Krymsk i.
D.V.Blerkon,A.Anderson,et.al.,“A high-speed 500fr
ame/s 1024×1024 CMOS image sensor” Dig. Tech. Pa
pers Symp.on VLSI Circuits,No.14-3,June 1999“で知
られている。
Under these circumstances, one of the recent imaging cameras equipped with a CMOS image sensor as a solid-state image sensor has been widely used. This imaging camera is described, for example, in the paper “A. Krymsk i.
DVBlerkon, A.Anderson, et.al., “A high-speed 500fr
ame / s 1024 × 1024 CMOS image sensor ”Dig. Tech. Pa
Pers Symp.on VLSI Circuits, No.14-3, June 1999 ".

【0006】このような撮像カメラは、大略、CMOS
で形成される画素回路を含むセンサと、このセンサで読
み出された画素信号を転送して必要な処理を行う信号処
理装置を備えている。これにより、CMOSイメージセ
ンサの特徴を活かしながら、空間解像度も比較的高く且
つ高いリアルタイム性を有する撮像カメラを提供できる
ものと期待されている。
Such an imaging camera is generally a CMOS
A sensor including the pixel circuit formed in 1. and a signal processing device that transfers the pixel signal read by the sensor and performs necessary processing are provided. Accordingly, it is expected that an imaging camera having a relatively high spatial resolution and a high real-time property can be provided while taking advantage of the characteristics of the CMOS image sensor.

【0007】[0007]

【発明が解決しようとする課題】しかしながら、上述の
ように高空間解像度と高速リアルタイム性との両立をあ
る程度以上まで追及すると、従来の撮像カメラの場合、
センサから信号処理装置へ画像信号を送信するときの通
信能力と、信号処理装置自体の処理能力という2つの点
で限界があった。例えば、100万画素の画素回路を用
い、秒間1000コマのフレームレート(すなわち、1
000FPS(Frame Per Second))でスキャンしただけ
でも、センサから画像処理装置への画素信号の通信能力
として、1GByte/secのデータ転送レートが必
要になるし、画像処理装置には同様に1GByte/s
ec以上のデータ処理能力が要求される。これらの要求
は、現在の技術レベルをもってしても、実現は殆ど困難
であると言わざるを得ない。センサの画素領域は益々広
域化する傾向にあるので、かかる状況は一層深刻になり
つつある。
However, in the case of the conventional image pickup camera, if the compatibility of the high spatial resolution and the high-speed real-time property is pursued to a certain extent as described above,
There is a limit in two points, that is, the communication capability when the image signal is transmitted from the sensor to the signal processing device and the processing capability of the signal processing device itself. For example, using a pixel circuit of 1 million pixels, a frame rate of 1000 frames per second (that is, 1
000 FPS (Frame Per Second) only requires a data transfer rate of 1 GByte / sec for the pixel signal communication capability from the sensor to the image processing apparatus, and the image processing apparatus similarly needs 1 GByte / s.
A data processing capacity of ec or more is required. It must be said that these requirements are almost difficult to realize even with the current technical level. This situation is becoming more serious as the pixel area of the sensor tends to become wider.

【0008】本発明は、上述した従来の撮像カメラに係
る高空間解像度と高速リアルタイム性との両立に関わる
困難な状況を打破するもので、イメージセンサから出力
された画素信号を信号処理装置で処理して画像、とくに
画像の特徴量(例えば移動する物体の移動情報)を可視
化する構成の撮像カメラ装置において、イメージセンサ
から信号処理装置への通信能力の範囲内で、高空間解像
度と高速リアルタイム性とを両立させた撮像カメラ装置
を提供することを、その目的とする。
The present invention overcomes the difficult situation relating to the compatibility of high spatial resolution and high-speed real-time characteristics of the conventional image pickup camera described above. The pixel signal output from the image sensor is processed by the signal processing device. In an imaging camera device configured to visualize an image, particularly a feature amount of the image (for example, movement information of a moving object), a high spatial resolution and a high-speed real-time property can be achieved within the range of communication capability from the image sensor to the signal processing device. It is an object of the present invention to provide an image pickup camera device that achieves both of the above.

【0009】[0009]

【課題を解決するための手段】本発明は、イメージセン
サから出力された画素信号を信号処理装置で処理して画
像の特徴量(例えば移動する物体の移動情報(物体の重
心位置など))を可視化する構成の撮像カメラ装置にお
いて、一般に、イメージセンサの各画素で収集された画
像信号を全て信号処理装置(信号処理手段)に転送して
処理する必要は無いことが多い、という事実に着眼して
なされたものである。逆に言えば、本発明は、信号処理
装置には、画像の特徴量を演算するのに必要な画素情報
のみを伝送して処理させれば十分であるという、本発明
者の検証結果に基づいている。
According to the present invention, a pixel signal output from an image sensor is processed by a signal processing device to obtain a feature amount of an image (for example, movement information of a moving object (position of the center of gravity of the object)). Focusing on the fact that it is often not necessary to transfer all the image signals collected by each pixel of the image sensor to a signal processing device (signal processing means) for processing in an imaging camera device configured to visualize It was done. In other words, the present invention is based on the verification result of the present inventor that the signal processing device needs to transmit and process only the pixel information necessary for calculating the feature amount of the image. ing.

【0010】本発明に係る撮像カメラ装置は具体的には
以下のように構成される。
The image pickup camera device according to the present invention is specifically configured as follows.

【0011】本発明の撮像カメラ装置の1つの態様によ
れば、所定サイズの画素領域を有し且つこの画素領域を
画素位置情報に応じて画素毎にスキャンして当該画素領
域の部分領域の画像データを出力するイメージャと、こ
のイメージャから出力された前記部分領域の画像データ
を受信するとともに、前記画像データと指定された座標
変換パラメータとに基づいて画像特徴量及び次フレーム
用の座標変換パラメータをフレーム毎に演算する演算手
段と、この演算手段により演算された次フレーム用の座
標変換パラメータと前記部分領域の画像データとに基づ
いて前記イメージャによるスキャンの画素位置を指定す
る指定手段とを備えた、ことを特徴とする。
According to one aspect of the image pickup camera device of the present invention, the image pickup device has a pixel area of a predetermined size, and the pixel area is scanned pixel by pixel according to the pixel position information to obtain an image of a partial area of the pixel area. An imager that outputs data and image data of the partial area output from the imager are received, and an image feature amount and a coordinate conversion parameter for the next frame are set based on the image data and a specified coordinate conversion parameter. A calculation means for calculating each frame, and a specification means for specifying a pixel position for scanning by the imager based on the coordinate conversion parameter for the next frame calculated by the calculation means and the image data of the partial area are provided. , Is characterized.

【0012】好適には、前記演算手段は、前記画像デー
タに前記指定された座標変換パラメータによる座標変換
処理を施して前記画像特徴量を演算し、当該画像特徴量
を画像信号として出力する画像特徴量演算手段を有す
る。この場合、さらに、前記演算手段は、前記画像デー
タと前記指定された座標変換パラメータとに基づいて前
記部分領域を、前記画像特徴量を呈する対象に追跡させ
るための前記座標変換パラメータを演算する座標変換パ
ラメータ演算手段を有することが望ましい。例えば、前
記座標変換パラメータ演算手段は、前記対象を視野内に
固定して観測可能な前記座標変換パラメータを演算する
ように構成される。
Preferably, the arithmetic means calculates the image feature amount by performing coordinate conversion processing on the image data by the designated coordinate conversion parameter, and outputs the image feature amount as an image signal. It has a quantity calculation means. In this case, further, the calculation means calculates coordinates of the coordinate conversion parameter for causing the target exhibiting the image feature amount to track the partial area based on the image data and the specified coordinate conversion parameter. It is desirable to have a conversion parameter calculation means. For example, the coordinate conversion parameter calculation means is configured to calculate the coordinate conversion parameter that can be observed while the object is fixed in the field of view.

【0013】一例として、前記座標変換処理はアフィン
変換である。
As an example, the coordinate transformation process is an affine transformation.

【0014】また別の好適な例として、前記イメージャ
は、前記画素領域を呈するCMOS(complementary me
tal oxide semiconductor)で形成されたイメージング
センサを有することが挙げられる。
As another preferable example, the imager may be a complementary metal oxide semiconductor (CMOS) that exhibits the pixel region.
tal oxide semiconductor).

【0015】また、本発明の係る撮像カメラ装置の別の
態様によれば、所定サイズの画素領域を有し且つこの画
素領域を画素位置指定情報に応じて画素毎にスキャンし
て当該画素領域の部分領域の画像データを出力可能なイ
メージャと、このイメージャから出力された前記部分領
域のフレーム毎の画像データから次フレームに対する前
記部分領域のスキャンの画素位置を電子的にフィードバ
ック制御するフィードバック制御手段とを備えたことを
特徴とする。
According to another aspect of the image pickup camera device of the present invention, it has a pixel area of a predetermined size and scans this pixel area for each pixel according to the pixel position designation information. An imager capable of outputting image data of a partial area, and feedback control means for electronically feedback-controlling the pixel position of scanning of the partial area with respect to the next frame from image data of each frame of the partial area output from the imager. It is characterized by having.

【0016】さらに、本発明の係る撮像カメラ装置のさ
らに別の態様によれば、カメラヘッドを備えた撮像カメ
ラ装置であって、前記カメラヘッドは、所定サイズの画
素領域を有し且つこの画素領域を画素位置指定情報に応
じて画素毎にスキャンして当該画素領域の部分領域の画
像データを出力可能なイメージャと、このイメージャか
ら出力された前記部分領域の画像データを受信するとと
もに、前記画像データと指定された座標変換パラメータ
とに基づいて画像特徴量及び次フレーム用の座標変換パ
ラメータをフレーム毎に演算する演算器と、この演算器
により演算された次フレーム用の座標変換パラメータと
前記部分領域の画像データとに基づいて前記イメージャ
によるスキャンの画素位置を指定する座標変換回路とを
備えた、ことを特徴とする。
According to still another aspect of the image pickup camera device of the present invention, the image pickup camera device is provided with a camera head, wherein the camera head has a pixel area of a predetermined size, and the pixel area has a predetermined size. An imager capable of outputting the image data of the partial area of the pixel area by scanning for each pixel according to the pixel position designation information, and receiving the image data of the partial area output from the imager, And a coordinate conversion parameter for the next frame calculated for each frame on the basis of the specified coordinate conversion parameter and the coordinate conversion parameter for the next frame, and the coordinate conversion parameter for the next frame calculated by the calculator and the partial area. And a coordinate conversion circuit that specifies a pixel position for scanning by the imager based on the image data of To.

【0017】一方、本発明に係るイメージャの画像デー
タ読取り方法は、イメージャの所定サイズの画素領域を
画素指定位置情報に応じて画素毎にスキャンして当該画
素領域の部分領域の画像データを出力する画像データ読
取り方法であり、前記イメージャから出力された前記部
分領域の画像データを受信するステップと、前記画像デ
ータと指定された座標変換パラメータとに基づいて次フ
レーム用の座標変換パラメータをフレーム毎に演算する
ステップと、前記次フレーム用の座標変換パラメータと
前記部分領域の画像データとに基づいて前記イメージャ
によるスキャンの画素位置を指定するステップと、を含
むことを特徴とする。この場合、前記演算のステップ
は、前記画像データに前記指定された座標変換パラメー
タによる座標変換処理を施して前記画像特徴量を演算
し、当該画像特徴量を画像信号として出力する処理を含
むことが望ましい。
On the other hand, in the image data reading method of the imager according to the present invention, a pixel area of a predetermined size of the imager is scanned pixel by pixel according to the pixel designated position information, and the image data of the partial area of the pixel area is output. An image data reading method, the step of receiving the image data of the partial area output from the imager, and the coordinate conversion parameter for the next frame for each frame based on the image data and the specified coordinate conversion parameter. And a step of designating a pixel position for scanning by the imager based on the coordinate conversion parameter for the next frame and the image data of the partial area. In this case, the step of calculating may include a process of performing a coordinate conversion process on the image data with the specified coordinate conversion parameter to calculate the image feature amount and outputting the image feature amount as an image signal. desirable.

【0018】[0018]

【発明の実施の形態】以下、本発明に係る撮像カメラ装
置の1つの実施形態を、図1〜4に基づいて説明する。
BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of an image pickup camera device according to the present invention will be described below with reference to FIGS.

【0019】図1に、本実施形態に係る撮像カメラ装置
の概略構成を示す。同図に示すように、この撮像カメラ
装置1は、本発明の特徴に係る構成を有するカメラヘッ
ド11を備えるとともに、このカメラヘッド11の信号
出力端に順次、接続される後処理器12、A/D変換器
13、及びモニタ14を備える。
FIG. 1 shows a schematic configuration of the image pickup camera device according to this embodiment. As shown in the figure, the imaging camera device 1 includes a camera head 11 having a configuration according to the features of the present invention, and a post-processor 12, A that is sequentially connected to a signal output terminal of the camera head 11. A / D converter 13 and a monitor 14 are provided.

【0020】カメラヘッド11は更に、入射する光信号
を電気信号に変換して画像データとして出力するイメー
ジャ21と、このイメージャ21から出力された画像デ
ータに所定の演算処理を施す演算器22と、イメージャ
21にスキャン座標値を与える座標変換回路23とを備
える。
The camera head 11 further includes an imager 21 for converting an incident optical signal into an electric signal and outputting it as image data, and an arithmetic unit 22 for subjecting the image data output from the imager 21 to predetermined arithmetic processing. A coordinate conversion circuit 23 that gives scan coordinate values to the imager 21.

【0021】このうち、イメージャ21はCMOS(co
mplementary metal oxide semiconductor)で形成され
た所定マトリクスサイズ(例えば1024×1024画
素)の画素領域を有するイメージセンサIMを備えると
ともに、この画素領域の中から、指定された画素位置に
応じて部分領域(例えば64×64画素)のみを切り出
し、この部分領域内の画素から画素信号(画像データ)
を読み出すことができるように構成されている。すなわ
ち、イメージャ21は、任意の位置の画素のみを選択的
にスキャンするためのランダムスキャンの機能を有して
おり、この機能を用いて任意の部分領域のみをスキャン
する、いわゆるエリアスキャンを実行できるようになっ
ている。このエリアスキャンのための画像座標値は座標
変換回路23から与えられる。
Of these, the imager 21 is a CMOS (co
An image sensor IM having a pixel area of a predetermined matrix size (for example, 1024 × 1024 pixels) formed of complementary metal oxide semiconductor) is provided, and a partial area (for example, a pixel area) corresponding to a designated pixel position is selected from the pixel area. (64 × 64 pixels) only, and pixel signals (image data) are output from the pixels in this partial area.
Is configured to be read. That is, the imager 21 has a function of random scanning for selectively scanning only pixels at arbitrary positions, and using this function, it is possible to perform so-called area scanning for scanning only arbitrary partial areas. It is like this. The image coordinate value for this area scan is given from the coordinate conversion circuit 23.

【0022】このため、座標変換回路23から画像座標
値が指定される度に、イメージャ21は、その指定座標
位置に対応する画素をアクセスして画素信号を読み出
し、出力する。この読出し信号は、十分な帯域をもった
バスBを介して演算器22に伝送される。これにより、
図2に示す如く、イメージャ21のイメージングセンサ
IMが有する全画素領域「M×N画素」のうちの部分的
な領域「m×n画素」が切り出され、かかる部分領域の
画像データが演算器22の内蔵メモリに蓄積される。但
し、m<M、かつ、n<Nである。
Therefore, each time the coordinate coordinate circuit 23 designates an image coordinate value, the imager 21 accesses the pixel corresponding to the designated coordinate position to read out and output a pixel signal. This read signal is transmitted to the arithmetic unit 22 via the bus B having a sufficient band. This allows
As shown in FIG. 2, a partial region “m × n pixels” of the entire pixel region “M × N pixels” included in the imaging sensor IM of the imager 21 is cut out, and the image data of the partial region is calculated by the calculator 22. It is stored in the built-in memory of. However, m <M and n <N.

【0023】この結果、イメージャから出力される画像
データ=I(X(x),Y(x)、演算器22の内
蔵メモリにフレーム毎に記憶される画像データ=I´
(x,y)とすると、
As a result, the image data output from the imager = I (X k (x), Y k (x), and the image data stored in the internal memory of the arithmetic unit 22 for each frame = I '.
If (x, y),

【数1】 になる。ここで、X,Yは、M×N画素の画素領域に対
する行及び列を示し、一方、x、yは、m×n画素の部
分領域の行及び列を示す。kはk番目のフレームの画素
データであることを示す。
[Equation 1] become. Here, X and Y indicate rows and columns for the pixel region of M × N pixels, while x and y indicate rows and columns of the partial region of m × n pixels. k indicates that it is pixel data of the kth frame.

【0024】演算器22は、インターフェース22A、
書込み・読出し回路22B、及び、上述した内蔵メモリ
22Cに加え、このメモリ22Cから読み出された画素
データを用いて所定の演算を行うCPU(中央処理装
置)22D、このCPU22Dに所望の演算機能を与え
るプログラムを記憶したROM22E、及びCPUがワ
ークメモリとしてデータを一時記憶するためのRAM2
2Fを備えている。
The computing unit 22 includes an interface 22A,
In addition to the writing / reading circuit 22B and the above-mentioned built-in memory 22C, a CPU (central processing unit) 22D that performs a predetermined calculation using the pixel data read from this memory 22C, and a desired calculation function for this CPU 22D ROM 22E storing a program to be given, and RAM 2 for the CPU to temporarily store data as work memory
It has 2F.

【0025】この演算器22は、そのCPU22Dのソ
フトウエア処理により、下記のように画像特徴量及び座
標変換パラメータを演算するようにCPU22Dを駆動
させるプログラムが設定されている。
A program for driving the CPU 22D is set in the computing unit 22 by software processing of the CPU 22D so as to compute the image feature amount and the coordinate conversion parameter as described below.

【0026】いま、イメージャ21から送信されてきた
1フレーム(m×n画素)の画像データ=I´(x,
y)、及び、座標変換パラメータ=ρに基づいて、画
像特徴量ζを演算する。すなわち、
Image data of one frame (m × n pixels) transmitted from the imager 21 = I '(x,
y) and based on the coordinate conversion parameter = ρ k , the image feature amount ζ k is calculated. That is,

【数2】 ζ=G(I´(x,y),ρ) ……(2) である。ここで、Gは、画像特徴量を演算するための適
宜な関数である。
## EQU2 ## ζ k = G (I '(x, y), ρ k ) ... (2) Here, G is an appropriate function for calculating the image feature amount.

【0027】画像特徴量とは、上記(2)式のように、
画像に所望の演算を施して得られる物理量を意味し、例
えば撮像された物体の重心位置や面積などである。
The image feature amount is, as in the above equation (2),
It means a physical quantity obtained by performing a desired calculation on an image, and is, for example, the center of gravity position or area of an imaged object.

【0028】また、演算器22は、イメージャ21から
送信されてきた1フレーム(m×n画素)の画像データ
=I´(x,y)、及び、座標変換パラメータ=ρ
基づいて、次フレームk+1用の新たな座標変換パラメ
ータρk+1を演算する。すなわち、
Further, the arithmetic unit 22 calculates the next based on the image data of one frame (m × n pixels) = I ′ (x, y) transmitted from the imager 21 and the coordinate conversion parameter = ρ k. calculating a new coordinate transformation parameter [rho k + 1 of frame k + 1. That is,

【数3】 である。ここで、Hは、新たな座標変換パラメータρ
k+1の演算ための適宜な関数である。
[Equation 3] Is. Here, H is a new coordinate conversion parameter ρ
It is an appropriate function for calculating k + 1 .

【0029】本実施形態では、座標変換としてアフィン
変換を用い、その座標変換パラメータρとしてアフィン
変換パラメータを用いている。座標変換としては、この
他にも、極座標変換又は射影変換を用いることができ
る。
In this embodiment, the affine transformation is used as the coordinate transformation, and the affine transformation parameter is used as the coordinate transformation parameter ρ. In addition to this, polar coordinate conversion or projective conversion can be used as the coordinate conversion.

【0030】座標変換法として2次元のアフィン変換を
用いる場合、その一般行列式は、アフィン変換パラメー
タa〜f、並びに、イメージングセンサIMの画素領域
の座標値(X,Y)及びその部分領域の座標値(x,
y)としたときに、周知の如く、
When the two-dimensional affine transformation is used as the coordinate transformation method, the general determinant is that the affine transformation parameters a to f, the coordinate value (X, Y) of the pixel area of the imaging sensor IM and its partial area. Coordinate value (x,
y), as is well known,

【数4】 で表される。これにより、2次元画像に対して拡大/縮
小、回転、並進移動、及び剪断変形させることができ
る。
[Equation 4] It is represented by. With this, the two-dimensional image can be enlarged / reduced, rotated, translated, and sheared.

【0031】演算器22で演算される上述した物理量の
うち、画像特徴量ζは後処理器12に送られて、所望
の後処理に付される。この後処理された画像データはA
/D変換器13を介してモニタ14に送られ、表示され
る。一方、座標変換パラメータρk+1は座標変換回路
23に送られる。
Of the above-mentioned physical quantities calculated by the calculator 22, the image feature quantity ζ k is sent to the post-processor 12 and subjected to desired post-processing. The image data processed after this is A
It is sent to the monitor 14 via the / D converter 13 and displayed. On the other hand, the coordinate conversion parameter ρ k + 1 is sent to the coordinate conversion circuit 23.

【0032】さらに、座標変換回路23は、演算器22
から送られてくる次フレームk+1用の座標変換パラメ
ータρk+1に基づいて、イメージャ21の所望の画素
或いは部分領域に属する画素を読み出すために必要とさ
れる、イメージャ21の画素領域(M×N画素)におけ
る画素位置(X(x),Y(x))を演算する。こ
れを、適宜な関数Fを用いて定量的に表すと、
Further, the coordinate conversion circuit 23 includes a calculator 22.
From, based on the following frame k + coordinate transformation parameter [rho k + 1 for 1 sent, desired pixel or is required to read the pixels belonging to the partial area, the pixel area of the imager 21 (M × N pixels of the imager 21 ), The pixel position (X k (x), Y k (x)) is calculated. If this is quantitatively expressed using an appropriate function F,

【数5】 である。なお、座標変換回路13には、演算器12で処
理する部分領域の画素を指定する画像座標値x,y(x
=1,2,…,m;y=1,2,…,n)が、予め定め
たアルゴリズムによって自動的に、又は、オペレータに
よりその都度任意に与えられている。
[Equation 5] Is. It should be noted that the coordinate conversion circuit 13 includes image coordinate values x, y (x
, 1, 2, ..., M; y = 1, 2, ..., N) is given automatically by a predetermined algorithm or arbitrarily by an operator each time.

【0033】次に、本実施形態に係る撮像カメラ装置の
作用効果を説明する。
Next, the operation and effect of the image pickup camera device according to this embodiment will be described.

【0034】いま、画像変換回路23は、演算装置22
から送られてきた座標変換パラメータ(本実施形態では
アフィン変換パラメータ)及び部分領域の画像データを
用いて次フレームに対する各画像座標値(X(x),
(x))を演算しており、これを所定周期毎にイメ
ージャ21に与える。これにより、k番目のフレームに
係る、M×Nの画素領域から切り出すべき部分領域(m
×n画素)の各画素位置(X(x),Y(x))が
座標変換回路23からイメージャ21に順次与えられ
る。
Now, the image conversion circuit 23 is operated by the arithmetic unit 22.
Using the coordinate transformation parameters (affine transformation parameters in this embodiment) and the image data of the partial area sent from the image coordinate values (X k (x),
Y k (x)) is calculated and given to the imager 21 every predetermined period. As a result, the partial region (m that is to be cut out from the M × N pixel region of the k-th frame) (m
Each pixel position (X k (x), Y k (x)) of (× n pixels) is sequentially given from the coordinate conversion circuit 23 to the imager 21.

【0035】イメージャ21は、この指定された画素位
置(X(x),Y(x))の各画素の画素信号を画
像データI(X,Y)として画素毎に読み出し、この画
像データI(X,Y)をバスBを介して演算器22に伝
送する。これにより、演算器22には、処理対象の画像
データI´(x,y)が格納される。この格納が、エリ
アスキャンに係る部分領域の全画素について繰り返され
るので、k番目フレームの部分領域の画像データI´
(x,y)が得られる。
The imager 21 reads the pixel signal of each pixel at the designated pixel position (X k (x), Y k (x)) as image data I (X, Y) for each pixel, and this image data I (X, Y) is transmitted to the arithmetic unit 22 via the bus B. As a result, the image data I ′ (x, y) to be processed is stored in the computing unit 22. Since this storage is repeated for all pixels of the partial area related to the area scan, the image data I ′ of the partial area of the k-th frame
(X, y) is obtained.

【0036】このkフレーム目の画像データI´(x,
y)が揃った時点で、演算器22は、前述したように、
画像特徴量ζ及びk+1フレーム目の新たな座標変換
パラメータρk+1を演算する。このうち、画像特徴量
ζは後処理器12及びA/D変換器13を介してモニ
タ14に送られ、部分領域(m×n画素)の画像として
表示される。
The image data I '(x,
When y) has been completed, the computing unit 22 uses, as described above,
The image feature amount ζ k and a new coordinate conversion parameter ρ k + 1 of the k + 1th frame are calculated. Of these, the image feature amount ζ k is sent to the monitor 14 via the post-processor 12 and the A / D converter 13, and is displayed as an image of the partial region (m × n pixels).

【0037】一方、k+1フレーム目の新たな座標変換
パラメータρk+1は座標変換回路23に送られる。こ
れに応答して、座標変換回路23は、部分領域(m×n
画素)内の画像座標値(画素位置)(X(x),Y
(x))を演算し、この画像座標値をイメージャ21に
指定する。このため、イメージャ21は、そのランダム
アクセス機能により、画素領域(M×N画素)内の指定
された画素位置、例えば部分領域(m×n画素)内の画
素の画素信号を読み出して出力する。この画素信号は、
次のk+1フレーム目の画像データとしてバスBを介し
て演算器22に伝送される。
On the other hand, the new coordinate conversion parameter ρ k + 1 of the k + 1th frame is sent to the coordinate conversion circuit 23. In response to this, the coordinate conversion circuit 23 causes the partial area (m × n
Image coordinate value (pixel position) within (pixel) (X k (x), Y k
(X)) is calculated, and this image coordinate value is designated to the imager 21. Therefore, the imager 21 reads out and outputs a pixel signal of a pixel in a specified pixel position in the pixel region (M × N pixels), for example, in a partial region (m × n pixels) by the random access function. This pixel signal is
The image data of the next (k + 1) th frame is transmitted to the arithmetic unit 22 via the bus B.

【0038】以下、同様に、部分領域に対する画像変
換、画素位置の指定、及びランダムアクセスによる部分
領域の画素信号の読み出しが各フレーム毎に順次行われ
る。
Similarly, the image conversion for the partial area, the designation of the pixel position, and the reading of the pixel signal of the partial area by random access are sequentially performed for each frame.

【0039】このように、部分領域のkフレーム番目の
画像データとその時点で記憶している前フレームで求め
て記憶していた座標変換パラメータに基づいて、次のk
+1フレーム番目の座標変換パラメータが演算器22に
より算出される。このk+1番目の座標変換パラメータ
に応じて、ランダムアクセス機能により、イメージャ2
1の画素領域に含まれる部分領域内の画素位置が指定さ
れ、その画素位置の画素信号が画素毎に読み出される。
As described above, based on the k-th frame image data of the partial area and the coordinate conversion parameter obtained and stored in the previous frame stored at that time, the next k
The + 1st frame coordinate conversion parameter is calculated by the calculator 22. Depending on the k + 1th coordinate conversion parameter, the imager 2
A pixel position in a partial area included in one pixel area is designated, and a pixel signal at the pixel position is read out for each pixel.

【0040】つまり、演算器22及び座標変換回路23
の機能により、イメージャ21の画素領域に含まれる部
分領域に対して、そのランダムアクセス機能に基づく、
画素信号読み出しの電子的フィードバック制御が掛か
る。
That is, the arithmetic unit 22 and the coordinate conversion circuit 23
With the function of, based on the random access function for the partial area included in the pixel area of the imager 21,
Electronic feedback control for reading pixel signals is applied.

【0041】この電子的フィードバック制御は、アクチ
ュエータを機械的に動かす機械式フィードバック制御と
は異なり、応答速度が非常に速く、また制御可能な自由
度が大きいという利点がある。
Unlike the mechanical feedback control in which the actuator is mechanically moved, this electronic feedback control has an advantage that the response speed is very fast and the controllable degree of freedom is large.

【0042】さらに、この電子的フィードバック制御を
実行する中で、フレーム毎に、アフィン変換に拠る2次
元の拡大/縮小、回転、並進移動、及び/又は剪断変形
の処理が施された画像特徴量が演算されて表示される。
このため、図4に模式的に例示する如く、かかるアフィ
ン変換を用いることで、部分領域内の撮像対象物に対す
る視野を固定した状態で表示される。例えば、同図
(a)に示す如く、対象物が偏った位置に在る場合、ア
フィン変換の中の並進移動により、視野の中心位置まで
移動させて表示させる。同様に、同図(b)〜(d)に
示す如く、並進移動、拡大/縮小、回転、及び/又は、
剪断変形を適宜行って撮像対象物を視野の中心位置に表
示させる。
Further, during the execution of this electronic feedback control, the image feature amount which has been subjected to the processing of two-dimensional enlargement / reduction, rotation, translational movement, and / or shear deformation by affine transformation for each frame. Is calculated and displayed.
Therefore, as schematically illustrated in FIG. 4, by using such an affine transformation, the image is displayed in a state where the field of view of the imaging target in the partial region is fixed. For example, as shown in (a) of the figure, when the object is located at a biased position, it is moved to the center position of the visual field and displayed by translational movement during affine transformation. Similarly, as shown in (b) to (d) of the figure, translational movement, enlargement / reduction, rotation, and / or
Shearing is appropriately performed to display the object to be imaged at the center position of the visual field.

【0043】これにより、例えば、サーブされて高速に
飛んでくるテニスボールや高速走行している新幹線など
の対象物を撮像した場合、画像特徴量として、画像での
画素位置の移動成分が演算される。そして、この移動す
る対象物が電子的にかつ自動的にトラッキングして表示
される。つまり、高速に移動する対象物の次のk+1番
目フレームの画像上での位置(例えば重心位置)が予測
され、この予測位置を中心にした部分領域がランダムア
クセス機能によりスキャンされる。したがって、高速に
飛んでくるテニスボールは常にモニタ画像上の中心位置
でかつ同一姿勢で表示させることができる。また、高速
走行中の新幹線の車輪も常に固定して表示させることが
できる。
Thus, for example, when an object such as a tennis ball flying at high speed and a high-speed running Shinkansen is imaged, the moving component of the pixel position in the image is calculated as the image feature amount. It Then, the moving object is electronically and automatically tracked and displayed. That is, the position (for example, the position of the center of gravity) on the image of the next (k + 1) th frame of the object moving at high speed is predicted, and the partial area centered on this predicted position is scanned by the random access function. Therefore, the tennis ball flying at a high speed can always be displayed at the center position on the monitor image and in the same posture. Also, the wheels of the Shinkansen running at high speed can be fixed and displayed at all times.

【0044】勿論、アフィン変換に与える機能として、
アフィン変換パラメータa〜fの取捨選択により、上述
した並進移動、拡大/縮小、回転、及び、剪断変形のう
ちの任意の機能だけを与えることができる。これによ
り、例えば、テニスボールの大きさを常に一定にかつ視
野の中心に表示するが、テニスボール自体の回転運動は
そのまま表示させ、高速移動に伴うボールの回転状態を
研究するといった表示の仕方も可能になる。このような
トラッキングをさせる場合の演算器22で実行される演
算としては、(1)部分領域の画像I´(x,y)の0
次及び1次モーメントを求め、このモーメント情報から
画像I´(x,y)の重心位置を計算し、(2)重心位
置の座標値から並進移動成分を求め、この並進移動成分
を画像の中心に合わせ、(3)部分領域の画像I´
(x,y)全体を占める0次モーメント情報の面積が例
えば同一になるように拡大縮小を行う、(4)上述した
(1)〜(3)の処理を行う中でアフィン変換パラメー
タを生成し、このパラメータを座標変換回路23に出力
する、といったアルゴリズムを例示できる。
Of course, as a function given to the affine transformation,
By selecting the affine transformation parameters a to f, it is possible to give only an arbitrary function of the translational movement, the enlargement / reduction, the rotation, and the shear deformation described above. As a result, for example, the size of the tennis ball is always displayed in a constant manner and in the center of the field of view, but the rotational movement of the tennis ball itself is displayed as it is, and the rotational state of the ball accompanying high-speed movement is also studied. It will be possible. The calculation executed by the calculator 22 in the case of performing such tracking is (1) 0 of the image I ′ (x, y) of the partial region
The second and first moments are obtained, the center of gravity of the image I ′ (x, y) is calculated from this moment information, and (2) the translational movement component is obtained from the coordinate values of the center of gravity, and this translational movement component is the center of the image. (3) Partial region image I ′
Enlargement / reduction is performed so that the area of the 0th-order moment information occupying the entire (x, y) is, for example, the same. (4) The affine transformation parameter is generated during the processes of (1) to (3) described above. An algorithm for outputting this parameter to the coordinate conversion circuit 23 can be exemplified.

【0045】加えて、本実施形態ではイメージャ21の
イメージングセンサIMとしてCMOSセンサを用いて
いるが、CMOSセンサ自体が他のイメージングセンサ
に比べて高速な画素信号読出しができる。このため、高
速に運動する対象物を撮像する場合であっても、撮像し
た画像上で移動する距離は、画素信号の高速読出しの分
だけ小さくなる。したがって、トラッキングもその分、
容易になる。
In addition, in this embodiment, a CMOS sensor is used as the imaging sensor IM of the imager 21, but the CMOS sensor itself can read pixel signals at a higher speed than other imaging sensors. Therefore, even in the case of capturing an image of an object that moves at high speed, the distance moved on the captured image is reduced by the high-speed readout of pixel signals. Therefore, tracking is
It will be easier.

【0046】このように画素信号の読出しが制御される
ことにより、例えばイメージングセンサの1024×1
024画素といった画素数の多い画素領域から64×6
4画素の部分領域の画像切出しを例えば1ms以内で行
うことができる。これにより、視野は必要な部分領域に
絞り込まれて小さくなっているが、空間解像度として
は、元々の高密度の画素領域における値を引き継ぐこと
ができる。つまり、空間解像度が高く、物体の認識能力
も高い。
By thus controlling the readout of the pixel signals, for example, 1024 × 1 of the imaging sensor
64 × 6 from a pixel area with a large number of pixels such as 024 pixels
It is possible to cut out an image of a partial area of 4 pixels within 1 ms, for example. As a result, the field of view is narrowed down to a required partial area and is small, but as the spatial resolution, the value in the original high-density pixel area can be taken over. That is, the spatial resolution is high and the object recognition ability is also high.

【0047】一方、切り出された部分領域の画素信号
は、許容される通信能力、例えば4MHz以上で演算器
22に伝送することができる。同じ通信能力であって
も、データ量が部分領域である必要部分のみのデータに
絞り込まれていることから、フレーム当たりの通信速度
は高くなり、撮像のリアルタイム性も大きく改善され
る。
On the other hand, the pixel signal of the cut out partial area can be transmitted to the calculator 22 with an allowable communication capability, for example, 4 MHz or more. Even with the same communication capability, since the data amount is narrowed down to the data of only the necessary part which is the partial area, the communication speed per frame becomes high and the real-time property of image pickup is greatly improved.

【0048】このように、イメージングセンサから信号
処理用の演算器には画像特徴量を演算するのに必要な画
素情報のみを伝送して処理させれば十分であるという、
本発明者による検証結果に基づく撮像システムを実現で
きる。これにより、イメージセンサから出力された画素
信号を信号処理装置で処理して画像、とくに画像の特徴
量(例えば移動する物体の重心情報や面積情報)を可視
化する撮像カメラ装置において、イメージセンサから信
号処理装置への通信能力の範囲内で、高空間解像度と高
速リアルタイム性とを両立させた撮像カメラ装置を提供
することができる。
As described above, it is sufficient to transmit only the pixel information necessary for calculating the image feature amount from the imaging sensor to the signal processing calculator for processing.
An imaging system based on the verification result by the present inventor can be realized. As a result, in the imaging camera device that processes the pixel signal output from the image sensor by the signal processing device to visualize the image, particularly the feature amount of the image (for example, barycentric information or area information of a moving object), the signal from the image sensor It is possible to provide an imaging camera device that achieves both high spatial resolution and high-speed real-time property within the range of communication capability to the processing device.

【0049】本発明の撮像カメラ装置及びカメラヘッド
は、ロボットを用いた工場での製造工程で使用する撮像
カメラ、マルチメディア用の撮像カメラ、医用機器用の
撮像カメラ、マイクロエレクトロニクス工学で用いる撮
像カメラ、ITSなどのインテリジェント化された交通
関連システムで用いる撮像カメラなど、イメージングを
必要とする多方面の分野において極めて高い応用性を有
する。
The image pickup camera device and the camera head of the present invention are the image pickup camera used in a manufacturing process in a factory using a robot, the image pickup camera for multimedia, the image pickup camera for medical equipment, and the image pickup camera used in microelectronics engineering. It has extremely high applicability in various fields requiring imaging, such as imaging cameras used in intelligent traffic related systems such as ITS.

【0050】なお、本発明の撮像カメラ装置は上述した
態様のものに限定されることなく、特許請求の範囲に記
載された構成に、周知技術に関わる構成を適用して更に
適宜に変形して実行可能なものであり、それらの変形し
た形態も本発明の構成に含まれる。
The image pickup camera device of the present invention is not limited to the above-mentioned embodiment, and the structure related to the well-known technique is applied to the structure described in the claims and further modified appropriately. It is feasible and modifications thereof are also included in the configuration of the present invention.

【0051】例えば、上述した実施形態の場合、カメラ
ヘッド11に、イメージャ21に加えて演算器22及び
座標変換回路23を内蔵させるように構成したが、必ず
しも、この構成に限定されない。他の構成例として、カ
メラヘッド11はイメージャ21を主要部として構成
し、演算器22及び座標変換回路23の上述した機能
は、カメラヘッド11の外部に設けた手段で行うように
してもよい。例えば、かかるカメラヘッド11をコンピ
ュータに接続し、このコンピュータのソフトウエア処理
により画像特徴量及び座標変換パラメータの演算、並び
に、座標変換を実行させることができる。また、上述し
たアフィン変換用の専用LSIを設けるようにしてもよ
い。
For example, in the case of the above-described embodiment, the camera head 11 is configured to include the arithmetic unit 22 and the coordinate conversion circuit 23 in addition to the imager 21, but the invention is not necessarily limited to this configuration. As another configuration example, the camera head 11 may be configured with the imager 21 as a main part, and the functions of the computing unit 22 and the coordinate conversion circuit 23 described above may be performed by means provided outside the camera head 11. For example, it is possible to connect the camera head 11 to a computer and execute the calculation of the image feature amount and the coordinate conversion parameter and the coordinate conversion by the software processing of the computer. Further, the dedicated LSI for affine conversion described above may be provided.

【0052】[0052]

【発明の効果】以上説明したように、本発明によれば、
イメージセンサから出力された画素信号を演算器(演算
手段)で処理して画像、とくに画像の特徴量を表示する
構成の撮像カメラ装置について、イメージャセンサから
演算器には、画像の特徴量を演算するのに必要な画素情
報のみを伝送して処理させれば十分であるという本発明
者の検証に基づく構成に鑑みて、イメージセンサから信
号処理装置への通信能力の範囲内で、高空間解像度と高
速リアルタイム性とを両立させた撮像カメラ装置を提供
することができる。
As described above, according to the present invention,
Regarding an imaging camera device configured to display a pixel signal output from an image sensor by an arithmetic unit (arithmetic means) and display an image, particularly an image characteristic amount, the imager sensor calculates the image characteristic amount to the arithmetic unit. In view of the configuration based on the inventor's verification that it is sufficient to transmit and process only the pixel information necessary for performing the high spatial resolution within the range of the communication capability from the image sensor to the signal processing device. It is possible to provide an imaging camera device that achieves both high speed and real time performance.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施形態に係る撮像カメラ装置の概
略構成を示すブロック図。
FIG. 1 is a block diagram showing a schematic configuration of an image pickup camera device according to an embodiment of the present invention.

【図2】撮像カメラ装置のイメージングセンサの画素領
域から部分領域を切り出して、その画素信号を読み出す
状態を説明する模式図。
FIG. 2 is a schematic diagram illustrating a state in which a partial area is cut out from a pixel area of an imaging sensor of an imaging camera device and the pixel signal is read out.

【図3】撮像カメラ装置に搭載した演算器の一例を示す
概略構成図。
FIG. 3 is a schematic configuration diagram showing an example of a computing unit mounted on the imaging camera device.

【図4】撮像カメラ装置のカメラヘッドで実行される部
分領域の画像の視野固定に関する電子的フィードバック
制御の動作例を説明する図。
FIG. 4 is a diagram illustrating an operation example of electronic feedback control regarding fixation of a visual field of an image of a partial region, which is executed by a camera head of an imaging camera device.

【符号の説明】[Explanation of symbols]

11 カメラヘッド 21 イメージャ(イメージングセンサを有する) 22 演算器(演算手段、画像特徴量演算手段、及び座
標変換パラメータ演算手段として機能する。) 23 座標変換回路(指定手段として機能する。) 22C メモリ 22D CPU IM イメージングセンサ
11 camera head 21 imager (having an imaging sensor) 22 computing unit (functions as computing means, image feature amount computing means, and coordinate conversion parameter computing means) 23 coordinate conversion circuit (functions as designating means) 22C memory 22D CPU IM imaging sensor

───────────────────────────────────────────────────── フロントページの続き (72)発明者 長瀬 朋彦 東京都渋谷区渋谷一丁目9番8号 株式会 社フォトロン内 (72)発明者 田嶋 健司 東京都渋谷区渋谷一丁目9番8号 株式会 社フォトロン内 (72)発明者 永井 弘史 東京都渋谷区渋谷一丁目9番8号 株式会 社フォトロン内 Fターム(参考) 5B047 AA13 AB02 BB04 CA14 CB09 CB11 CB21 DB01 DC09 DC20 5C022 AA14 AC69 5C024 AX19 CX39 CY43 GY31 JX08   ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Tomohiko Nagase             1-9-8 Shibuya, Shibuya-ku, Tokyo Stock market             Company Photolon (72) Inventor Kenji Tajima             1-9-8 Shibuya, Shibuya-ku, Tokyo Stock market             Company Photolon (72) Inventor Hiroshi Nagai             1-9-8 Shibuya, Shibuya-ku, Tokyo Stock market             Company Photolon F term (reference) 5B047 AA13 AB02 BB04 CA14 CB09                       CB11 CB21 DB01 DC09 DC20                 5C022 AA14 AC69                 5C024 AX19 CX39 CY43 GY31 JX08

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 所定サイズの画素領域を有し且つこの画
素領域を画素位置情報に応じて画素毎にスキャンして当
該画素領域の部分領域の画像データを出力するイメージ
ャと、 このイメージャから出力された前記部分領域の画像デー
タを受信するとともに、前記画像データと指定された座
標変換パラメータとに基づいて画像特徴量及び次フレー
ム用の座標変換パラメータをフレーム毎に演算する演算
手段と、 この演算手段により演算された次フレーム用の座標変換
パラメータと前記部分領域の画像データとに基づいて前
記イメージャによるスキャンの画素位置を指定する指定
手段とを備えた、ことを特徴とする撮像カメラ装置。
1. An imager which has a pixel area of a predetermined size, scans this pixel area for each pixel according to pixel position information, and outputs image data of a partial area of the pixel area, and an imager which outputs the image data. Calculating means for receiving the image data of the partial area and calculating the image feature amount and the coordinate conversion parameter for the next frame for each frame based on the image data and the designated coordinate conversion parameter; An image pickup camera apparatus comprising: a specifying unit that specifies a pixel position for scanning by the imager based on the coordinate conversion parameter for the next frame calculated by the above and the image data of the partial area.
【請求項2】 請求項1に記載の撮像カメラ装置におい
て、 前記演算手段は、前記画像データに前記指定された座標
変換パラメータによる座標変換処理を施して前記画像特
徴量を演算し、当該画像特徴量を画像信号として出力す
る画像特徴量演算手段を有することを特徴とする撮像カ
メラ装置。
2. The image pickup camera device according to claim 1, wherein the calculation means performs coordinate conversion processing on the image data by the designated coordinate conversion parameter to calculate the image feature amount, and the image feature amount. An image pickup camera device, comprising: an image characteristic amount calculation means for outputting the amount as an image signal.
【請求項3】 請求項2に記載の撮像カメラ装置におい
て、 前記演算手段は、前記画像データと前記指定された座標
変換パラメータとに基づいて前記部分領域を、前記画像
特徴量を呈する対象に追跡させるための前記座標変換パ
ラメータを演算する座標変換パラメータ演算手段を有す
ることを特徴とする撮像カメラ装置。
3. The image pickup camera device according to claim 2, wherein the calculation unit traces the partial region to an object exhibiting the image feature amount based on the image data and the designated coordinate conversion parameter. An image pickup camera device, comprising: coordinate conversion parameter calculation means for calculating the coordinate conversion parameter for performing the conversion.
【請求項4】 請求項3に記載の撮像カメラ装置におい
て、 前記座標変換パラメータ演算手段は、前記対象を視野内
に固定して観測可能な前記座標変換パラメータを演算す
るように構成したことを特徴とする撮像カメラ装置。
4. The image pickup camera device according to claim 3, wherein the coordinate conversion parameter calculation means is configured to calculate the observable coordinate conversion parameter with the object fixed within a field of view. And an imaging camera device.
【請求項5】 請求項1から請求項4のいずれか1つに
記載の撮像カメラ装置において、 前記座標変換処理はアフィン変換であることを特徴とす
る撮像カメラ装置。
5. The image pickup camera device according to claim 1, wherein the coordinate conversion process is an affine transformation.
【請求項6】 請求項1から請求項5のいずれか1つに
記載の撮像カメラ装置において、 前記イメージャは、前記画素領域を呈するCMOS(co
mplementary metal oxide semiconductor)で形成され
たイメージングセンサを有することを特徴とする撮像カ
メラ装置。
6. The imaging camera device according to claim 1, wherein the imager has a CMOS (co) that presents the pixel region.
An imaging camera device having an imaging sensor formed of a complementary metal oxide semiconductor).
【請求項7】 所定サイズの画素領域を有し且つこの画
素領域を画素位置指定情報に応じて画素毎にスキャンし
て当該画素領域の部分領域の画像データを出力可能なイ
メージャと、このイメージャから出力された前記部分領
域のフレーム毎の画像データから次フレームに対する前
記部分領域のスキャンの画素位置を電子的にフィードバ
ック制御するフィードバック制御手段とを備えたことを
特徴とする撮像カメラ装置。
7. An imager having a pixel area of a predetermined size and capable of outputting the image data of a partial area of the pixel area by scanning the pixel area for each pixel according to the pixel position designation information, and the imager. An image pickup camera device, comprising: feedback control means for electronically feedback-controlling a pixel position of a scan of the partial region for a next frame from the outputted image data of each frame of the partial region.
【請求項8】 カメラヘッドを備えた撮像カメラ装置で
あって、 前記カメラヘッドは、 所定サイズの画素領域を有し且つこの画素領域を画素位
置指定情報に応じて画素毎にスキャンして当該画素領域
の部分領域の画像データを出力可能なイメージャと、 このイメージャから出力された前記部分領域の画像デー
タを受信するとともに、前記画像データと指定された座
標変換パラメータとに基づいて画像特徴量及び次フレー
ム用の座標変換パラメータをフレーム毎に演算する演算
器と、 この演算器により演算された次フレーム用の座標変換パ
ラメータと前記部分領域の画像データとに基づいて前記
イメージャによるスキャンの画素位置を指定する座標変
換回路とを備えた、ことを特徴とする撮像カメラ装置。
8. An imaging camera device having a camera head, wherein the camera head has a pixel area of a predetermined size, and the pixel area is scanned pixel by pixel according to pixel position designation information. An imager capable of outputting image data of a partial area of the area, receiving the image data of the partial area output from the imager, and based on the image data and the specified coordinate conversion parameter An arithmetic unit that calculates the coordinate conversion parameters for each frame, and a pixel position for scanning by the imager based on the coordinate conversion parameters for the next frame calculated by this arithmetic unit and the image data of the partial area An image pickup camera device, comprising:
【請求項9】 イメージャの所定サイズの画素領域を画
素指定位置情報に応じて画素毎にスキャンして当該画素
領域の部分領域の画像データを出力するイメージャの画
像データ読取り方法において、 前記イメージャから出力された前記部分領域の画像デー
タを受信するステップと、 前記画像データと指定された座標変換パラメータとに基
づいて次フレーム用の座標変換パラメータをフレーム毎
に演算するステップと、 前記次フレーム用の座標変換パラメータと前記部分領域
の画像データとに基づいて前記イメージャによるスキャ
ンの画素位置を指定するステップと、を含むことを特徴
とするイメージャの画像データ読取り方法。
9. An imager image data reading method for scanning a pixel area of a predetermined size of an imager for each pixel according to pixel designation position information and outputting image data of a partial area of the pixel area, wherein the imager outputs the image data. Receiving image data of the partial area that has been generated, calculating a coordinate conversion parameter for the next frame for each frame based on the image data and a specified coordinate conversion parameter, and coordinates for the next frame. A step of designating a pixel position for scanning by the imager on the basis of a conversion parameter and image data of the partial area.
【請求項10】 請求項9に記載のイメージャの画像デ
ータ読取り方法において、 前記演算のステップは、前記画像データに前記指定され
た座標変換パラメータによる座標変換処理を施して前記
画像特徴量を演算し、当該画像特徴量を画像信号として
出力する処理を含むことを特徴とするイメージャの画像
データ読取り方法。
10. The imager image data reading method according to claim 9, wherein the step of calculating calculates the image feature amount by performing coordinate conversion processing on the image data with the specified coordinate conversion parameter. An imager image data reading method including a process of outputting the image feature amount as an image signal.
JP2002116362A 2002-04-18 2002-04-18 Imaging camera apparatus and imager image data reading method Expired - Lifetime JP4175828B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002116362A JP4175828B2 (en) 2002-04-18 2002-04-18 Imaging camera apparatus and imager image data reading method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002116362A JP4175828B2 (en) 2002-04-18 2002-04-18 Imaging camera apparatus and imager image data reading method

Publications (2)

Publication Number Publication Date
JP2003319262A true JP2003319262A (en) 2003-11-07
JP4175828B2 JP4175828B2 (en) 2008-11-05

Family

ID=29533992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002116362A Expired - Lifetime JP4175828B2 (en) 2002-04-18 2002-04-18 Imaging camera apparatus and imager image data reading method

Country Status (1)

Country Link
JP (1) JP4175828B2 (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217274A (en) * 2005-02-03 2006-08-17 Hamamatsu Photonics Kk Solid-state imaging device
JP2006292385A (en) * 2005-04-05 2006-10-26 Hiroshima Univ System and method for processing visual information
JP2008507874A (en) * 2004-07-23 2008-03-13 ザ サイエンス アンド テクノロジー ファシリティーズ カウンシル Imaging device
JP2008075297A (en) * 2006-09-20 2008-04-03 Hiroshima Univ Controller and control method for active seismic response control system
US7920170B2 (en) 2007-03-15 2011-04-05 Canon Kabushiki Kaisha Image sensing apparatus and method which combine a plurality of images obtained from different areas at different time intervals
WO2021092541A1 (en) * 2019-11-07 2021-05-14 Facebook Technologies, Llc Image sensing and processing using a neural network to track regions of interest
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11595598B2 (en) 2018-06-28 2023-02-28 Meta Platforms Technologies, Llc Global shutter image sensor
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11877080B2 (en) 2019-03-26 2024-01-16 Meta Platforms Technologies, Llc Pixel sensor having shared readout structure
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11910119B2 (en) 2017-06-26 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11927475B2 (en) 2017-08-17 2024-03-12 Meta Platforms Technologies, Llc Detecting high intensity light in photo sensor
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11974044B2 (en) 2021-02-19 2024-04-30 Meta Platforms Technologies, Llc Pixel sensor having adaptive exposure time

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008507874A (en) * 2004-07-23 2008-03-13 ザ サイエンス アンド テクノロジー ファシリティーズ カウンシル Imaging device
JP2006217274A (en) * 2005-02-03 2006-08-17 Hamamatsu Photonics Kk Solid-state imaging device
JP4536540B2 (en) * 2005-02-03 2010-09-01 浜松ホトニクス株式会社 Solid-state imaging device
US8125552B2 (en) 2005-02-03 2012-02-28 Hamamatsu Photonics K.K. Solid-state image pickup device with adjustable image readout area
JP4709571B2 (en) * 2005-04-05 2011-06-22 国立大学法人広島大学 Visual information processing system and visual information processing method thereof
JP2006292385A (en) * 2005-04-05 2006-10-26 Hiroshima Univ System and method for processing visual information
JP2008075297A (en) * 2006-09-20 2008-04-03 Hiroshima Univ Controller and control method for active seismic response control system
US7920170B2 (en) 2007-03-15 2011-04-05 Canon Kabushiki Kaisha Image sensing apparatus and method which combine a plurality of images obtained from different areas at different time intervals
US11910119B2 (en) 2017-06-26 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11927475B2 (en) 2017-08-17 2024-03-12 Meta Platforms Technologies, Llc Detecting high intensity light in photo sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11863886B2 (en) 2018-06-27 2024-01-02 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes
US11595598B2 (en) 2018-06-28 2023-02-28 Meta Platforms Technologies, Llc Global shutter image sensor
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11877080B2 (en) 2019-03-26 2024-01-16 Meta Platforms Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11960638B2 (en) 2019-10-30 2024-04-16 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
WO2021092541A1 (en) * 2019-11-07 2021-05-14 Facebook Technologies, Llc Image sensing and processing using a neural network to track regions of interest
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US11974044B2 (en) 2021-02-19 2024-04-30 Meta Platforms Technologies, Llc Pixel sensor having adaptive exposure time

Also Published As

Publication number Publication date
JP4175828B2 (en) 2008-11-05

Similar Documents

Publication Publication Date Title
JP4175828B2 (en) Imaging camera apparatus and imager image data reading method
US8593533B2 (en) Image processing apparatus, image-pickup apparatus, and image processing method
JP5414405B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP6102648B2 (en) Information processing apparatus and information processing method
JP5794705B2 (en) Imaging apparatus, control method thereof, and program
US8243135B2 (en) Multiple-view processing in wide-angle video camera
US20090309973A1 (en) Camera control apparatus and camera control system
WO2019238113A1 (en) Imaging method and apparatus, and terminal and storage medium
KR100676232B1 (en) Object tracking method, object tracking apparatus and computer-readable record medium with recorded object tracking program
US7388605B2 (en) Still image capturing of user-selected portions of image frames
JP2011029735A5 (en)
JP6141084B2 (en) Imaging device
KR101514910B1 (en) Video processing apparatus, video processing system, and video processing method
KR101747219B1 (en) Camera and camera controlling method for generating privacy mask
JP4661514B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2009260671A (en) Image processing apparatus and imaging device
JP2016110312A (en) Image processing method, and image processor and program
JP5360403B2 (en) Mobile imaging device
JP2008217330A (en) Speed estimation method and speed estimation program
CN113676673A (en) Image acquisition method, image acquisition system and unmanned equipment
JP2004212658A (en) System and method for image display and image processor
JP2001136431A (en) Camera controller and camera control method and storage medium
JP2002314984A (en) Monitoring camera system
JP3034891B2 (en) Image display device
JP2004242048A (en) Wide-view angle and high resolution image photographing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080812

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080819

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4175828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term