JP2008131609A - High sensitive and high-speed electronic determining device for competition using charge multiplying device - Google Patents
High sensitive and high-speed electronic determining device for competition using charge multiplying device Download PDFInfo
- Publication number
- JP2008131609A JP2008131609A JP2006317883A JP2006317883A JP2008131609A JP 2008131609 A JP2008131609 A JP 2008131609A JP 2006317883 A JP2006317883 A JP 2006317883A JP 2006317883 A JP2006317883 A JP 2006317883A JP 2008131609 A JP2008131609 A JP 2008131609A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line sensor
- electronic
- ccd
- ethernet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000035945 sensitivity Effects 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 25
- 239000000872 buffer Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000010187 selection method Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000001816 cooling Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000012464 large buffer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、競馬、競輪、競艇、オート等の競技(レース)における改良された高感度・高速度の電子判定装置に関する。 The present invention relates to an improved high-sensitivity and high-speed electronic determination device in competitions (race) such as horse racing, bicycle racing, boat racing, and auto.
従来、競馬等においてゴールライン上を連続してラインセンサーで撮像し、該撮像された画像から競馬等の着順判定やタイム表示を行うシステムが知られている。
前記競技用の電子判定装置にはラインセンサー(直線状のCCDセンサー)が用いられており、該ラインセンサーは、レース場のゴールライン上を一定のスリット間隔でライン状に撮像し、該ライン状の画像を連続してモニター上に表示することにより着順判定画像としている。
2. Description of the Related Art Conventionally, a system is known in which a goal sensor is continuously imaged on a goal line in horse racing and the like, and arrival order determination and time display of horse racing are performed from the captured images.
A line sensor (linear CCD sensor) is used in the electronic judging device for competition, and the line sensor images the line on the goal line of the race track at a certain slit interval, These images are continuously displayed on the monitor to obtain an arrival order determination image.
これは、従来スリット・カメラでほぼ対象物(例えば、馬)の速度とほぼ同じ速度でフィルムを走らせて連続して撮影し、これを表示することにより着順判定画像としていたものをCCDラインセンサーとモニターにより電子的に実現したものである。 This is a CCD line sensor that uses a slit camera to shoot a film continuously at approximately the same speed as the object (eg, horse) and display it as an arrival order determination image. And electronically realized by a monitor.
しかし、従来のラインセンサーは感度が低く、最近行われるナイター競馬とか、曇天の夕方のレースとかの低照度状態の時に撮像すると像がぼやけてしまい、鮮明度が落ちると共に分解能も劣化して僅差(例えば、鼻の差)の着順判定には不満足な場合が多く生じていた。 However, the sensitivity of the conventional line sensor is low, and the image becomes blurry when taken in low-light conditions such as the recent night game or the cloudy evening race, the sharpness is lowered and the resolution is deteriorated. For example, there are many unsatisfactory cases in determining the arrival order of the difference in the nose.
また、高速で通過する競馬等のゴールライン上での鼻の差等の僅差の着順判定には、高速処理に適したより精度の高い電子判定装置が望まれている。
従来の電子判定装置では、その目となるラインセンサーの各受光素子には一般のCCDあるいはCMOS素子を用いていたため、夕方あるいは夜間などの低照度状態ではラインセンサーの感度が十分でなく、低輝度、高雑音の判定用画像となり見難く、着順判定の妨げとなっていた。
In addition, a highly accurate electronic determination device suitable for high-speed processing is desired for the determination of a close arrival order such as a nose difference on a goal line such as a horse race passing at high speed.
In the conventional electronic determination device, a general CCD or CMOS element is used for each light receiving element of the line sensor that becomes the eye. Therefore, the sensitivity of the line sensor is not sufficient in a low illuminance state such as evening or night, and the luminance is low. Therefore, it is difficult to see the image for determination with high noise, which hinders determination of arrival order.
また、高速撮影画像として鮮明度は必ずしも十分ではなく、従来の写真判定に置き換わる信頼度を獲得できていない状況がある。
一方、電荷増倍素子を有するCCDセンサー自体は従来周知であるが、これを競技用電子判定システムに応用したものは知られていない。
On the other hand, a CCD sensor itself having a charge multiplying element is well known in the art, but there is no known one that applies this to an electronic determination system for competition.
本発明は、電荷増倍素子を用いた高感度・高速度の改良された競技用電子判定装置およびシステムを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an improved electronic determination apparatus and system for competition using a charge multiplying element and improved in sensitivity and speed.
上記目的を達成するため、本発明の競技用電子判定装置は、CCD素子の後方に電荷増倍部を持つラインセンサーを用いて感度を高め、かつ雑音を抑えることにより、通常のCCDあるいはCMOSセンサーでは撮像不可能な夕方や夜間の低照度条件、及び/または10,000ライン/秒の高速度撮影条件においても撮像可能としたことを特徴とする。
また、前記ラインセンサーが、オーバーフロードレインを持ったラインセンサーであり、スミアの発生を少なくしたことを特徴とする。
In order to achieve the above object, the electronic determination device for competition according to the present invention uses a line sensor having a charge multiplying portion behind the CCD element to increase sensitivity and suppress noise, thereby reducing the noise from a normal CCD or CMOS sensor. In this case, it is possible to take an image even in a low illumination condition in the evening or night and / or in a high-speed photographing condition of 10,000 lines / second.
Further, the line sensor is a line sensor having an overflow drain, and the occurrence of smear is reduced.
また、前記ラインセンサーの素子背面にペルチェ素子を装着し、零℃以下に冷却することにより熱雑音の発生を少なくして、判定用画像の画質を改善したことを特徴とする。
さらに、前記電荷増倍機能を有するラインセンサーの出力画像を位置方向(長手方向)のみに、加重移動平均での代替や中央値選択法によりスムージングを行い、時間軸方向には一切該スムージング処理を行わずに上記電荷増倍部でランダムに発生するインパルス性ノイズを除去したことを特徴とする。
In addition, a Peltier device is mounted on the back surface of the line sensor and is cooled to below 0 ° C., thereby reducing the occurrence of thermal noise and improving the image quality of the determination image.
Further, the output image of the line sensor having the charge multiplying function is smoothed only in the position direction (longitudinal direction) by the weighted moving average or the median value selection method, and the smoothing process is completely performed in the time axis direction. Impulse noise that is randomly generated in the charge multiplication section without being performed is removed.
あるいは、本発明の競技用電子判定システムは、CCD素子の後方に電荷増倍部を持つラインセンサーを用いて感度を高め、雑音を抑えることにより、通常のCCDあるいはCMOSセンサーでは撮像不可能な夕方や夜間の低照度条件、及び/または10,000ライン/秒の高速度撮影条件においても撮像可能とした競技用電子判定装置を用い、該電子判定装置のCCD電子カメラ制御装置と表示用パソコン間をGイーサネットで接続することを特徴とする。 Alternatively, the electronic determination system for competition according to the present invention uses a line sensor having a charge multiplying portion behind the CCD element to increase sensitivity and suppress noise, so that an evening image that cannot be captured by a normal CCD or CMOS sensor. Using a competition electronic judging device capable of imaging even under low light conditions at night and / or at a high speed photographing condition of 10,000 lines / second, between the CCD electronic camera control device of the electronic judging device and a display personal computer Are connected by G Ethernet.
さらに、前記電子カメラ制御装置の内部にフレームバッファー部を設け、該フレームバッファー部において前記ラインセンサーの画像を標準の2次元画像のごときフォーマットに構築し伝送することにより、Gイーサネットで標準にサポートされている2次元カメラ伝送のルールに基づいてラインセンサーの映像情報及びデジタル情報(スタートからの経過時間、開催日、開催地等)をGイーサネットの通常のルールの範囲で伝送し、前記表示用パソコン内部で上記伝送されてきたラインセンサーの映像情報及びデジタル情報を再構築して表示したことを特徴とする。 Furthermore, a frame buffer unit is provided inside the electronic camera control device, and the image of the line sensor is constructed and transmitted in a format such as a standard two-dimensional image in the frame buffer unit, so that it is supported by G Ethernet as a standard. The video information and digital information (elapsed time from start, date, venue, etc.) of the line sensor are transmitted within the normal rules of G Ethernet based on the rules of 2D camera transmission, and the display personal computer The image information and digital information of the line sensor transmitted inside are reconstructed and displayed.
本発明の装置では、ラインセンサーとしてCCD素子の後方に電荷増倍部をもつラインセンサーを使うことで、感度を高め、雑音を抑え、低輝度でも良好な電子判定画像が得られた。 In the apparatus of the present invention, by using a line sensor having a charge multiplying portion behind the CCD element as the line sensor, sensitivity was improved, noise was suppressed, and a good electronic determination image was obtained even at low luminance.
また同様に、本発明の装置では、ラインセンサーとしてCCD素子の後方に電荷増倍部をもつラインセンサーを使うことで、感度を高め、雑音を抑えることで、高速度(10,000ライン/秒)でも良好な電子判定画像が得られた。 Similarly, in the apparatus of the present invention, a line sensor having a charge multiplying portion behind the CCD element is used as a line sensor, thereby increasing sensitivity and suppressing noise, thereby achieving high speed (10,000 lines / second). ) But a good electronic determination image was obtained.
従って、この発明の高感度・高速度の改良された競技用電子判定装置およびシステムによれば、通常のCCDあるいはCMOSセンサーでは撮像不可能な夕方や夜間の低照度条件、及び/または10,000ライン/秒の高速度撮影条件においても、感度を高め、雑音を抑えることにより撮像可能となった。 Therefore, according to the improved electronic device and system for competition with high sensitivity and high speed according to the present invention, low light conditions in the evening and night and / or 10,000 which cannot be imaged by a normal CCD or CMOS sensor. Even under high-speed shooting conditions of line / second, it was possible to take images by increasing sensitivity and suppressing noise.
このことにより、上記電子判定装置の利便性が高まると共に、判定の精度が向上することにより電子判定装置の信頼性が向上した。 This increases the convenience of the electronic determination device and improves the reliability of the electronic determination device by improving the accuracy of the determination.
本発明の電子判定装置では、ラインセンサーとしてCCD素子の後方に電荷増倍部をもつラインセンサーを用いる。該電荷増倍型ラインセンサーを用いることで、感度を高め、雑音を抑え、低輝度でも良好な電子判定画像が得られる。 In the electronic determination device of the present invention, a line sensor having a charge multiplying portion behind the CCD element is used as the line sensor. By using the charge multiplication type line sensor, sensitivity can be improved, noise can be suppressed, and a good electronic determination image can be obtained even at low luminance.
また一方、従来の電子判定装置では、その目となるラインセンサーの各受光素子には一般のCCDあるいはCMOS素子を用いていたため、高速度での撮影では光量不足となり2,000ライン/秒程度が実用限界であったが、本発明の電子判定装置では、ラインセンサーとしてCCD素子の後方に電荷増倍部をもつラインセンサーを使うことで、感度を高め、雑音を抑えることで、高速度(10,000ライン/秒)でも良好な電子判定画像が得られる。 On the other hand, in the conventional electronic determination device, a general CCD or CMOS element is used for each light receiving element of the line sensor that becomes the eye, so that the amount of light is insufficient in high-speed shooting, and about 2,000 lines / second is obtained. Although it was a practical limit, in the electronic determination device of the present invention, by using a line sensor having a charge multiplying portion behind the CCD element as a line sensor, sensitivity is increased and noise is suppressed, so that high speed (10 , 000 lines / second), an excellent electronic determination image can be obtained.
本発明は、競馬等競技の着順判定装置のラインセンサーとして、例えば特開2003−347317号公報やUSP5,334,340号公報に開示されている、テキサス・インスツルメンツ株式会社の開発した電荷増倍型のCCDセンサー(以下、IMPACTRONデバイスという。)を用いることを特徴としている。 The present invention is a charge sensor developed by Texas Instruments, for example, disclosed in Japanese Patent Application Laid-Open No. 2003-347317 and US Pat. It is characterized by using a type CCD sensor (hereinafter referred to as an IMPACTRON device).
IMPACTRONデバイスは、チップ内の転送中の電荷に対し、二次電子を誘発させるブースト構造を持たせた新しい構造のCCDである。該デバイスは、読出しアンプの手前において電荷を増幅し、理論的には光の1粒子をも検知する超高感度CCDビデオカメラの実現を可能にしたものである。 The IMPACTRON device is a CCD with a new structure having a boost structure that induces secondary electrons to charge during transfer in a chip. The device amplifies the charge before the read amplifier and theoretically realizes an ultra-sensitive CCD video camera that detects even one particle of light.
その動作原理の詳細は、特開2003−347317号公報やUSP5,337,340号公報に記載されているが、その概要は以下のとおりである。
図1は前記従来のCCDセンサーの模式図、図2は本発明で用いる電子増倍型のセンサーの模式図を示す。
Details of the operation principle are described in Japanese Patent Application Laid-Open No. 2003-347317 and US Pat. No. 5,337,340, and the outline thereof is as follows.
FIG. 1 is a schematic diagram of the conventional CCD sensor, and FIG. 2 is a schematic diagram of an electron multiplying sensor used in the present invention.
従来のCCDセンサーは、図1に示されるように受光部(CCD)1に読み出しアンプ2が接続されているが、電子増倍型のセンサーは図2に示すように受光部3の後段で、かつ従来の読み出しアンプ5の前に、電荷増倍部4を有する。 A conventional CCD sensor has a readout amplifier 2 connected to a light receiving unit (CCD) 1 as shown in FIG. 1, but an electron multiplication type sensor is located at the rear stage of the light receiving unit 3 as shown in FIG. In addition, a charge multiplier 4 is provided in front of the conventional read amplifier 5.
電子増倍型のセンサー3は、図3に概念図を示すように、センサー部10で受光し光電変換した電荷が蓄積転送される時(図3の11,12)電荷増倍部13で電荷増倍されてから読み出しアンプに入力されるものである。図4にその細部の構造を示す。図4の14の模式図において、P2の信号電荷15をP4で形成された深いポテンシャル16に転送する。このP4ゲートヘの転送時に、ポテンシャルの差によるインパクト・イオン化現象(電荷がSiに衝突し、電子―正孔を生成する)を利用し、二次電子を取り出す。さらに、これをこのインパト・イオン化チップ内で繰り返すことで、読み出しノイズが重畳されることなく信号電荷の増倍が可能となる。 As shown in the conceptual diagram of FIG. 3, the electron multiplying type sensor 3 is charged by the charge multiplying unit 13 when the charges received and photoelectrically converted by the sensor unit 10 are accumulated and transferred (11 and 12 in FIG. 3). After being multiplied, it is input to the read amplifier. FIG. 4 shows the detailed structure. In the schematic diagram 14 of FIG. 4, the signal charge 15 of P2 is transferred to the deep potential 16 formed of P4. At the time of transfer to the P4 gate, an impact ionization phenomenon (charge collides with Si and generates electrons and holes) due to a potential difference is used to take out secondary electrons. Further, by repeating this in this impato ionization chip, it is possible to multiply the signal charge without superimposing readout noise.
従って、電子増倍型のラインセンサーは、図5に示すように、信号は増倍された後CCD読み出しアンプに入力するので、電荷を電圧変換する前に増幅が完了しているから上記アンプの内部雑音の影響は非常に少ない。 Therefore, as shown in FIG. 5, the electron multiplication type line sensor inputs the signal after being multiplied to the CCD readout amplifier, so that the amplification is completed before voltage conversion of the electric charge. The influence of internal noise is very small.
以下、IMPACTRONデバイスの特徴を列記すると、以下のとおりである。
A.チャージマルチプライヤー内蔵
CCD上の蓄積電荷を直接増幅するオンチップチャージマルチプライヤーを内蔵している。
B.高電圧不要
数KVを要する光電子加速タイプの増倍機構とは異なり、15VのBoost電圧振幅で約100倍以上の増幅が可能である。
C.高解像度
素子前面に蛍光発光や、ファイバープレートがなく、光電子をダイレクトに受光するため、高解像度で残像がない。
D.出力アンプ前に増幅を行うため、低ノイズとなる。
E.カラー化が可能。
F.冷却ペルチェ内蔵により、素子暗出力の低減を実現した。
G.このTI社製CCDは、紫外〜近赤外まで対応できる。
H.固体デバイスのため、小型で高信頼性が実現できる。
I.焼きつきの問題がなく、高い信頼性と長寿命を実現できる。
Hereinafter, characteristics of the IMPACTRON device are listed as follows.
A. Built-in charge multiplier Built-in on-chip charge multiplier that directly amplifies the charge stored on the CCD.
B. Unlike a photoelectron acceleration type multiplication mechanism that requires several KV, a high voltage is not required. Amplification of about 100 times or more is possible with a Boost voltage amplitude of 15V.
C. High resolution There is no fluorescence emission or fiber plate on the front of the device, and photoelectrons are received directly, so there is no afterimage at high resolution.
D. Since amplification is performed before the output amplifier, the noise becomes low.
E. Colorization is possible.
F. The built-in cooling Peltier realized a reduction in device dark output.
G. This CCD manufactured by TI can handle from ultraviolet to near infrared.
H. Because it is a solid state device, it is small and highly reliable.
I. There is no problem of burn-in, and high reliability and long life can be realized.
以下、各項目について詳述する。
・オーバーフロードレイン
従来の電子判定装置では、その目となるラインセンサーの各受光素子において強い光が入射することで受光素子内部で限界量を超えた電荷が蓄積された場合に、その余剰電荷に対する対応がしてないセンサーを使用していた為、隣の画素にその余剰電荷が流れ込み、適正な画像が取得できないでいた。
Hereinafter, each item will be described in detail.
・ Overflow drain In the conventional electronic determination device, when the light exceeding the limit amount is accumulated inside the light receiving element due to the strong light incident on each light receiving element of the line sensor, the response to the surplus charge Since the sensor was not used, the surplus charge flowed into the adjacent pixel, and an appropriate image could not be acquired.
その結果、従来型の電子判定装置としては、馬の蹄鉄、自転車のリムなどの位置から強い光を受けて、ライン方向に白っぽい筋が映像として現れ、判定の妨げとなっていた。本発明では各受光素子に隣接して、余剰電荷を逃がすための道を準備し、限界量を超えた電荷をこの道に流すことで隣の画素への流れ込みを無くす考慮がされたラインセンサーを使うことで、強い光が入射しても過剰な電荷が排除され良好な電子判定画像が得られる。 As a result, as a conventional electronic determination device, strong light is received from positions such as a horseshoe or a bicycle rim, and whitish streaks appear as an image in the line direction, which hinders determination. In the present invention, a line sensor is prepared adjacent to each light receiving element, in order to eliminate the flow to the adjacent pixels by preparing a path for releasing surplus charges, and flowing charges exceeding the limit amount to the path. By using it, even if strong light is incident, excessive charges are eliminated and a good electronic determination image can be obtained.
図7にその具体的構成を示す。
スミアとは、撮像エリアに非常に高輝度の被写体が存在した場合、垂直転送中に光電変換される電荷量が無視できなくなり、高輝度の被写体を中心に縦いっぱいに白っぽい筋が現れる現象である。
FIG. 7 shows the specific configuration.
Smear is a phenomenon in which when a very bright subject exists in the imaging area, the amount of charge that is photoelectrically converted during vertical transfer cannot be ignored, and whitish streaks appear vertically all around the high-luminance subject. .
撮像エリアに非常に高輝度の被写体が存在した場合、垂直転送中に光電変換される電荷量が無視できなくなり、高輝度の被写体を中心に縦いっぱいに白っぽい筋が現れる。図6の写真は、飽和光量の4000倍の入力光での実験結果を示す。 When a subject with very high brightness exists in the imaging area, the amount of charge that is photoelectrically converted during vertical transfer cannot be ignored, and whitish streaks appear vertically throughout the subject with high brightness. The photograph in FIG. 6 shows the experimental results with input light 4000 times the saturation light quantity.
このように、スミアはCCDの撮像面に強い光が入ると、そこで発生した余剰電荷が、その画素の周辺の画素にあふれ出るために発生する現象で、周囲に光がにじみ出たような画像になる。これはアンチブルーミング機構をCCD素子に設け余剰な電荷を排出する事で抑制する。前記TI社のものは、図7に示されるLOD(横形オーバーフロードレイン)機構22を採用している。 In this way, smear is a phenomenon that occurs when strong light enters the image pickup surface of the CCD, and surplus charges generated there overflow to pixels around that pixel, resulting in an image in which light oozes out to the surroundings. Become. This is suppressed by providing an anti-blooming mechanism in the CCD element and discharging excess charges. The company TI employs a LOD (lateral overflow drain) mechanism 22 shown in FIG.
・Gイーサネット
従来は、電子判定装置の撮像を担当するカメラ部と表示を担当するパソコン部分をアナログ映像情報で伝送するケースやIEEE1394等ビデオ信号向けに開発されたデジタル伝送で伝送するケースが主だった。
・ G Ethernet Conventionally, the case where the camera part in charge of imaging of the electronic judging device and the personal computer part in charge of display are transmitted by analog video information and the case of transmission by digital transmission developed for video signals such as IEEE1394 are mainly used. It was.
これは、カメラからのアナログ出力信号を、パソコン内に装着したカメラ入力用インターフェイスで取得する方法であり、旧来から行われている最もポピュラーな方法である。このIEEE1394規格のデジタル信号で接続する方法は以下のとおりである。 This is a method of acquiring an analog output signal from a camera with a camera input interface installed in a personal computer, and is the most popular method that has been used since the past. The method of connecting with the digital signal of this IEEE1394 standard is as follows.
この方法は、米国Apple社が最初に提唱したカメラやビデオ装置、パソコン間で画像情報を伝送する方法であり、この方法は400MBit /秒までしか現状実用化されておらず、主にNTSCとかPALと言った従来の放送規格程度の画像信号の伝送用として開発されたものである(日本国内で始まったハイビジョンには適応できない)、したがって、今回のような400MBit /秒をはるかに超える高速なカメラでは適用することができない。 This method is a method of transmitting image information between a camera, a video device, and a personal computer first proposed by Apple Inc. in the United States, and this method is currently in practical use only up to 400 MBit / second, mainly NTSC or PAL. It was developed for the transmission of image signals of the same level as the conventional broadcast standard (cannot be applied to high-definition video that started in Japan). Therefore, a high-speed camera that far exceeds 400 MBit / sec. Is not applicable.
参考:今回のカメラの概略画像情報発生量
10,000ライン/秒*4000画素/ライン*3(RGB)
=120MByte/秒=約1200MBit /秒
(1Byte=8Bit で換算すべきであるが、伝送路でのパケットの前後にいろいろなヘッダー情報が付加されるので、このことを加味してここでは1Byte=約10Bit で換算した)
Reference: Amount of image information generated by the current camera 10,000 lines / second * 4000 pixels / line * 3 (RGB)
= 120 MByte / sec = about 1200 MBit / sec (1 Byte = 8 Bit should be converted, but since various header information is added before and after the packet on the transmission path, 1 Byte = about here in consideration of this) (Converted to 10Bit)
本発明においては、図8に示すように、カメラからパソコンへの画像伝送を、Gイーサネットを用いて伝送することを提案している。
Gイーサネットは、CSMA/CD(搬送波感知多重アクセス/衝突検出)方式を用い、フレームの送信前にデータ路が空いているかどうかを確認してフレームを送信する方式である。一方、映像信号は高速であり、途中で停止できない性質のため、本発明の電子判定システムは、前記電子カメラ制御装置の内部にフレームバッファー部を設け、該フレームバッファー部において前記ラインセンサーの画像を標準の2次元画像のごときフォーマットに構築し伝送する。あたかも標準の2次元画像のごときフォーマットに再構築し伝送することで、Gイーサネットの標準でサポートされている2次元カメラ伝送のルールを守りながらも、ラインセンサーの映像情報+デジタル情報(スタートからの経過時刻、開催日、開催地など)をGイーサネットの通常のルールの範囲(たとえば240×240画素)で伝送することでパソコンに送り、パソコン内部のアプリケーションソフトは普通の2次元画像フォーマットで伝送されてきた画像を構築し直すことで、Gイーサネットのとっては変則のラインセンサーの画像でも受けとり、表示するようにしている。
In the present invention, as shown in FIG. 8, it is proposed to transmit image transmission from a camera to a personal computer using G Ethernet.
G Ethernet uses a CSMA / CD (Carrier Sense Multiple Access / Collision Detection) method, and transmits a frame by checking whether a data path is free before transmitting the frame. On the other hand, since the video signal is high-speed and cannot be stopped halfway, the electronic determination system of the present invention includes a frame buffer unit inside the electronic camera control device, and the image of the line sensor is displayed in the frame buffer unit. It is constructed and transmitted in a format such as a standard two-dimensional image. By reconstructing and transmitting the data as if it were a standard 2D image, the video information + digital information (from the start) of the line sensor is maintained, while complying with the 2D camera transmission rules supported by the G Ethernet standard. (Elapsed time, date, place, etc.) are sent to the PC by transmitting within the normal G Ethernet rule range (eg 240 x 240 pixels), and the application software inside the PC is transmitted in the normal 2D image format. By reconstructing the image, the image of the anomalous line sensor for G Ethernet is received and displayed.
なお、従来の一般的方法は、複数のパソコンをイーサネット(登録商標)規格の伝送インターフェイスで接続し、それぞれのパソコンがイーサネット上の固有のアドレスを持つことで送信主から目的の受信主に電文を送る方法で、インターネットにはこのイーサネット規格を使って接続してるのが大半の接続形態である。イーサネットは初期においては10MBit /秒程度の伝送速度で始まったが、100MBit /秒、1000MBit /秒と伝送速度は速まり、最近のパソコンではこの1000MBit/秒の伝送速度の機能を標準で持つパソコンが多くなってきた。この1000MBit /秒の速度のイーサネットを簡略化してGイーサネットと呼んでいる。 In addition, the conventional general method is to connect multiple PCs with an Ethernet (registered trademark) standard transmission interface, and since each PC has a unique address on the Ethernet, a message is sent from the sender to the intended receiver. Most connections are connected to the Internet using this Ethernet standard. Ethernet started at a transmission speed of about 10 MBit / second in the early days, but the transmission speed increased to 100 MBit / second and 1000 MBit / second. In recent personal computers, there is a personal computer that has a function of the transmission speed of 1000 MBit / second as a standard. It has increased. This Ethernet having a speed of 1000 MBit / second is simply called G Ethernet.
イーサネットでは基本は送り主がイーサネット上に伝送したいパケットを受信主のアドレスもつけて送り出し、同イーサネット上に該当アドレスを持つ受信主が存在した場合には、受信主が応答を返すことで成立する伝送方法であり、また同時刻に別の送信主が別の受信主に送る場合があることも許している伝送方法(衝突を許す)なので、カメラのような一定時間に一定のデータを伝送したい端末からの画像情報の伝送手段としては、その情報が確実に受信主に渡るという意味では不向きである。が、世の中のパソコンは、そのほとんどがこの安価で高速な伝送手段であるイーサネットを標準装備しておりインターネットなどに接続しポピュラーに使われているのでこの通信手段を使えば非常に便利である。 In Ethernet, the sender basically sends out the packet that the sender wants to transmit on the Ethernet with the address of the receiver, and if there is a receiver with the corresponding address on the same Ethernet, the transmission that is established when the receiver returns a response. This method is also a transmission method that allows another sender to send to another receiver at the same time (allows collision), so a terminal that wants to transmit certain data at a certain time like a camera It is not suitable as a means for transmitting image information from the point of view that the information is surely passed to the receiver. However, most of the personal computers in the world are equipped with Ethernet, which is an inexpensive and high-speed transmission means, as standard equipment, and are connected to the Internet etc., so it is very convenient to use this communication means.
以下、本発明のGイーサネットでの具体的接続方法を説明する。
なお、従来普通の2次元カメラ(エリアセンサー)を用いた場合であって、おおむね256(水平方向)×240(垂直方向)、あるいは640(水平方向)×480(垂直方向)の解像度を持つカラーの2次元カメラや1024*1024の解像度を持つモノクロカメラをGイーサネットで伝送する方法は存在する。
Hereinafter, a specific connection method in the G Ethernet according to the present invention will be described.
Note that a color having a resolution of approximately 256 (horizontal direction) x 240 (vertical direction) or 640 (horizontal direction) x 480 (vertical direction) when a conventional two-dimensional camera (area sensor) is used. There are methods for transmitting a two-dimensional camera and a monochrome camera having a resolution of 1024 * 1024 using G Ethernet.
256画素*240ライン*60フレーム/秒*3(RGB)=約11Mbyte/秒
640画素*480ライン*30フレーム/秒*3(RGB)=約28Mbyte/秒
1024画素*1024ライン*30フレーム*1(モノクロ)=約32MByte/秒
これはGイーサネットの伝送能力に比べて十分余裕のある伝送量であるので実用化されているが、現実にはパソコン上で負荷の多くなるアプリケーションソフトウエアが実行されていた場合には、取り込みミスすることを承知で行っている方法である。
256 pixels * 240 lines * 60 frames / second * 3 (RGB) = about 11 Mbyte / second 640 pixels * 480 lines * 30 frames / second * 3 (RGB) = about 28 Mbyte / second 1024 pixels * 1024 lines * 30 frames * 1 (Monochrome) = approx. 32 MByte / sec This is practical because it has enough transmission capacity compared to the G Ethernet transmission capability, but in reality, application software that increases the load is executed on a personal computer. If this is the case, this is a method of knowing that the mistake has been made.
しかし、本発明のシステムは競技用電子判定装置であり、たとえ1ラインでも欠落は許されない。そこで本システムでは、図11のようにカメラ制御部内にバッファー73を設け、欠落なく伝送できるようにしている。 However, the system of the present invention is an electronic determination device for competition, and even one line is not allowed to be lost. Therefore, in this system, a buffer 73 is provided in the camera control unit as shown in FIG.
(1)カメラヘッド70内のラインセンサーから出力されたアナログの画像信号はカメラ制御部80に送られ、最低限のアナログ処理(GAIN調整等)を行ってAD変換される。
(2)AD変換されたラインセンサー画像は、必要な画像処理(ノイズ除去、ガンマ変換、ホワイトバランス調整等)を行ない、画像の先頭に時刻情報、開催場所情報などの情報を加え、さらにこのままパソコンに送ったのではパソコン上ではラスター方向(水平方向)になってしまうので、競技用で使う垂直方向に変換する必要がありこの部分で縦横変換する(72)。
(3)Gイーサネット経由でのパソコンからの指示、あるいはカメラ制御部に直接接続されたタイムスタート、記録開始、記録一時停止、記録終了等のボタンの指示に従って、カメラ制御部内のCPU81は各部に指示を出し、図12に示されるように縦横変換された画像を1レース分を格納するに十分なバッファーメモリー73に記録停止指示がくるまで上記画像情報を記録する。
(4)バッファーメモリー73にGイーサネット82で送り出し可能な量の上記画像情報が格納されたことが確認できたら“1次元→2次元変換ならびにシーケンシャル番号付加回路”74は、バッファーメモリーから画像情報を読み出し開始し、1次元情報から2次元情報に組立てしなおす。このとき、図13に示すように先頭にシーケンシャル番号を付加する(より安全にするためにチェックサムをつけるとよい)。
(5)2次元情報に組立った画像情報はGイーサネット82にて、パソコンに向けて送出される。
(1) The analog image signal output from the line sensor in the camera head 70 is sent to the camera control unit 80, and is subjected to AD conversion by performing minimum analog processing (GAIN adjustment or the like).
(2) The AD converted line sensor image is subjected to the necessary image processing (noise removal, gamma conversion, white balance adjustment, etc.), information such as time information and venue information is added to the top of the image, and the personal computer is used as it is. Since it will be in the raster direction (horizontal direction) on the personal computer, it will be necessary to convert it to the vertical direction used for competition, and this part will be converted to vertical and horizontal (72).
(3) The CPU 81 in the camera control unit instructs each unit according to an instruction from the personal computer via the G Ethernet, or a button instruction such as time start, recording start, recording pause, recording end directly connected to the camera control unit. As shown in FIG. 12, the image information is recorded until an instruction to stop recording is received in a buffer memory 73 sufficient to store one race worth of the image that has been subjected to the vertical / horizontal conversion.
(4) When it is confirmed that the above-described image information that can be sent out by the G Ethernet 82 is stored in the buffer memory 73, the “one-dimensional to two-dimensional conversion and sequential number addition circuit” 74 receives the image information from the buffer memory. Start reading and reassemble from 1D information to 2D information. At this time, a sequential number is added to the head as shown in FIG.
(5) Image information assembled into two-dimensional information is sent to a personal computer via the G Ethernet 82.
(6)パソコン79上のアプリケーションソフトはGイーサネットから、あたかも2次元カメラ情報として送られてきた本装置からの画像情報を取得するたびに、先頭のシーケンシャル番号を確認する(図11の78)。シーケンシャル番号は該当レースの記録開始直後が0、あとは連続に+1された値である(シーケンシャル番号にチェックサムをつけておけばより安全となる)。あるときアプリケーションソフトが取得した画像のシーケンシャル番号がnだとして、その次に取得した番号がn+2だとしたら、n+1の画像が伝送路で消失したことになる。n+mだとしたら、n+1〜n+m−1までの画像が伝送路で消失したことになる。この場合にはアプリケーションソフトはカメラ制御部のCPU81にGイーサネットを経由して、その消失情報を送る。受けたCPU81は該当ラインを再送するが、シーケンシャル番号の1部に再送画像であることのフラッグをつけて再送する。こうすることで、正常に送られた画像は、パソコン内の格納メモリーの所定位置に配置され、再送で後ほど送られた画像でも格納メモリーの位置は後でも特定できるので、その場所に挿入される。
シーケンシャル番号チェック(78)で期待されない値の場合は、アプリケーションソフトは捨て去る。(たとえば今n+1を期待しているのに、n−mみたいな画像あるいはチェックサムが会わない画像など)
(6) The application software on the personal computer 79 confirms the leading sequential number each time it acquires image information from the apparatus as if it were sent as 2D camera information from G Ethernet (78 in FIG. 11). The sequential number is 0 immediately after the start of recording of the corresponding race, and the value after that is incremented continuously by 1 (it is safer if a checksum is added to the sequential number). If the sequential number of the image acquired by the application software is n and the acquired number is n + 2, then n + 1 images have been lost on the transmission path. If n + m, then images from n + 1 to n + m−1 have disappeared on the transmission path. In this case, the application software sends the disappearance information to the CPU 81 of the camera control unit via G Ethernet. The received CPU 81 resends the corresponding line, but resends a part of the sequential number with a flag indicating that it is a resent image. By doing this, the image sent normally is placed at a predetermined position in the storage memory in the personal computer, and the position of the storage memory can be specified later even if the image is sent later by resending, so it is inserted at that location. .
If the value is not expected in the sequential number check (78), the application software is discarded. (For example, an image that is expected to be n + 1 but does not meet the checksum, such as nm)
(7)なぜ、上記(6)のようなことを行うかといえば、画像の高速伝送速度とアプリケーションソフトの応答速度の関係でこうするのが最もよい。画像は2次元画像が256X240画素のカラー画像解釈だとして30MHz程度のクロックで送出すると約6mSで1画像がパソコンに届く。一方アプリケーションソフトの応答は速くても数mSに1回程度しかOSから実行権を受けれない。一旦実行権を受ければ、mS以下の高速作業も可能である。 (7) The reason why the above-described (6) is performed is best performed in accordance with the relationship between the high-speed image transmission speed and the response speed of the application software. Assuming that a two-dimensional image is a color image interpretation of 256 × 240 pixels as a two-dimensional image, if the image is sent with a clock of about 30 MHz, one image reaches the personal computer in about 6 mS. On the other hand, even if the response of the application software is fast, the execution right can be received from the OS only once every several milliseconds. Once the execution right is received, high-speed work of less than mS is possible.
パソコン79にもイーサネットから受けた画像を一時滞留する十分大きなバッファーを確保し、OS配下にあるドライバーソフトに任せて本装置から次々と送られてくる画像を蓄える。アプリケーションソフトとしては時々このバッファーが半分以上溜まったかみて、それ以上になったらGイーサネット経由で、カメラ制御部に伝送を止めるように指示する。あるいは殆ど無くなったらカメラ制御部に伝送を再開するように指示する。(概ねバッファーサイズの5%未満を検出して指示するとよい) The personal computer 79 also secures a sufficiently large buffer for temporarily storing images received from the Ethernet, and stores the images sent one after another from this apparatus by leaving it to the driver software under the OS. The application software sometimes checks if this buffer has accumulated more than half, and if it exceeds that, instructs the camera control unit to stop transmission via G Ethernet. Or, when it is almost gone, it instructs the camera control unit to resume transmission. (In general, it should be indicated by detecting less than 5% of the buffer size)
カメラ制御部はアプリソフトからの伝送停止命令があるまでは連続で画像フレームを送り出す。ドライバーソフトウエアは、この伝送に応じて次々とパソコン79内のバッファーに格納するが、パソコンの実行負荷によっては、ある画像フレームが消失している(Gイーサネットが保証していない)。そこで、上記のようなシーケンシャル番号を付加することで、画像が全て正しく到着したか確認する必要がある。こうしてカメラのような一定速度で伝送してくる装置からも安価で高速ではあるが、画像消失が行われるGイーサネットでも安全に伝送することができる。
以上のことにより、世間で一般的に使われているGイーサネットを使うにもかかわらず、映像信号を連続的かつ安定して伝送している。
The camera control unit continuously sends out image frames until there is a transmission stop command from the application software. The driver software sequentially stores in the buffer in the personal computer 79 in response to this transmission, but a certain image frame is lost depending on the execution load of the personal computer (G Ethernet does not guarantee). Therefore, it is necessary to confirm whether all the images have arrived correctly by adding the sequential numbers as described above. Thus, although it is inexpensive and fast from a device that transmits at a constant speed such as a camera, it can be safely transmitted even by G Ethernet where image loss is performed.
As described above, the video signal is continuously and stably transmitted despite using G Ethernet generally used in the world.
本発明の競技用電子判定システムの具体的実施例(以下、CDV−Xシステムという。)を図10に示す。
図10において、CDV−Xシステムはメモリボックス(以下、DCUという。)56を中心とし、センサーカメラ50、専用CCDライン59、光ファイバー57、ギガビットイーサネット(以下、Gイーサネットという。)58、PC(パソコン)55、メイン/サブ操作卓60.61及びUXGA解像度(1600×1200)の液晶モニター62からなっている。
FIG. 10 shows a specific example (hereinafter referred to as a CDV-X system) of the competition electronic determination system of the present invention.
In FIG. 10, the CDV-X system is centered on a memory box (hereinafter referred to as DCU) 56, sensor camera 50, dedicated CCD line 59, optical fiber 57, Gigabit Ethernet (hereinafter referred to as G Ethernet) 58, PC (personal computer). ) 55, a main / sub console 60.61, and a liquid crystal monitor 62 having a UXGA resolution (1600 × 1200).
DCU56はカメラヘッドからのアナログ信号をコンディショニングして、A/D変換を行う。DCU内で記憶容量が2GBあるバッファメモリーに画像データを蓄積しながらフォーマット変換してPC55に転送する。PC55では受け取ったレースデータをPC画面上に表示し、拡大縮小や画像処理を行い最終的にデジタルデータとしてハードディスクに記録する。 The DCU 56 conditions an analog signal from the camera head and performs A / D conversion. The image data is stored in a buffer memory having a storage capacity of 2 GB in the DCU, the format is converted and transferred to the PC 55. The PC 55 displays the received race data on the PC screen, performs enlargement / reduction and image processing, and finally records the data as digital data on the hard disk.
DCU56内のバッファメモリーが1レース分あるので、万一PC55側で事故が発生しても1レース前まで遡ってレースデータを再取得することが可能である。
PC55とDCU56との制御通信は、カメラリンクインターフェース中のシリアル通信ラインで行う。ボーレートは38.4Kbpsである。
DCU56内には、アナログプロセス基板とデジタル処理基板が設けられており、各基板の役割は以下のとおりである。
Since there is one buffer memory in the DCU 56, even if an accident occurs on the PC 55 side, it is possible to reacquire race data by going back to the previous race.
Control communication between the PC 55 and the DCU 56 is performed through a serial communication line in the camera link interface. The baud rate is 38.4 Kbps.
An analog process board and a digital processing board are provided in the DCU 56, and the role of each board is as follows.
・アナログプロセス基板
カメラ動作に必要なクロック、同期信号を発生する。
PC55からの設定をDCU56内のCPU(SH−4)で受信し、その設定に基づいたタイミング信号を発生する。
・ Analog process board Generates clocks and synchronization signals necessary for camera operation.
The CPU (SH-4) in the DCU 56 receives the setting from the PC 55 and generates a timing signal based on the setting.
カメラヘッドより接続されたアナログ信号はゲイン調整、オフセット調整、フィルターなどの処理を経て10BITのA/D変換器に入力され、デジタルデータに変換される。
データはアルテラFPGA内に入力され、様々な信号処理を経てデジタル処理基板にLVDS信号として接続される。
An analog signal connected from the camera head is input to a 10-bit A / D converter through processing such as gain adjustment, offset adjustment, and filter, and is converted into digital data.
The data is input into the Altera FPGA and is connected as a LVDS signal to the digital processing board through various signal processing.
・デジタル処理基板
上記アナログプロセス基板より、デジタル化された画像データを受け取り、まず縦横変換を行い縦スキャンのデータをラスタースキャンのデータに変更する。ただし、バッファメモリー容量及びカメラリンク送出時の都合により縦スキャン16ライン毎のブロックで変換を行う。
-Digital processing board The digitized image data is received from the analog process board, and first, vertical / horizontal conversion is performed to change the vertical scan data to raster scan data. However, conversion is performed in blocks for every 16 lines of vertical scan due to buffer memory capacity and convenience when sending out the camera link.
つまり、16ライン分のデータが横16画素×縦3600画素のラスタ・スキャンデータに変換される。また、このときに、画像には縦1ライン毎にタイムコードが埋め込まれる。 That is, the data for 16 lines is converted into raster scan data of 16 horizontal pixels × 3600 vertical pixels. At this time, a time code is embedded in the image for each vertical line.
次に、画像データは2GBを有するバッファメモリーに書き込まれる。
また、このデータは次レースデータ取得時及び電源切断時以外はデータを保持し続ける。従って、PCへの転送が何らかの原因で失敗してもPCへの最送出が可能である。
Next, the image data is written into a buffer memory having 2 GB.
Further, this data continues to be held except when the next race data is acquired and when the power is turned off. Therefore, even if the transfer to the PC fails for some reason, the maximum transmission to the PC is possible.
バッファメモリーに書き込まれたデータは順次読み出され、256×226画素のエリアスキャン・カメラデータとしてカメラリンク・アダプターに送出される。
また、この基板にはルネサス社製SH−4CPUを搭載しており外部入力並びにPCよりのトリガー信号を制御して画像取り込みの様々な制御及び各所内部設定およびカメラヘッドCPUとの通信管理などを行う。
The data written in the buffer memory is sequentially read out and sent to the camera link adapter as 256 × 226 pixel area scan camera data.
In addition, this board is equipped with an SH-4 CPU manufactured by Renesas and controls external input and trigger signals from the PC to perform various control of image capture, internal settings in each place, communication management with the camera head CPU, and the like. .
・カメラリンク←→ギガビットイーサネットメディアコンバータ
デジタル処理基板よりカメラリンクインターフェースで出力されたレースデータはプレオラ社製「カメラリンクtoギガビットイーサネット」変換器52に入力されギガビットイーサネット信号にて出力される。
・ Camera Link ← → Gigabit Ethernet Media Converter The race data output from the digital processing board via the camera link interface is input to the “Camera Link to Gigabit Ethernet” converter 52 manufactured by Preora and output as a Gigabit Ethernet signal.
転送レートは最大100MByte/Sec で、本装置では最大60MByte/Sec 程度のスピードを目標で使用している。
・ギガビットイーサネット←→光ファイバメディアコンバータ
ギガビットイーサネット信号はさらにギガビットイーサネットto光ファイバ変換器53に入力され光ファイバ信号にて出力される。
信号はシングルモード伝送で到達距離は1km以上となっている。
The maximum transfer rate is 100 MByte / Sec, and this device uses a maximum speed of about 60 MByte / Sec.
Gigabit Ethernet ← → Optical fiber media converter The Gigabit Ethernet signal is further input to the Gigabit Ethernet to optical fiber converter 53 and output as an optical fiber signal.
The signal is single mode transmission and the reach is 1 km or more.
・素子の冷却
従来の電子判定装置では、その目となるラインセンサーの各受光素子には一般のCCDあるいはCMOS素子でかつ素子の冷却を行っていなかったため、低照度あるいは高速度での撮影では熱雑音が支配的な判定用画像となり判定の妨げとなっていた。
-Element cooling In the conventional electronic determination device, each light receiving element of the line sensor that is the eye is a general CCD or CMOS element, and the element is not cooled. Noise was the dominant image for determination, which hindered determination.
本発明の装置では、図9に示すようにラインセンサーの素子41の背面にペルチェ素子44を装着し、約零℃以下まで冷却することで、素子の温度を下げて熱雑音の発生を少なくさせ、判定用画像の画質を改善して判定作業を簡単にする。 In the apparatus of the present invention, as shown in FIG. 9, a Peltier element 44 is mounted on the back surface of the element 41 of the line sensor and cooled to below about 0 ° C., thereby reducing the temperature of the element and reducing the generation of thermal noise. The determination work is simplified by improving the image quality of the determination image.
・量子雑音対策
電荷増倍機能をもったラインセンサーからの出力画像は、増倍比率を上げれば上げるほど増倍にともない量子雑音が無視できなくなり、そのまま画像化しても判定用画像としてはノイズの多い画像となり判定の妨げとなっていた。
・ Quantum noise countermeasures The output image from a line sensor with a charge multiplication function cannot be ignored as the multiplication ratio is increased. There were many images, which hindered judgment.
本発明の装置では、電荷増倍機能を持ったラインセンサーからの出力画像を時間方向には影響しないように列方向のみで、ある注目画素の近傍の画素との比較で中央値を示す値で代替することで、雑音を取り除く処理を行い画質改善することで判定作業をし易くした。 In the apparatus of the present invention, the output image from the line sensor having the charge multiplying function is a value indicating a median value only in the column direction so as not to affect the time direction and compared with a pixel near a certain target pixel. By substituting for it, the process of removing noise was performed and the image quality was improved to make the judgment work easier.
・光ショットノイズ対策
暗い被写体は光子の量も少なくなってくると、光の持つ揺らぎの成分まで撮像するレベルになり、レスポンスの速いCCDカメラは、ランダムノイズによる画像品質劣化が生じてくる。これはCCDに残像がない特徴が、かえって悪影響を及ぼすためである。
-Measures against light shot noise When the amount of photons in a dark subject decreases, the level of light fluctuations is captured, and a CCD camera with a fast response causes image quality degradation due to random noise. This is because the characteristic of the CCD having no afterimage has an adverse effect.
レスポンスの速さから来る弊害をなくすために、イメージインテンシファイアの蛍光面の持つ特性と同様に、信号のアベレージングをするようなスムーズ処理を後段に接続することで画質改善が可能である。 In order to eliminate the adverse effects caused by the speed of response, the image quality can be improved by connecting a smooth process such as signal averaging to the subsequent stage, similar to the characteristics of the phosphor screen of the image intensifier.
この具体的態様は以下のごとくなる。
まず、この発明において重要なことは、上記スムージングにおいて時間方向の加工処理は行わないことである。
This specific aspect is as follows.
First, what is important in the present invention is that the processing in the time direction is not performed in the smoothing.
通常のセンサのショット・ノイズ対策は、一定領域内の上下、左右の画素を取って、その平均値を採用する。このことにより画素の連続性がスムーズになりクリック性のノイズが除去される。 As a countermeasure against shot noise of a normal sensor, the upper and lower, left and right pixels in a certain area are taken and the average value is adopted. As a result, the continuity of the pixels becomes smooth and clickable noise is removed.
しかし、本発明のラインセンサーの主たる目的はゴールライン上の着順判定であるため、時間軸上で前後の平均値を取ると画像の正確な位置が崩れることになり好ましくない。
従って、この発明では、画質より判定の正確さの方が優先されて、上記スムージング処理を上下の位置間(センサー長手方向)についてのみ行い、時間軸でずれた画素間、すなわちスキャンの異なる連続画素間のスムージングは一切行わない。このことにより、時間軸上の判定精度が向上することになる。
However, since the main purpose of the line sensor of the present invention is to determine the arrival order on the goal line, taking the average value before and after on the time axis is not preferable because the accurate position of the image is lost.
Therefore, in the present invention, the accuracy of determination is prioritized over the image quality, and the smoothing process is performed only between the upper and lower positions (sensor longitudinal direction), and the pixels shifted on the time axis, that is, consecutive pixels with different scans. No smoothing in between. This improves the determination accuracy on the time axis.
このスムージング処理は、センサーからの画像をD1,D2,・・・Dn,・・・とADコンバータでデジタル化した後、
例えば、
イ.加重移動平均(例は3位置法、5,7,9位置でも同じ要領)
DnNEW=(a*Dn−1+b*Dn+c*Dn+1)/(a+b+c)
Dn:R,G,Bと3種類あり0〜4096(12Bit のADコンバータを使った場合)の値を示す入力画像データ
a,b,c:0〜256内の任意の値
(主に、熱雑音を除去する場合に使う。)
ロ.単純中央値選択法(例は3位置法、5,7,9位置でも同じ要領)
GnNEW=SORT(Gn−1,Gn,Gn+1)
RnNEW=SORT(Rn−1,Rn,Rn+1)
BnNEW=SORT(Bn−1,Bn,Bn+1)
ここでのSORT関数は与えられたDATAを大きい順あるいは小さい順に並び替えて、その中央値を左辺の値とする関数。たとえばGn−1=100,Gn=120,Gn+1=110だとして、小さい順に並べると、100(Gn−1),110(Gn+1),120(Gn)となり、中央値として110(Gn+1)が採用される。なお、上記式ではカラー画像を前提に説明している。
(電荷増倍部でランダムに発生するインパルス性ノイズの除去に使う。)
This smoothing process digitizes the image from the sensor with D1, D2,... Dn,.
For example,
I. Weighted moving average (example is the same for 3 position method, 5, 7, 9 position)
DnNEW = (a * Dn-1 + b * Dn + c * Dn + 1) / (a + b + c)
Dn: There are three types, R, G and B. Input image data indicating a value of 0 to 4096 (when a 12-bit AD converter is used)
a, b, c: Any value in the range of 0 to 256 (mainly used to remove thermal noise)
B. Simple median selection method (example: 3-position method, the same procedure for positions 5, 7, 9)
GnNEW = SORT (Gn-1, Gn, Gn + 1)
RnNEW = SORT (Rn-1, Rn, Rn + 1)
BnNEW = SORT (Bn-1, Bn, Bn + 1)
The SORT function here is a function that rearranges the given DATA in the order of large or small and uses the median as the value on the left side. For example, assuming that Gn-1 = 100, Gn = 120, Gn + 1 = 110, and arranging them in ascending order, 100 (Gn-1), 110 (Gn + 1), 120 (Gn) are used, and 110 (Gn + 1) is adopted as the median value. The In the above formula, the description is based on a color image.
(Used to remove random impulse noise generated at the charge multiplier.)
ハ.緑基準中央値選択法
GnNEW=SORT(Gn−1,Gn,Gn+1)
RnNEW=GnNEWの候補になった位置のRn
BnNEW=GnNEWの候補になった位置のBn
上記式ではカラー画像を前提に説明している。
(電荷増倍部でランダムに発生するインパルス性ノイズの除去に使う。)
等を用いる。
C. Green standard median selection method GnNEW = SORT (Gn-1, Gn, Gn + 1)
RnNEW = Rn at a position that is a candidate for GnNEW
BnNEW = Bn at a position that is a candidate for GnNEW
The above formula is described on the assumption of a color image.
(Used to remove random impulse noise generated at the charge multiplier.)
Etc. are used.
本発明によれば、夜間とか、夕方の低照度状態の競技や、高速度撮影を可能にし、高分解能を実現したので、従来信頼性が低かった電子判定装置の信頼性が向上し、従来写真判定に頼っていたゴールライン上の着順判定に本発明の電子判定装置が用いられる可能性が高くなった。 According to the present invention, it is possible to perform competitions at night or in the evening in low light conditions, high-speed shooting, and high resolution, so that the reliability of the electronic determination device, which has been low in reliability, is improved, and the conventional photo The possibility that the electronic determination device of the present invention is used for the arrival order determination on the goal line that relied on the determination has increased.
また、着順判定作業が正確かつ容易になると共に合理化が図られ、手作業に頼る写真判定の作業も軽減される効果がある。さらにまた、電子化により記録や再生の作業が非常に簡便になる効果が大きく、夜間等の低照度状態や高速度撮像可能な、高分解能の上記本発明の電子判定装置の産業上の利用性は高い。 In addition, the arrival order determination work becomes accurate and easy and is streamlined, and there is an effect that the photo determination work that relies on manual work is reduced. Furthermore, the computerization and recording operations are greatly simplified, and the industrial applicability of the above-described electronic determination device of the present invention with high resolution capable of high-speed imaging at low illumination conditions such as nighttime. Is expensive.
1 受光部
2 アンプ
3 受光部
4 電荷増倍部
5 アンプ
10 センサー部
11,12 電荷転送部
13 電荷増倍部
20,21 受光素子
22 オーバーフロードレイン
30,35 カメラヘッド
31,36 カメラ制御部
32,37 パソコン
33,38 モニター
41 受光部
44 ペルチェ素子
50 CCDカメラ
55 PC
56 DCU
70 カメラヘッド
73 バッファーメモリー
79 PC
80 カメラ制御部
81 PC
DESCRIPTION OF SYMBOLS 1 Light-receiving part 2 Amplifier 3 Light-receiving part 4 Charge multiplication part 5 Amplifier 10 Sensor part 11,12 Charge transfer part 13 Charge multiplication part 20,21 Light-receiving element 22 Overflow drain 30,35 Camera head 31,36 Camera control part 32, 37 PC 33, 38 Monitor 41 Light receiver 44 Peltier element 50 CCD camera 55 PC
56 DCU
70 Camera head 73 Buffer memory 79 PC
80 Camera control unit 81 PC
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006317883A JP4906155B2 (en) | 2006-11-26 | 2006-11-26 | High sensitivity and high speed electronic judging device for competition using charge multiplication element |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006317883A JP4906155B2 (en) | 2006-11-26 | 2006-11-26 | High sensitivity and high speed electronic judging device for competition using charge multiplication element |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011258376A Division JP2012085324A (en) | 2011-11-27 | 2011-11-27 | High sensitivity, high speed electronic judgment device for competition using charge multiplication element |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008131609A true JP2008131609A (en) | 2008-06-05 |
JP4906155B2 JP4906155B2 (en) | 2012-03-28 |
Family
ID=39556975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006317883A Active JP4906155B2 (en) | 2006-11-26 | 2006-11-26 | High sensitivity and high speed electronic judging device for competition using charge multiplication element |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4906155B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102430235A (en) * | 2010-09-29 | 2012-05-02 | 周铭扬 | Novel special gait detector for heel-and-toe walking manner and special products of novel special gait detector |
WO2014050117A1 (en) * | 2012-09-27 | 2014-04-03 | パナソニック株式会社 | Image processing device and image processing method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197040A (en) * | 1998-12-25 | 2000-07-14 | Totor Engineering Co Ltd | Method for removing faults in electronic deciding device of color correspondence |
JP2006201044A (en) * | 2005-01-21 | 2006-08-03 | Hitachi High-Technologies Corp | Defect inspection method, and device thereof |
-
2006
- 2006-11-26 JP JP2006317883A patent/JP4906155B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197040A (en) * | 1998-12-25 | 2000-07-14 | Totor Engineering Co Ltd | Method for removing faults in electronic deciding device of color correspondence |
JP2006201044A (en) * | 2005-01-21 | 2006-08-03 | Hitachi High-Technologies Corp | Defect inspection method, and device thereof |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102430235A (en) * | 2010-09-29 | 2012-05-02 | 周铭扬 | Novel special gait detector for heel-and-toe walking manner and special products of novel special gait detector |
WO2014050117A1 (en) * | 2012-09-27 | 2014-04-03 | パナソニック株式会社 | Image processing device and image processing method |
JPWO2014050117A1 (en) * | 2012-09-27 | 2016-08-22 | パナソニックIpマネジメント株式会社 | Image processing apparatus and image processing method |
US9672605B2 (en) | 2012-09-27 | 2017-06-06 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP4906155B2 (en) | 2012-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007300595A (en) | Method of avoiding shaking during still image photographing | |
JP2006345491A (en) | Imaging apparatus and drive recorder system | |
JP2011239252A (en) | Imaging device | |
US20100045830A1 (en) | Image capturing device, smear reduction method, and computer readable storage medium | |
KR100925191B1 (en) | Apparatus and method for compensating backlight of camera | |
JP4833389B2 (en) | Method for transferring image information from camera module to electronic device such as mobile station, camera module and mobile station | |
JP2002044688A (en) | Method for detecting pixel defect of solid state imaging element and imaging device using the same | |
JP4112259B2 (en) | Image processing system | |
JP4906155B2 (en) | High sensitivity and high speed electronic judging device for competition using charge multiplication element | |
JP2010034845A (en) | Imaging apparatus, and photographing control method | |
US11924546B2 (en) | Reception apparatus and transmission apparatus | |
WO2009122689A1 (en) | Smear correction method, and solid-state image pickup apparatus and image pickup device which use same | |
JP2003204932A (en) | Endoscopic imaging system | |
JP5088166B2 (en) | Image output characteristic correction system | |
JP4486762B2 (en) | Image photographing method and apparatus | |
JP2012085324A (en) | High sensitivity, high speed electronic judgment device for competition using charge multiplication element | |
JP4393225B2 (en) | Imaging device | |
JP4948303B2 (en) | Imaging apparatus and signal processing method | |
JP3843924B2 (en) | Imaging device | |
JP2007281720A (en) | Image processing system | |
JP4049142B2 (en) | IMAGING DEVICE, IMAGING ELEMENT DRIVE DEVICE, AND IMAGING METHOD | |
JP2004172925A (en) | Dark current correction device and method for electronic camera | |
JP5383349B2 (en) | Image data transfer device | |
TWI856991B (en) | Receiving device and transmitting device | |
JP2007037199A (en) | Imaging device and noise elimination method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111127 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20111205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120108 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4906155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |