RU2710779C1

RU2710779C1 - Device for "circular" photodetector of color image for panoramic television-computer surveillance

Info

Publication number: RU2710779C1
Application number: RU2019112183A
Authority: RU
Inventors: Вячеслав Михайлович Смелков
Original assignee: Вячеслав Михайлович Смелков
Priority date: 2019-04-22
Filing date: 2019-04-22
Publication date: 2020-01-13

Abstract

FIELD: panoramic computer surveillance.SUBSTANCE: invention relates to panoramic computer surveillance, which is performed by a color television camera of round-the-world view in a region close to a hemisphere, i.e. in spatial angle of 360 degrees in azimuth and tens of degrees on elevation angle, using a single "circular" photodetector of complementary "metal-oxide-semiconductor" (CMOS) technology. Result is achieved by making a "circular" CMOS sensor and placing on its chip of the electronic "framing" of the photodetector.EFFECT: high degree of integration of a television camera.1 cl, 6 dwg

Description

Предлагаемое изобретение имеет отношение к панорамному компьютерному наблюдению, которое выполняется цветной телевизионной камерой кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места, при помощи единственного «кольцевого» фотоприемника изготовленного по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП).The present invention relates to panoramic computer monitoring, which is carried out by a color television camera with a circular view in an area close to the hemisphere, i.e. in a spatial angle of 360 degrees in azimuth and tens of degrees in elevation, using a single “ring” photodetector made using the technology of complementary metal-oxide-semiconductor structures (CMOS).

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения [1], изготовленное по технологии приборов с зарядовой связью (ПЗС) и имеющее форму кругового кольца, у которого линейки светочувствительных и линейки экранированных от света элементов фотоприемной области (мишени) расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» выходному регистру, оканчивающемуся блоком преобразования «заряд - напряжение» (БПЗН), причем число элементов в каждой «кольцевой» строке мишени одинаково и равно числу элементов в его «кольцевом» регистре, а сама мишень накрыта мозаичным цветным фильтром, являющимся «кольцевым» по форме, который разделяет световой поток, попадающий на светочувствительные элементы, соответственно на его голубой, желтый, пурпурный и зеленый компоненты, при этом площадь светочувствительных элементов на мишени фотоприемника, совпадающая с площадью соответствующих «окон» мозаичного цветного фильтра, и площадь соответствующих экранированных элементов на мишени фотоприемника от строки к строке различна, увеличиваясь в направлении вдоль «кольцевой» строки по мере движения к внешней периферии до максимальной величины, не превышающей площадь элемента (пиксела) его «кольцевого» выходного регистра, при этом сам «кольцевой» выходной регистр выполнен в виде двух смежных (первого и второго) «кольцевых» регистров, каждый из которых снабжен затвором загрузки и содержит половину от числа элементов для каждой фотоприемной строки, причем расположенный за мишенью первый «кольцевой» регистр является универсальным, обеспечивая перенос зарядовых пакетов в двух направлениях, а именно: как вдоль регистра, так и поперек его (насквозь), при этом каждый из двух смежных элементов первой фотоприемной строки мишени связан зарядовой связью через соответствующий затвор загрузки с расположенными напротив элементами первого и второго «кольцевых» регистров, а последние элементы первого и второго «кольцевых» регистров связаны зарядовой связью соответственно с первым и со вторым входами БПЗН, причем для зарядовых пакетов, поступающих по его второму входу, выполняется параллельно, как и по первому входу, управление площадью считывающей апертуры видеосигнала, при этом каждый из двух затворов обеспечивает загрузку зарядовыми пакетами для своего «кольцевого» регистра (применительно к отдельно взятой строке) в течение половины интервала обратного хода строчной развертки по телевизионному стандарту и по отношению к другому затвору - последовательно во времени, а число фазных электродов для отдельно взятого пиксела в обоих «кольцевых» регистрах должно быть четным, составляя показатель 2 или 4.The closest in technical essence to the claimed invention should be considered the device of the “ring” photodetector of color image for panoramic television-computer observation [1], made by the technology of charge-coupled devices (CCD) and having the shape of a circular ring, in which the lines of photosensitive and shielded line from the light of the elements of the photodetector region (target) are located along radial directions from the imaginary center of the circular ring to its outer periphery and located A "ring" output register ending with a charge-voltage conversion block (BPS), the number of elements in each "ring" line of the target being the same and equal to the number of elements in its "ring" register, and the target itself is covered with a mosaic color filter, which is " ring "in a form that separates the light flux incident on the photosensitive elements, respectively, on its cyan, yellow, magenta and green components, while the area of the photosensitive elements on the target of the photodetector coincides with by the flap of the corresponding “windows” of the mosaic color filter, and the area of the corresponding shielded elements on the photodetector target from line to line is different, increasing in the direction along the “ring” line as it moves to the outer periphery to a maximum value not exceeding the area of the element (pixel) of it “ ring ”output register, while the“ ring ”output register itself is made in the form of two adjacent (first and second)“ ring ”registers, each of which is equipped with a load gate and contains half of the number of elements for each photodetector line, and the first “circular" register located behind the target is universal, providing transfer of charge packets in two directions, namely, both along the register and across it (through), with each of the two adjacent elements of the first the photodetector line of the target is connected by charge coupling through the corresponding loading gate with opposite elements of the first and second "ring" registers, and the last elements of the first and second "ring" registers are connected with a nuclear connection, respectively, with the first and second inputs of the CPSU, and for the charge packets arriving at its second input, in parallel with the first input, the area of the reading aperture of the video signal is controlled, and each of the two shutters provides charge packets for its ring "register (in relation to a single line) for half the interval of the reverse stroke line scan according to the television standard and in relation to another shutter - sequentially in time, and the number o phase electrodes for a single pixel in both “ring” registers should be even, making an indicator of 2 or 4.

В прототипе [1] реализовано двухканальное управление площадью считывающей апертуры видеосигнала пропорционально изменению площади светочувствительных элементов на мишени фотоприемника для того, чтобы обеспечить выравнивание разрешающей способности формируемого цветного изображения.In the prototype [1], two-channel control of the area of the reading aperture of the video signal is implemented in proportion to the change in the area of the photosensitive elements on the target of the photodetector in order to ensure equalization of the resolution of the generated color image.

Предполагается, что БПЗН фотоприемника прототипа [1] организован по типу «плавающая диффузионная область» [2], а поэтому имеет управляющий вход, обеспечивающий поэлементный сброс напряжения формируемого видеосигнала.It is assumed that the SPD of the prototype photodetector [1] is organized as a "floating diffusion region" [2], and therefore has a control input that provides an elementwise voltage drop of the generated video signal.

Период импульсов сброса Т_r для фотоприемника прототипа [1] определяется соотношением:The period of the reset pulses T _r for the photodetector of the prototype [1] is determined by the ratio:

где Т_р - период считывания элемента в «кольцевом» фотоприемнике;where T _p - the reading period of the element in the "ring"photodetector;

n_m - коэффициент, целое число, величина которого для текущей строки считывания в «кольцевом» фотоприемнике, равна отношению:n _m is a coefficient, an integer whose value for the current read line in the "ring" photodetector is equal to the ratio:

где Δ₁ - площадь светочувствительного элемента для первой строки считывания в «кольцевом» фотоприемнике;where Δ ₁ is the area of the photosensitive element for the first read line in the "ring"photodetector;

Δ_m - площадь светочувствительного элемента для текущей строки считывания в «кольцевом» фотоприемнике.Δ _m is the area of the photosensitive element for the current read line in the "ring" photodetector.

Недостаток прототипа - ограниченная степень интеграции телевизионной камеры из-за применяемой технологии ПЗС для изготовления ее «кольцевого» сенсора, принципиально не позволяющей разместить на кристалле электронное «обрамление» фотоприемника.The disadvantage of the prototype is the limited degree of integration of the television camera due to the applied CCD technology for the manufacture of its “ring” sensor, which in principle does not allow placing an electronic “framing” of the photodetector on the crystal.

Здесь под этим термином конкретно подразумевается (см. описание изобретения прототипа [1]) блоковая совокупность, включающая в себя блок «кольцевой» развертки видеосигнала, блок формирования апертуры (БФА), сигнальный процессор и аналого-цифровой преобразователь (АЦП).Here, this term specifically means (see the description of the invention of the prototype [1]) a block set including a “ring” scan signal block, an aperture generation unit (BFA), a signal processor, and an analog-to-digital converter (ADC).

Задачей изобретения является повышение степени интеграции телевизионной камеры за счет выполнения «кольцевого» сенсора по технологии КМОП и с размещением на его кристалле электронного «обрамления» фотоприемника.The objective of the invention is to increase the degree of integration of a television camera by performing a "ring" sensor using CMOS technology and with the placement of an electronic "frame" of the photodetector on its chip.

Поставленная задача в заявляемом устройстве «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения решается тем, что в устройстве прототипа [1]), имеющем форму кругового кольца и содержащем на его кристалле «кольцевую» мишень, выполненную в виде линеек светочувствительных пикселов, расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии фотоприемника, при этом сама мишень накрыта мозаичным фильтром, разделяющим свет на голубой, желтый, пурпурный и зеленый компоненты, причем площадь светочувствительных пикселов на мишени фотоприемника совпадает с площадью соответствующих «окон» мозаичного цветного фильтра, но при этом, в отличие от прототипа [1], сам фотоприемник выполнен на кристалле, изготовленном по технологии КМОП, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления К_m, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала цветного изображения, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки, и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, а с нее - на информационный вход «кольцевого» процессора видеосигналов, выход которого является выходом «Видео» фотоприемника, причем коэффициент усиления К_т активного пиксела для каждой текущей «кольцевой» строки сенсора изменяется по соотношению:The problem in the inventive device "ring" photodetector color image for panoramic television-computer observation is solved by the fact that in the prototype device [1]), having the shape of a circular ring and containing on its crystal a "ring" target, made in the form of lines of photosensitive pixels, located along radial directions from the imaginary center of the circular ring to its outer periphery, the number of photosensitive pixels in each “ring” row being the same, and their area starting from the lines to the line are different, increasing as you move to the outer periphery of the photodetector, while the target itself is covered with a mosaic filter that separates the light into cyan, yellow, magenta and green components, and the area of the photosensitive pixels on the target of the photodetector coincides with the area of the corresponding “windows” of the mosaic color filter, but at the same time, unlike the prototype [1], the photodetector itself is made on a chip made using CMOS technology, and the target of the sensor consists of active photodiode pixels, each of which s has an amplifier with a gain of K _m, and a built-ADC, which provides video transmission active pixel at their "radial" video bus while they are collectively combined active pixels of the target in the "radial" columns, and an ADC control for pixels located along each “ring” line of the sensor, it is carried out using a separate “ring” line line, the total number of which determines the number of lines in the sensor, and the number of “radial” video buses - the number of pixels in each line Encore; at the same time, blocks performing scanning and generating the output voltage of the digital video signal of the color image are located on the common crystal of the photodetector, namely: a “circular” register of frame scanning, which selects the “ring” line; "Ring" video switch containing video switches for each "radial" column, which are controlled from the corresponding output of the "ring" horizontal multiplexer, and provide the transmission of the video signal at the output of each "radial" video bus to the "ring" video bus, and from it - the information input "annular" CPU video, whose output is the output "Video" photodetector, wherein the gain K _m for each active pixel of the current "ring" line sensor MOD nyaetsya ratio:

где Δ₁ и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения.where Δ ₁ and Δ _m are, respectively, the photosensitive area of the active pixel for the first and current "ring" read lines in the "ring" sensor, providing the same value of the reading aperture within the entire "ring" image raster.

Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.The combination of known and new features for the claimed device is not known from the prior art, therefore, the proposed technical solution meets the criterion of novelty.

Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени заявляемого фотоприемника, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.It is important to note the following. The photosensitive area of the pixels of the “ring” target of the inventive photodetector, as for the prototype [1], is different from line to line. This is caused by the need for a “ring” photodetector, having the same number of pixels in each row, to equalize the resolution within the frame by providing the same technological (production) gap between the photosensitive elements.

Но при этом, как в заявляемом решении, так и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.But at the same time, both in the claimed solution and in the prototype [1], there is no interlacing violation of the sensor sensitivity due to the following circumstances.

Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра здесь определяется произведением коэффициента усиления К_m пиксела на величину его светочувствительной площади Δ_m.The parameter of the readout aperture for all pixels of each current row of the “ring” frame here is determined by the product of the gain K _{m of the} pixel by the value of its photosensitive area Δ _m .

Как следует из соотношения (3), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов заявляемого фотоприемника. Не меняется и величина шумовой «дорожки» для каждого активного пиксела сенсора, что является обязательным условием для реализации чувствительности фотоприемника и его отношения сигнал/шум.As follows from relation (3), this indicator remains constant (unchanged) for all the photosensitive pixels of the inventive photodetector. The value of the noise “track” for each active pixel of the sensor does not change, which is a prerequisite for realizing the sensitivity of the photodetector and its signal-to-noise ratio.

Отметим, что в прототипе [1] этот принцип также соблюдается, но реализуется по другому методу, см. опубликованные выше соотношения (1) и (2).Note that in the prototype [1] this principle is also observed, but is implemented using a different method, see relations (1) and (2) published above.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.Therefore, the proposed solution meets the criterion of the presence of an inventive step.

На фиг. 1 приведена схемотехническая организация заявляемого фотоприемника цветного изображения; на фиг. 2 показан фрагмент этого фотоприемника, иллюстрирующий подробности конструкции его «кольцевой» мишени и мозаичного цветного фильтра; на фиг. 3 -подробности организации фотоприемника применительно к отдельно взятому «радиальному» столбцу; на фиг. 4 - структурная схема компьютерной системы панорамного телевизионного наблюдения с заявляемым «кольцевым» фотоприемником в составе телевизионной камеры этой системы; на фиг. 5, по данным [3], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 6 - предлагаемое оператору панорамное изображение текущего «кольцевого» кадра в виде последовательности из 6-ти «прямоугольных» кадров.In FIG. 1 shows the circuit organization of the inventive photodetector color image; in FIG. 2 shows a fragment of this photodetector, illustrating the details of the design of its “ring” target and a mosaic color filter; in FIG. 3 -details of the organization of the photodetector in relation to a single "radial" column; in FIG. 4 is a structural diagram of a computer system for panoramic television surveillance with the claimed "ring" photodetector as part of the television camera of this system; in FIG. 5, according to [3], a photograph of an image obtained using a domestic panoramic mirror-lens lens is presented; in FIG. 6 - a panoramic image of the current “circular” frame proposed to the operator in the form of a sequence of 6 “rectangular” frames.

Предлагаемый «кольцевой» фотоприемник 1-2 (см. фиг. 1) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» мишень 1-2-1 сенсора, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов, «кольцевой» мультиплексор 1-2-4 строчной развертки и «кольцевой» процессор 1-2-5 видеосигналов.The proposed "ring" photodetector 1-2 (see Fig. 1) is made according to CMOS technology and contains on a common crystal a "ring" target 1-2-1 of the sensor, a "ring" register 1-2-2 frame scan, "ring" a 1-2-3 video switch, a “ring” horizontal multiplexer 1-2-4 and a “ring” 1-2-5 video signal processor.

Как показано на фиг. 3, активные пикселы на мишени сенсора объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.As shown in FIG. 3, active pixels on the sensor target are combined into columns that are located along radial directions from the imaginary center of the circular ring.

Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления К_m для каждой текущей «кольцевой» строки сенсора и встроенный АЦП 1-2-1-3.Each active pixel of the target (see Fig. 3) includes a photosensitive region (area) 1-2-1-1, an amplifier 1-2-1-2 with a gain of K _m for each current “ring” line of the sensor and built-in ADC 1-2-1-3.

«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов на мишени, объединенных «кольцевой» шиной видео 1-2-3-2.The “ring” 1-2-3-3 video switch consists of separate 1-2-3-1 video switches, the number of which corresponds to the number of active pixels on the target, united by the “1-2-3-3-2 ring video bus.

Отметим, что показанная на фиг. 1, 2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.Note that shown in FIG. 1, 2 the shape of the photosensitive pixel area in the form of a rectangle, and in FIG. 3 - Latin letters L - are conditional. In practice, the charge accumulation electrodes of the active pixels of the sensor target, which coincide with the area of their photosensitive area, can be performed in a completely different way, for example, with a geometric shape in the form of a part of a circular ring.

Управление АЦП 1-2-1-3 пиксела для каждой «кольцевой» строки мишени фотоприемника осуществляется при помощи отдельной (своей) строчной шины 1-2-1-4, передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-21 кадровой развертки.The control of the 1-2-1-3 pixel ADC for each “ring” line of the photodetector target is carried out using a separate (own) line bus 1-2-1-4, transmitting a control signal from the corresponding output of the “ring” register 1-2-21 frame scan.

Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2. Здесь формируется промежуточный выход «Видео» цифрового видеосигнала сенсора.The video signal from the output of each ADC 1-2-1-3 for each active pixel of a single taken "radial" column is transmitted to the "radial" video bus 1-2-1-5. Then, using “their” key MOS transistor of the 1-2-3-1 switch, controlled from one of the outputs of the 1-2-4 multiplexer, the digital video signal of the current pixel is transmitted to the “ring” video bus 1-2-3-2. Here the intermediate output “Video” of the digital video signal of the sensor is formed.

Этот видеосигнал поступает на вход «кольцевого» процессора 1-2-5 видеосигналов, где выполняется синтез цветного изображения в заданном стандартном интерфейсе, например, USB 2,0. Выход процессора 1-2-5 является и выходом «Видео» полного цифрового видеосигнала цветного изображения заявляемого фотоприемника.This video signal is input to the “ring” processor 1-2-5 video signals, where the color image is synthesized in a given standard interface, for example, USB 2.0. The output of the processor 1-2-5 is the “Video” output of the full digital video signal of the color image of the inventive photodetector.

Заметим, что показанная на фиг. 1 «кольцевая» форма процессора 1-2-5 видеосигналов является условной, т.к. она составляет лишь часть кругового кольца.Note that shown in FIG. 1 "ring" form of the processor 1-2-5 video signals is conditional, because it is only part of a circular ring.

Отметим, что на фиг. 1 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины является условностью чертежа. Как упоминалось ранее, число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.Note that in FIG. 1 dashed arrows show the control of the "ring" lower case tires 1-2-1-4 of the photodetector from the "ring" register 1-2-2 frame scan. That here, as in FIG. 3, only four lower case tires are depicted is a drawing convention. As mentioned earlier, the number of tires 1-2-1-4 corresponds to the actual number of "ring" rows in the inventive sensor.

Поясним дополнительно на фиг. 1 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.Let us further explain in FIG. 1 and another. Arrows with continuous lines indicate the transmission of the image signal in the sensor along the “radial” video buses 1-2-1-5 in the direction of the “ring” 1-2-3 video switch.

В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.As a result, in a “ring” raster, one after another for each pixel of a separately taken “ring” line, and sequentially line by line for the target as a whole, the voltage of the output video signal of the photodetector is digitally generated.

Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры, а также «кольцевой» процессор видеосигналов.Thanks to the CMOS technology adopted for the manufacture of the proposed video sensor, it is possible to integrate not only a photodetector with an ADC for each active pixel on one common chip, but also digital scan blocks of a television camera, as well as a “ring” video signal processor.

Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [4, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» фотоприемника с аналогичными возможностями не предлагалась.It must be recognized that the concept of a matrix (rectangular) photodetector with an active pixel, an ADC integrated in it, and a digital video signal at the output, which was supposed to be implemented using CMOS technology by implementing the "coordinate addressing" method, was developed by American specialists in the 2000s. This was reported in the domestic monograph [4, p. 67, fig. 1.21]. However, the circuit design organization on the CMOS chip "ring" photodetector with similar capabilities was not offered.

Заявляемая же здесь «кольцевая» форма мишени КМОП-фотоприемника и блоков развертки позволяет эффективнее использовать полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.The “ring” shape of the CMOS photodetector target and scan units declared here makes it possible to more efficiently use the useful area of the used crystal for television-computer observation of panoramic scenes.

Предлагаемый фотоприемник является единственным сенсором видеосигнала цветного изображения, в котором, благодаря применению цветного «кольцевого» фильтра, светочувствительные пикселы мишени становятся чувствительными к голубой (Су), желтой (Ye), пурпурной (Mg) и зеленой (G) цветовым составляющим.The proposed photodetector is the only color image video sensor in which, thanks to the use of a color "ring" filter, the photosensitive pixels of the target become sensitive to cyan (Su), yellow (Ye), magenta (Mg) and green (G) color components.

Конструкция этого мозаичного фильтра для фотоприемника поясняется на фиг. 2.The construction of this mosaic filter for the photodetector is illustrated in FIG. 2.

Здесь используется известный принцип цветного телевидения, утверждающий, что для успешного восстановления цвета, помимо сигнала яркости (Y) достаточно всего двух дополнительных сигналов. Имеются в виду сигнал цветовой разности красного (R-Y) и сигнал цветовой разности синего (В-Y).It uses the well-known principle of color television, which states that for successful color recovery, in addition to the brightness signal (Y), only two additional signals are sufficient. This refers to the red color difference signal (R-Y) and the blue color difference signal (B-Y).

Синтез выходного цифрового видеосигнала цветного изображения фотоприемника выполняется в процессоре 1-2-5 видеосигналов.The synthesis of the digital video output signal of the color image of the photodetector is performed in the processor 1-2-5 video signals.

В заявляемом решении для «кольцевого» КМОП-фотоприемника, как и в прототипе [1], используется режим накопления поля.In the claimed solution for the "ring" CMOS photodetector, as in the prototype [1], the field accumulation mode is used.

Отметим, что поскольку размер светочувствительного элемента в режиме накопления поля равен размеру двух пикселов сенсора по вертикали, это приводит к снижению вертикальной разрешающей способности цветного изображения, что вполне допустимо.Note that since the size of the photosensitive element in the field accumulation mode is equal to the vertical size of two pixels of the sensor, this leads to a decrease in the vertical resolution of the color image, which is quite acceptable.

Первая строка содержит попарные отсчеты: (M_g+С_y), (G+Y_e), (M_g+С_y), (G+Y_e) и так далее.The first line contains pairwise samples: (M _g + С _y ), (G + Y _e ), (M _g + С _y ), (G + Y _e ) and so on.

Вторая строка содержит попарные отсчеты: (С_у+G), (Y_e+M_g), (С_у+G), (Y_e+M_g) и так далее.The second line contains pairwise samples: (C _y + G), (Y _e + M _g ), (C _y + G), (Y _e + M _g ) and so on.

Очевидно, что третья и другие последующие нечетные строки будут содержать такие же попарные отсчеты, как и первая строка, а четвертая и другие последующие четные строки - такие же попарные отсчеты, как и вторая строка.Obviously, the third and other subsequent odd lines will contain the same pairwise samples as the first line, and the fourth and other subsequent even lines will contain the same pairwise samples as the second line.

Для получения яркостного сигнала для нечетных строк производится операция по алгоритму, который заключается в том, что выполняется задержка на элемент разложения и суммирование попарных отсчетов:To obtain a brightness signal for odd lines, an operation is performed according to the algorithm, which consists in the fact that a delay on the decomposition element and the summation of pairwise samples are performed:

Коэффициент

в формуле (1) возвращает «должок», приобретенный за счет суммирования в попарных отсчетах.Coefficient

in the formula (1) returns the “debt” acquired by summing in pairwise readings.

Очевидно, что выражение (4) можно представить так:Obviously, expression (4) can be represented as follows:

Применив аналогичный алгоритм для четных строк, получим следующее выражение для яркостного сигнала:Applying a similar algorithm for even lines, we obtain the following expression for the luminance signal:

Аналогично представим выражение (3) в основных цветах:Let us similarly represent expression (3) in the primary colors:

Выражения (4) и (5) показывают, что яркостной сигнал для нечетных и четных строк одинаков.Expressions (4) and (5) show that the luminance signal for the odd and even lines is the same.

Для получения цветоразностного сигнала синего (В-Y) выполняется операция по другому алгоритму, который заключается в том, что для нечетных строк выполняется задержка по времени на элемент разложения и вычитание попарных отсчетов:To obtain the blue color-difference signal (B-Y), an operation is performed according to another algorithm, which consists in the fact that for odd lines, a time delay is performed on the decomposition element and the subtraction of pairwise samples:

B-Y=[(G+Y_e)-(M_g+C_y)]=[(G+G+R)-(R+B+G+B)]=-[2B-G]BY = [(G + Y _e ) - (M _g + C _y )] = [(G + G + R) - (R + B + G + B)] = - [2B-G]

Для получения цветоразностного сигнала красного (R-Y) выполняется операция по алгоритму, аналогичному при получении цветоразностного сигнала синего, но применительно для четных строк:To obtain the color difference signal red (R-Y), the operation is performed according to an algorithm similar to the receipt of the color difference signal blue, but with reference to even lines:

R-Y=[(M_g+Y_e)-(G+C_y)]=[(R+B+G+R)-(G+G+B)]=2R-G.RY = [(M _g + Y _e ) - (G + C _y )] = [(R + B + G + R) - (G + G + B)] = 2R-G.

Эти два цветоразностных сигнала совместно с сигналом яркости замешиваются в цифровом виде в полный цифровой видеосигнал, снимаемый на выходе «Видео» фотоприемника.These two color difference signals, together with the brightness signal, are digitally mixed into the full digital video signal recorded at the output of the “Video” photodetector.

Необходимо отметить, что для заявляемого «кольцевого» фотоприемника световые «окна» для «кольцевого» мозаичного фильтра могут быть выполнены с геометрической формой не в виде прямоугольника, а в виде части кругового кольца.It should be noted that for the inventive "ring" photodetector, the light "windows" for the "ring" mosaic filter can be made with a geometric shape not in the form of a rectangle, but as a part of a circular ring.

Телевизионная камера цветного изображения, выполненная на базе нового фотоприемника, см. фиг. 4, содержит последовательно расположенные и оптически связанные панорамный объектив 1-1, инфракрасный отсекающий фильтр (ИК-фильтр) 1-3 и фотоприемник 1-2, мишень которого накрыта мозаичным цветным фильтром, являющимся «кольцевым» по форме, см. фиг. 2. Выход «кольцевого» процессора 1-2-5 видеосигналов фотоприемника является выходом «Видео» телевизионной камеры.Color television camera made on the basis of a new photodetector, see FIG. 4 contains a panoramic lens 1-1 sequentially located and optically coupled, an infrared cut-off filter (IR filter) 1-3 and a photodetector 1-2, the target of which is covered by a mosaic color filter, which is “annular” in shape, see FIG. 2. The output of the "ring" processor 1-2-5 video signals of the photodetector is the output of the "Video" television camera.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе [1], предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающим с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [3].The panoramic lens 1-1 of the television camera, as in the prototype [1], is intended to form an optical image of a circular view (ring image). As a technical solution for a panoramic lens 1-1, which coincides with a similar solution for the prototype, a panoramic mirror-lens lens can be proposed, the design of which is patented in Russia by Russian specialists from Moscow State University of Geodesy and Cartography [3].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 5. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.A photograph of the annular image formed by the panoramic lens is shown in FIG. 5. The angular field in the space of objects for this lens is 360 degrees in azimuth and can reach (75-80) degrees in elevation.

ИК-фильтр 1-3, как и в прототипе [1], изменяет спектральную характеристику «кольцевого» фотоприемника 1-2, обеспечивая согласование со спектральной чувствительностью человеческого глаза.The IR filter 1-3, as in the prototype [1], changes the spectral characteristic of the "ring" photodetector 1-2, ensuring consistency with the spectral sensitivity of the human eye.

ИК-фильтр 1-3 может быть выполнен в составе панорамного объектива 1-1 или интегрирован непосредственно в «кольцевой» фотоприемник 1-2.The IR filter 1-3 can be made as part of a panoramic lens 1-1 or integrated directly into the "ring" photodetector 1-2.

Рассмотрим работу телевизионной камеры цветного изображения с заявляемым фотоприемником в составе компьютерной системы панорамного наблюдения, см. фиг. 2.Consider the operation of a color image television camera with the inventive photodetector as part of a panoramic panoramic computer system, see FIG. 2.

Система содержит телевизионную камеру в позиции 1 и сервер в позиции, 2 являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3.The system contains a television camera in position 1 and a server in position 2, which is a local area network node to which two or more personal computers are connected in position 3.

Система содержит телевизионную камеру в позиции 1 и сервер в позиции 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3.The system comprises a television camera in position 1 and a server in position 2, which is a node of a local area network, to which two or more personal computers are connected in position 3.

В разъем расширения на материнской плате сервера 2 установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольный» (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров (m), соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:A video card is installed in the expansion slot on the server 2 motherboard, matched via the I / O channels, control and power supply with the server bus, containing a block for converting a “ring” frame into a “rectangular” one (BPKP), the input of which is connected to the output of the RAM block on frame, and the output to the output of the "network", and the number of "rectangular" frames (m) corresponding to one current "ring" frame, satisfies the ratio:

где

- горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем, априори означающее оптимизированное использование мишени фотоприемника.Where

- the horizontal angle of the field of view in degrees of the image observed by the operator, and this conversion itself is performed by software, a priori meaning optimized use of the target of the photodetector.

Предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фотоштатива (на фиг. 4 он не показан).It is assumed that the television camera 1 is installed in a fixed position, for example using a photographic tripod (not shown in FIG. 4).

Панорамный объектив 1-1 формирует «кольцевое» оптическое изображение наблюдаемой сцены, проецируя его через ИК-фильтр 1-3 на мишень 1-2-1 фотоприемника.Panoramic lens 1-1 forms an “annular” optical image of the observed scene, projecting it through an IR filter 1-3 onto the target 1-2-1 of the photodetector.

В результате фотоэлектрического и последующего аналого-цифрового преобразования видеосигнала на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал цветного изображения.As a result of the photoelectric and subsequent analog-to-digital conversion of the video signal at the output of the television camera 1, a digital television signal of a color image is generated.

По интерфейсу (например, USB 2,0) в оперативную память сервера 2 строка за строкой будет транслироваться цифровой видеосигнал «кольцевого» кадра контролируемого панорамного сюжета.Via the interface (for example, USB 2.0), the digital video signal of the “ring” frame of the controlled panoramic plot will be transmitted line-by-line into the RAM of server 2.

Предположим, что текущий угол поля зрения (γ_г) предъявляемого панорамного изображения составляет 60 градусов по горизонтали, тогда «кольцевой» кадр записи согласно соотношению (7) включает 6 (шесть) условных областей.Suppose that the current angle of view (γ _g ) of the presented panoramic image is 60 degrees horizontally, then the “circular" recording frame according to relation (7) includes 6 (six) conditional areas.

Очевидно, что в этом случае оперативная память сервера 2, куда заносится видеоинформация о панорамном цветном изображении, должно содержать 6 областей для записи входного видеосигнала текущего «кольцевого» кадра.Obviously, in this case, the RAM of server 2, where the video information about the panoramic color image is entered, should contain 6 areas for recording the input video signal of the current “ring” frame.

Далее, как и у прототипа [1], в сервере 2 осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть» сервера 2.Further, as with the prototype [1], in the server 2, the video signal is read, and as a result, the “ring” frame is converted into ordinary “rectangular” frames and the ability to provide this information at the network output of server 2.

Поэтому цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в 6 «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг. 6) операторам персональных компьютеров.Therefore, the digital video recording signal for each "ring" image frame is converted into 6 "rectangular" frames, which can be offered in the form of a selected sequence (see Fig. 6) to personal computer operators.

Это означает, что в реальном масштабе времени может быть реализован контроль шести изображений с одинаковой по полю (повышенной) четкостью наблюдаемой «картины», как у прототипа [1].This means that in real time control of six images can be implemented with the same (enhanced) clarity of the observed "picture" in the field, as in the prototype [1].

Но при этом реализация поставленной в заявляемом решении задачи повышения степени интеграции телевизионной камеры сопровождается и мультипликативным эффектом в части упрощения ее структурной схемы по сравнению с прототипом [1].But at the same time, the implementation of the task of increasing the degree of integration of a television camera in the claimed solution is accompanied by a multiplicative effect in terms of simplifying its structural scheme compared to the prototype [1].

В настоящее время все элементы структурной схемы устройства «кольцевого» фотоприемника цветного изображения (все элементы его схемотехнической организации) для панорамного телевизионно-компьютерного наблюдения освоены или могут быть освоены отечественной промышленностью.Currently, all the elements of the structural diagram of the device of the "ring" photodetector of a color image (all the elements of its circuitry organization) for panoramic television and computer monitoring are mastered or can be mastered by domestic industry.

Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.Therefore, the present invention should be considered as meeting the requirement for industrial applicability.

ИСТОЧНИКИ ИНФОРМАЦИИSOURCES OF INFORMATION

1. Патент РФ № 2675244. МПК H04N 5/00. Устройство «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения. / В.М. Смелков // Б.И. - 2018. - № 35.1. RF patent No. 2675244. IPC H04N 5/00. The device "ring" photodetector color image for panoramic television and computer surveillance. / V.M. Smelkov // B.I. - 2018. - No. 35.

2. Хромов Л.И., Лебедев Н.В., Цыцулин А.К., Куликов А.Н. Твердотельное телевидение. - «Радио и связь», 1986.2. Khromov L.I., Lebedev N.V., Tsytsulin A.K., Kulikov A.N. Solid state television. - "Radio and Communications", 1986.

3. Патент РФ № 2185645. МПК G02B13/06, G02B17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - № 20.3. RF patent No. 2185645. IPC G02B13 / 06, G02B17 / 08. Panoramic mirror lens. / A.V. Kurtov, V.A. Solomatin // B.I. - 2002. - No. 20.

4. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.4. Berezin V.V., Umbitaliev A.A., Fakhmi Sh.S., Tsytsulin A.K. and Shipilov N.N. Solid State Revolution in Television: Television systems based on charge-coupled devices, systems on a chip, and video systems on a chip. Ed. A.A. Umbitalieva and A.K. Tsytsulina. - M.: “Radio and Communications”, 2006.

Claims

1. The device "ring" photodetector color image for panoramic television-computer observation, having the shape of a circular ring and containing on its chip "ring" photodetector region (target), made in the form of lines of photosensitive elements (pixels) located along radial directions from an imaginary the center of the circular ring to its outer periphery, and the number of photosensitive pixels in each “ring” row is the same, and their area from row to row is different, increasing in When moving to the outer periphery of the photodetector, the target itself is covered with a mosaic filter that separates the light into blue, yellow, magenta and green components, and the area of the photosensitive pixels on the target of the photodetector coincides with the area of the corresponding “windows” of the mosaic color filter, characterized in that the photodetector made on a crystal made using the technology of complementary structures "metal-oxide-semiconductor" (CMOS), and the target of the sensor consists of photodiode active pixels, each of which has an amplifier with a gain K _m , as well as a built-in analog-to-digital converter (ADC), which transfers the video signal of the active pixel to its "radial" video bus, while all of them together combine the active pixels of the target into "radial" columns, and control The ADC for pixels located along each “ring” line of the sensor is carried out using a separate “ring” line bus, the total number of which determines the number of lines in the sensor, and the number of “radial” video buses - the number of pixels in each row of the sensor; at the same time, blocks performing scanning and generating the output voltage of the digital video signal of the color image are located on the common crystal of the photodetector, namely: a “circular” register of frame scanning, which selects the “ring” line; "Ring" video switch containing video switches for each "radial" column, which are controlled from the corresponding output of the "ring" horizontal multiplexer, and provide the transmission of the video signal at the output of each "radial" video bus to the "ring" video bus, and from it - the information input "annular" CPU video, whose output is the output "Video" photodetector, wherein the gain K _m for each active pixel of the current "ring" line sensor measurable is Busy ratio:

where Δ ₁ and Δ _m are, respectively, the photosensitive area of the active pixel for the first and current "ring" read lines in the "ring" sensor, providing the same value of the reading aperture within the entire "ring" image raster.

2. The device of the "ring" photodetector of a color image according to claim 1, characterized in that the charge storage electrodes of the active pixels of the target, as well as the light "windows" of the "ring" mosaic filter, are made with a geometric shape in the form of a part of a circular ring.