RU2812334C1 - Computer system device for panoramic television surveillance - Google Patents
Computer system device for panoramic television surveillance Download PDFInfo
- Publication number
- RU2812334C1 RU2812334C1 RU2023106640A RU2023106640A RU2812334C1 RU 2812334 C1 RU2812334 C1 RU 2812334C1 RU 2023106640 A RU2023106640 A RU 2023106640A RU 2023106640 A RU2023106640 A RU 2023106640A RU 2812334 C1 RU2812334 C1 RU 2812334C1
- Authority
- RU
- Russia
- Prior art keywords
- photodetector
- ring
- panoramic
- video
- television camera
- Prior art date
Links
- 239000013078 crystal Substances 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 239000000126 substance Substances 0.000 abstract 1
- 238000004804 winding Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Abstract
Description
Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей одновременно или последовательно круговой обзор в четырех шаровых слоях окружающей сферической области пространства. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Сенсорный блок этой телевизионной камеры состоит из изготовленного по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП) одного (единственного) фотоприемника, который имеют форму мишени в виде кругового кольца. The present invention relates to panoramic television surveillance, which is performed by a computer system using a television camera that simultaneously or sequentially provides all-round visibility in four spherical layers of the surrounding spherical region of space. Moreover, for each of these spherical layers, television monitoring of the situation in real time is carried out in a spatial angle of 360 degrees in azimuth and tens of degrees in elevation. The sensor block of this television camera consists of one (single) photodetector made using complementary metal-oxide-semiconductor (CMOS) technology, which has the shape of a target in the form of a circular ring.
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив, четвертый панорамный объектив; сенсорный блок, содержащий первый фотоприемник и второй фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, причем каждый из двух фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии КМОП, а его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления Km активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению:The closest in technical essence to the claimed invention should be considered a device for a computer system for panoramic television surveillance [1], containing a serially connected television camera and a server, which is a local area network node to which two or more personal computers are connected, and the television camera includes a first panoramic lens, a second panoramic lens, a third panoramic lens, a fourth panoramic lens; a sensor unit containing a first photodetector and a second photodetector, which have the shape of a circular ring, and the first panoramic lens is optically connected to the target of the first photodetector, and each of the two photodetectors of the sensor unit is made on a chip made using CMOS technology, and its target consists of photodiode active pixels, each of which has an amplifier with a gain K m , as well as a built-in analog-to-digital converter (ADC), which ensures the transmission of the video signal of the active pixel to its “radial” video bus, while all of them together combine the active pixels of the target into “radial” » columns, and the ADC control for pixels located along each “ring” line of the photodetector is carried out using a separate “ring” line bus, the total number of which determines the number of lines in the photodetector, and the number of “radial” video buses - the number of pixels in each line of the photodetector, while on the common crystal of the photodetector there are also blocks that perform scanning and formation of the output voltage of the digital video signal, namely: a “ring” frame scanning register that selects the “ring” line; A "ring" video switcher containing video switches for each "radial" column, which are controlled from the corresponding output of the "ring" horizontal multiplexer and provide transmission of the video signal at the output of each "radial" video bus to the "ring" video bus, the output of which is the output “video” photodetector, and the gain K m of the active pixel for each current “ring” line of the photodetector changes according to the ratio:
где Δ1 и Δm - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, а Δ1 - коэффициент усиления активного пиксела первой «кольцевой» строки с величиной показателя равной единице, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения,where Δ 1 and Δ m are, respectively, the photosensitive area of the active pixel for the first and current “ring” reading line in the “ring” sensor, and Δ 1 is the gain factor of the active pixel of the first “ring” line with an indicator value equal to unity, ensuring the same reading value apertures within the entire “ring” raster of the image,
причем в телевизионной камере оба фотоприемника, состыкованные между собой обратными сторонами их кристаллов а также подшипник размещаются в оправе, с которой механически связан джойстик (своеобразный блок поворота), осуществляющий плавный пространственный поворот оправы на угол 90° так, что при этом действии мишень первого фотоприемника будет устанавливаться в положение напротив третьего панорамного объектива, а мишень второго панорамного объектива будет устанавливаться в положение напротив четвертого панорамного объектива; при последующем действии рычага (рукоятки) джойстика оправа с фотоприемниками возвращается в начальное (исходное) положение; причем выход первого фотоприемника подключен к первому информационному входу мультиплексора, а выход второго фотоприемника - ко второму информационному входу мультиплексора, выход которого является выходом «видео» телевизионной камеры; при этом на материнской плате сервера установлена плата видео, выполняющая последовательно дважды демультиплексирование входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров п, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:Moreover, in a television camera, both photodetectors, docked together by the reverse sides of their crystals, as well as a bearing are placed in a frame, to which a joystick is mechanically connected (a kind of rotation block), which performs a smooth spatial rotation of the frame at an angle of 90° so that during this action the target of the first photodetector will be installed in a position opposite the third panoramic lens, and the target of the second panoramic lens will be installed in a position opposite the fourth panoramic lens; with subsequent action of the lever (handle) of the joystick, the frame with photodetectors returns to the initial (starting) position; wherein the output of the first photodetector is connected to the first information input of the multiplexer, and the output of the second photodetector is connected to the second information input of the multiplexer, the output of which is the “video” output of the television camera; in this case, a video card is installed on the server’s motherboard, which sequentially demultiplexes the input digital television signal twice into two channels, followed by recording each of the “ring” video signals into the corresponding RAM of the server and sequentially converting each of the “ring” recording frames into “rectangular” frames , and the number of “rectangular” frames n, corresponding to one current “ring” frame, satisfies the relation:
где γг - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем.where γ g is the horizontal angle of the field of view in degrees of the image observed by the operator, and this transformation itself is performed programmatically.
Недостаток прототипа - существенная сложность телевизионной камеры, связанная с наличием в ее составе двух фотоприемников.The disadvantage of the prototype is the significant complexity of the television camera due to the presence of two photodetectors in its composition.
Задачей изобретения является сокращение количества фотоприемников в составе телевизионной камеры до одного (единственного) при сохранении возможности мониторинга видеоинформации панорамного сюжета в четырех слоях окружающего пространства.The objective of the invention is to reduce the number of photodetectors in a television camera to one (single) while maintaining the ability to monitor video information of a panoramic plot in four layers of the surrounding space.
Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив; а также сенсорный блок, содержащий фотоприемник, который имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, а сам он а выполнен на кристалле, изготовленном по технологии КМОП, причем его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления Кm активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению (1), обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, при этом выход фотоприемника сенсорного блока является выходом «видео» телевизионной камеры, причем фотоприемник, а также шариковый подшипник размещаются в оправе, механически связанной с блоком поворота, при этом на материнской плате сервера установлена плата видео, выполняющая запись входного цифрового телевизионного сигнала в соответствующую ячейку оперативной памяти сервера и последовательное преобразование «кольцевого» кадра записи в «прямоугольные» кадры, причем число «прямоугольных» кадров n, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (2), но при этом в отличие от прототипа [1], блок поворота сенсорного блока телевизионной камеры выполнен на базе шагового двигателя, вал которого непосредственно или через редуктор механически связан с оправой, обеспечивая по команде оператора, поступающей с компьютера в телевизионную камеру, пространственный поворот оправы фотоприемника на угол 90° в пошаговом режиме четыре раз за цикл, так что его мишень, установленная по умолчанию симметрично в положение напротив первого панорамного объектива, последовательно устанавливается сначала симметрично в положение напротив второго панорамного объектива, затем симметрично в положение напротив третьего панорамного объектива, а в заключении - симметрично в положение напротив четвертого панорамного объектива, причем величина коэффициента усиления активного пиксела K1 для первой строки фотоприемника сенсорного блока телевизионной камеры равна единице, обеспечивая одинаковую величину считывающей апертуры в The stated problem in the inventive device for a panoramic television surveillance system is solved by the fact that, as in the prototype device [1], containing a series-connected television camera and a server, which is a local area network node to which two or more personal computers are connected, while the television camera includes a first panoramic lens, a second panoramic lens, a third panoramic lens and a fourth panoramic lens; as well as a sensor unit containing a photodetector, which has the shape of a circular ring, and the first panoramic lens is optically connected to the target of the first photodetector, and it itself is made on a crystal made using CMOS technology, and its target consists of photodiode active pixels, each of which has an amplifier with a gain K m , as well as a built-in ADC that ensures the transmission of the active pixel’s video signal to its “radial” video bus, while all of them together combine the active pixels of the target into “radial” columns, and the ADC controls for pixels located along each “ring” line of the photodetector is carried out using a separate “ring” line bus, the total number of which determines the number of lines in the photodetector, and the number of “radial” video buses - the number of pixels in each line of the photodetector, while on the common photodetector crystal are placed and blocks that perform scanning and generating the output voltage of a digital video signal, namely: a “ring” frame scan register that selects a “ring” line; A "ring" video switcher containing video switches for each "radial" column, which are controlled from the corresponding output of the "ring" horizontal multiplexer and provide transmission of the video signal at the output of each "radial" video bus to the "ring" video bus, the output of which is the output “video” photodetector, and the gain K m of the active pixel for each current “ring” line of the photodetector changes according to relation (1), providing the same value of the reading aperture within the entire “ring” raster of the image, while the output of the photodetector of the sensor unit is the output “ video" television camera, and the photodetector, as well as a ball bearing, are placed in a frame mechanically connected to the rotation unit, while a video card is installed on the server motherboard, which records the input digital television signal into the corresponding cell of the server's RAM and sequentially converts the "ring" recording frame into “rectangular” frames, and the number of “rectangular” frames n, corresponding to one current “ring” frame, satisfies relation (2), but unlike the prototype [1], the rotation unit of the sensor unit of the television camera is made on the basis a stepper motor, the shaft of which is directly or through a gearbox mechanically connected to the frame, providing, at the operator’s command received from the computer to the television camera, a spatial rotation of the photodetector frame at an angle of 90° in a step-by-step mode four times per cycle, so that its target is set by default symmetrically in a position opposite the first panoramic lens, sequentially installed first symmetrically in a position opposite the second panoramic lens, then symmetrically in a position opposite the third panoramic lens, and finally symmetrically in a position opposite the fourth panoramic lens, and the value of the active pixel gain K 1 for the first the line of the photodetector of the sensor unit of the television camera is equal to one, providing the same size of the reading aperture in
пределах всего «кольцевого» растра изображения, при этом новый цифровой видеосигнал, формируемый в телевизионной камере после завершения каждого из четырех поворотов фотоприемника, поочередно записывается в соответствующую ячейку оперативной памяти сервера, в качестве которого используется системный блок компьютера оператора системы.within the entire “ring” raster of the image, while the new digital video signal generated in the television camera after the completion of each of the four rotations of the photodetector is alternately recorded in the corresponding RAM cell of the server, which is used as the system unit of the system operator’s computer.
Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.The set of known and new features for the proposed device is not known from the prior art, therefore, the proposed technical solution meets the criterion of novelty.
Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени всех четырех фотоприемников сенсорного блока, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического зазора между светочувствительными элементами вдоль каждой «кольцевой» строки.It is important to note the following. The photosensitive area of the pixels of the “ring” target of all four photodetectors of the sensor unit, as for the prototype [1], is different from row to row. This is caused by the need for a “ring” photodetector, which has the same number of pixels in each line, to equalize the resolution within the frame by ensuring the same size of the technological gap between the photosensitive elements along each “ring” line.
Но при этом в заявляемом решении, как и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.But at the same time, in the proposed solution, as in the prototype [1], there is no interline violation of the sensitivity of the sensor due to the following circumstances.
Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра определяется произведением коэффициента усиления Km пиксела на величину его светочувствительной площади Δm.The reading aperture parameter for all pixels of each current row of the “ring” frame is determined by the product of the gain coefficient K m of the pixel by the value of its photosensitive area Δ m .
Как следует из соотношения (1), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов фотоприемника.As follows from relation (1), this indicator remains constant (unchanged) for all photosensitive pixels of the photodetector.
Не меняется и величина шумовой «дорожки» для каждого активного пиксела фотоприемника, что является обязательным условием реализации его высоких показателей по чувствительности и отношению сигнал/шум.The size of the noise “track” for each active pixel of the photodetector does not change either, which is a prerequisite for achieving its high sensitivity and signal-to-noise ratio.
Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.Therefore, the proposed technical solution meets the criterion of an inventive step.
На фиг. 1 приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения и на этом же чертеже -структурная схема телевизионной камеры в ее составе, когда фотоприемник занимает такое положение, которое обеспечивает ведение мониторинга окружающего пространства в его слое слева; на фиг. 2 показаны все четыре возможные положения фотоприемника телевизионной камеры, реализующие мониторинг окружающего пространства последовательно в четырех слоях: слева, сзади, справа и спереди; на фиг. 3 приведена схемотехническая организация «кольцевого» фотоприемника; на фиг. 4 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 5, по данным [2], представлена фотография изображения, полученного при помощи панорамного объектива; на фиг. 6 - приведена иллюстрация принципа действия шагового двигателя, который используется в составе телевизионной камеры.In fig. Figure 1 shows a block diagram of the proposed computer system for panoramic television surveillance and in the same drawing a block diagram of the television camera in its composition, when the photodetector occupies a position that ensures monitoring of the surrounding space in its layer on the left; in fig. Figure 2 shows all four possible positions of the photodetector of a television camera, which implement monitoring of the surrounding space sequentially in four layers: left, rear, right and front; in fig. Figure 3 shows the circuitry of a “ring” photodetector; in fig. 4 - details of this organization in relation to a single “radial” column; in fig. Figure 5, according to [2], shows a photograph of an image obtained using a panoramic lens; in fig. 6 - an illustration of the operating principle of a stepper motor, which is used as part of a television camera.
Устройство компьютерной системы панорамного телевизионного наблюдения, см. фиг. 1, содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом в состав телевизионной камеры 1 входит первый панорамный объектив 1-1, второй панорамный объектив 1-2, третий панорамный объектив 1-3 и четвертый панорамный объектив 1-4, а также сенсорный блок 1-5, содержащий фотоприемник в позиции 5, шарикоподшипник 1-6, оправу фотоприемника в позиции 1-7, а также блок поворота 1-8, который по команде, поступающей из сервера 2, выполняет плавный поворот оправы 1-7 по часовой стрелке на угол 90° за одно дискретное перемещение (шаг) вала шагового двигателя, при этом выход «видео» фотоприемника 5 сенсорного блока является выходом «видео» телевизионной камеры 1.Design of a computer system for panoramic television surveillance, see Fig. 1, contains a serially connected television camera 1 and a server 2 (with a video card installed in it), which is a local area network node to which two or more personal computers are connected in position 3, while the television camera 1 includes the first panoramic lens 1 -1, a second panoramic lens 1-2, a third panoramic lens 1-3 and a fourth panoramic lens 1-4, as well as a sensor unit 1-5 containing a photodetector in position 5, a ball bearing 1-6, a photodetector frame in position 1-7 , as well as a rotation block 1-8, which, upon command coming from server 2, performs a smooth rotation of the frame 1-7 clockwise at an angle of 90° in one discrete movement (step) of the stepper motor shaft, while the output of the photodetector is “video” 5 of the sensor unit is the “video” output of television camera 1.
Панорамные объективы 1-1, 1-2, 1-3 и 1-4 предназначены для формирования оптических изображений кругового обзора последовательно для четырех шаровых слоев контролируемого пространства слева, сверху, справа и снизу, соответствующих направлению взгляда телевизионного оператора, как показано на фиг. 2.The panoramic lenses 1-1, 1-2, 1-3 and 1-4 are designed to form all-round optical images sequentially for four spherical layers of the controlled space on the left, top, right and bottom, corresponding to the viewing direction of the television operator, as shown in FIG. 2.
С другой стороны, блок поворота 1-8 может выполнять свои функциональные обязанности, обеспечивая для оператора последовательный мониторинг кругового обзора шаровых слоев наблюдаемого пространства соответственно слева, сзади, справа и спереди.On the other hand, the rotation unit 1-8 can perform its functional duties by providing the operator with sequential monitoring of the all-round view of the spherical layers of the observed space, respectively, from the left, rear, right and front.
В качестве технического решения для панорамных объективов 1-1, 1-2, 1-3 и 1-4, совпадающего с аналогичным решением для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2].As a technical solution for panoramic lenses 1-1, 1-2, 1-3 and 1-4, coinciding with a similar solution for the prototype [1], a panoramic mirror-lens lens can be proposed, the design of which is patented in Russia by domestic specialists from Moscow State University of Geodesy and Cartography [2].
Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 5. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.A photograph of the annular image formed by a panoramic lens is shown in Fig. 5. The angular field in object space for this lens is 360 degrees in azimuth and can reach (75-80) degrees in elevation.
«Кольцевой» фотоприемник 5 (см. фиг. 3) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» фотоприемную область (мишень) 5-1, «кольцевой» регистр 5-2 кадровой развертки, «кольцевой» коммутатор 5-3 видеосигналов и «кольцевой» мультиплексор 5-4.The “ring” photodetector 5 (see Fig. 3) is made using CMOS technology and contains on a common crystal a “ring” photodetector area (target) 5-1, a “ring” frame scanning register 5-2, a “ring” switch 5-3 video signals and a “ring” multiplexer 5-4.
Как показано на фиг. 3, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.As shown in FIG. 3, the active pixels on the photodetector target are combined into columns, which are located along radial directions from the imaginary center of the circular ring.
Каждый активный пиксел мишени (см. фиг. 4) имеет в своем составе светочувствительную область (площадь) 5-1-1, усилитель 5-1-2 с коэффициентом усиления Km для каждой текущей «кольцевой» строки и АЦП 5-1-3.Each active pixel of the target (see Fig. 4) includes a photosensitive region (area) 5-1-1, an amplifier 5-1-2 with a gain K m for each current “ring” line and an ADC 5-1- 3.
«Кольцевой» коммутатор 5-3 видеосигналов состоит из отдельных коммутаторов 5-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 5-3-2.The “ring” video switch 5-3 consists of individual video switches 5-3-1, the number of which corresponds to the number of active pixels in a row, connected by a “ring” video bus 5-3-2.
Отметим, что показанная на фиг. 3 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 4 - латинской буквы L, - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.Note that shown in FIG. 3 the shape of the photosensitive pixel area is in the form of a rectangle, and in FIG. 4 - the Latin letter L - are conditional. In practice, the charge accumulation electrodes of the active pixels of the sensor target, which coincide with the area of their photosensitive area, can be made completely differently, for example, with a geometric shape in the form of part of a circular ring.
Видеосигнал с выхода каждого АЦП 5-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 5-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 5-3-1, управляемого с одного из выходов мультиплексора 5-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 5-3-2, а затем транслируется по ней на выход фотоприемника.The video signal from the output of each ADC 5-1-3 for each active pixel of a single “radial” column is transmitted to the “radial” video bus 5-1-5. Next, using “its own” key MOS transistor of the switch 5-3-1, controlled from one of the outputs of the multiplexer 5-4, the digital video signal of the current pixel is transmitted to the “ring” video bus 5-3-2, and then transmitted through it to photodetector output.
Отметим, что на фиг. З пунктирные стрелки показывают управление «кольцевыми» строчными шинами 5-1-4 фотоприемника со стороны «кольцевого» регистра 5-2 кадровой развертки. То, что здесь, как и на фиг. 4, изображены лишь четыре строчные шины является условностью чертежа. Как отмечалось выше, число шин 5-1-4 соответствует показателю действительного числа «кольцевых» строк в предлагаемом фотоприемнике.Note that in FIG. The dotted arrows show the control of the “ring” line buses 5-1-4 of the photodetector from the side of the “ring” register 5-2 frame scanning. What is here, as in Fig. 4, only four line buses are shown; this is a convention of the drawing. As noted above, the number of buses 5-1-4 corresponds to the actual number of “ring” lines in the proposed photodetector.
Поясним дополнительно на фиг. 3 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 5-1-5 в направлении к «кольцевому» коммутатору 5-3 видеосигналов.Let us further explain in Fig. 3 and more. The solid line arrows mark the transfer of the image signal in the sensor along the 5-1-5 video "radial" buses towards the 5-3 video "ring" switch.
В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.As a result, in a “ring” raster, sequentially one after the other for each pixel of an individual “ring” line and sequentially line by line for the target as a whole, the voltage of the output video signal of the photodetector is generated in digital form.
Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.Thanks to the CMOS technology adopted for the manufacture of the proposed video signal sensor, it is possible to integrate onto one common crystal not only a photodetector with an ADC for each active pixel, but also digital scanning units of a television camera. The implementation of such a solution ensures a significant reduction in the overall energy consumption of the television camera.
Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [3, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» фотоприемника с аналогичными возможностями там не упоминалась.It must be recognized that the concept of a matrix (rectangular) photodetector with an active pixel, an ADC built into it and a digital video signal at the output, which was supposed to be implemented using CMOS technology by implementing the “coordinate addressing” method, was developed by American specialists in the “zero” two thousand years. This was also reported in the domestic monograph [3, p. 67, fig. 1.21]. However, the circuitry of a “ring” photodetector on a CMOS chip with similar capabilities was not mentioned there.
Предлагаемая же здесь «кольцевая» форма мишени КМОП-фотоприемника и блоков развертки позволяет эффективнее использовать полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.The “ring” shape of the CMOS photodetector target and scanning units proposed here makes it possible to more effectively use the useful area of the crystal used for television and computer observation of panoramic scenes.
Шарикоподшипник 1-6 предназначен для обеспечения плавности хода оправы 1-7 с фотоприемником, которая механически связана с блоком поворота 1-8.The ball bearing 1-6 is designed to ensure smooth running of the frame 1-7 with the photodetector, which is mechanically connected to the rotation unit 1-8.
Блок поворота 1-8 выполнен на базе шагового двигателя, который представляет собой электрическую машину, предназначенную для преобразования электрической энергии в механическую энергию, см. например, монографию [4, с. 95] и публикацию в интернете [5].The turning unit 1-8 is made on the basis of a stepper motor, which is an electrical machine designed to convert electrical energy into mechanical energy, see, for example, the monograph [4, p. 95] and publication on the Internet [5].
Конструктивно шаговый двигатель состоит из обмоток статора и магнитно мягкого или магнитно твердого ротора.Structurally, a stepper motor consists of stator windings and a magnetically soft or magnetically hard rotor.
Отличительной особенностью шагового двигателя является дискретное вращение, при котором заданному числу импульсов соответствует определенное число совершаемых шагов. Очевидно, что при конструктивной необходимости шаговый двигатель может быть оснащен редуктором.A distinctive feature of a stepper motor is discrete rotation, in which a given number of pulses corresponds to a certain number of steps taken. Obviously, if necessary, the stepper motor can be equipped with a gearbox.
Принцип действия шагового двигателя, применяемого в блоке поворота 1-8 заявляемого устройства показан на фиг. 6. На этом чертеже изображены 4 обмотки, которые относятся к статору двигателя, а их расположение устроена так, что они находятся под углом 90° относительно друг друга. Из чего следует, что такая машина характеризуется размером шага в 90°.The operating principle of the stepper motor used in the rotation unit 1-8 of the proposed device is shown in Fig. 6. This drawing shows 4 windings that belong to the motor stator, and their arrangement is arranged so that they are at an angle of 90° relative to each other. From which it follows that such a machine is characterized by a step size of 90°.
В момент подачи высокого уровня импульсного напряжения U1 в первую обмотку происходит перемещение ротора на те же 90°. В случае поочередной подачи высокого уровня импульсного напряжения U2, U3, U4 в соответствующие обмотки, вал продолжит вращение до завершения полного круга. После чего цикл повторяется снова. Для изменения направления вращения достаточно изменить очередность подачи импульсов в соответствующие обмотки статора шагового двигателя.At the moment a high level of pulse voltage U1 is supplied to the first winding, the rotor moves by the same 90°. If a high level of pulse voltage U2, U3, U4 is alternately supplied to the corresponding windings, the shaft will continue to rotate until the full circle is completed. After which the cycle repeats again. To change the direction of rotation, it is enough to change the sequence of pulses supplied to the corresponding stator windings of the stepper motor.
Для подачи потенциала на обмотки на обмотки шагового двигателя необходим механизм, способный выдать или группу импульсов в конкретной последовательности. В роли такого механизма выступает блока управления шаговым двигателем, который содержит драйвер на основе микропроцессора, а также контроллер, обеспечивающий непосредственное подключение цифровых сигналов к данному двигателю.To supply potential to the windings of the stepper motor, a mechanism is needed that can issue a group of pulses in a specific sequence. The role of such a mechanism is the stepper motor control unit, which contains a microprocessor-based driver, as well as a controller that provides direct connection of digital signals to this motor.
Очевидно, что в заявляемом устройстве компьютерной системы блок поворота 1-8 телевизионной камеры содержит последовательно соединенные между собой шаговый двигатель, обеспечивающий четыре фиксированных положения вала под углом 90°, и блок управления шаговым двигателем, вход которого подключен через USB интерфейс к внешнему блоку цифрового управления со стороны компьютера 4.It is obvious that in the inventive computer system device, the rotation unit 1-8 of the television camera contains a stepper motor connected in series, providing four fixed shaft positions at an angle of 90°, and a stepper motor control unit, the input of which is connected via a USB interface to an external digital control unit from the computer side 4.
Устройство компьютерной системы панорамного телевизионного наблюдения (см. фиг. 1) работает следующим образом.The device of the computer system for panoramic television surveillance (see Fig. 1) works as follows.
Пусть конструкторское решение сенсорного блока 1-5 в составе телевизионной камеры 1, см. фиг. 1 и фиг2 реализовано так, что в исходном положении 1 ось визирования первого панорамного объектива 1-1, а, следовательно, и оптическая ось фотоприемника 5 направлена по горизонтали влево. Отметим, что мишень фотоприемника 5 занимает в данной ситуации положение, которое показано линиями из квадратных точек.Let the design solution of the sensor unit 1-5 as part of the television camera 1, see Fig. 1 and FIG 2 are implemented so that in the initial position 1 the sighting axis of the first panoramic lens 1-1, and, consequently, the optical axis of the photodetector 5 is directed horizontally to the left. Note that the target of the photodetector 5 occupies a position in this situation, which is shown by lines of square dots.
Экспонирование «кольцевой» мишени фотоприемника 5 производится непрерывно. Поэтому на выходе сенсорного блока 1-5 формируется цифровой видеосигнал «кольцевого» кадра фотоприемника 5.The “ring” target of the photodetector 5 is exposed continuously. Therefore, at the output of the sensor unit 1-5, a digital video signal of the “ring” frame of the photodetector 5 is generated.
Далее полученный цифровой телевизионный сигнал (ЦТС), содержащий видеоинформацию об этом шаровом слое поступает на выход телевизионной камеры 1.Next, the received digital television signal (DTS), containing video information about this spherical layer, is sent to the output of television camera 1.
Затем этот ЦТС по линии связи с интерфейсом USB передается на сервер 2, где выполняется запись видеоинформации в первый блок оперативной памяти на кадр.Then this DTS is transmitted via a communication line with a USB interface to server 2, where video information is recorded into the first block of RAM per frame.
Для получения в телевизионной камере 1 ЦТС применительно к трем другим шаровым слоям окружающего пространства достаточно подавать с компьютера 4 необходимые команды (в ручном или автоматическом режимах) обеспечивающих последовательно поворот фотоприемника 5 (по часовой стрелке) на угол 90° при помощи шагового двигателя блока 1-8.To obtain the PZT in the television camera 1 in relation to the other three spherical layers of the surrounding space, it is enough to submit from the computer 4 necessary commands (in manual or automatic modes) that ensure sequential rotation of the photodetector 5 (clockwise) at an angle of 90° using a stepper motor block 1- 8.
В результате мишень фотоприемника 5 сначала оказывается в положении 2 напротив второго панорамного объектива 1-2, затем в положении 3 - напротив третьего панорамного объектива 1-3, а в завершении цикла- напротив четвертого панорамного объектива 1-4.As a result, the target of the photodetector 5 first appears in position 2 opposite the second panoramic lens 1-2, then in position 3 - opposite the third panoramic lens 1-3, and at the end of the cycle - opposite the fourth panoramic lens 1-4.
Как и первый ЦТС, каждый из трех новых ЦТС последовательно будет подвержен записи соответственно во второй, третий и четвертый блок оперативной памяти на кадр.Like the first DZT, each of the three new DZTs will be sequentially subject to recording, respectively, into the second, third and fourth block of RAM per frame.
Последовательное преобразование по соотношению (2) в сервере 2 каждого из четырех «кольцевых» кадра записи в «прямоугольные» кадры успешно завершает выполнение задачи последовательного мониторинга видеоинформации для четырех шаровых слоев окружающего пространства (слева, сзади, справа и спереди).Sequential conversion according to relation (2) in server 2 of each of the four “ring” recording frames into “rectangular” frames successfully completes the task of sequential monitoring of video information for four spherical layers of the surrounding space (left, rear, right and front).
В настоящее время все элементы структурной схемы устройства компьютерной системы панорамного телевизионного наблюдения, см. фиг. 1, освоены или могут быть освоены отечественной промышленностью.Currently, all elements of the block diagram of a computer system for panoramic television surveillance, see FIG. 1, have been mastered or can be mastered by domestic industry.
Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.Therefore, the proposed invention should be considered to meet the requirement of industrial applicability.
ИСТОЧНИКИ ИНФОРМАЦИИINFORMATION SOURCES
1. Патент РФ №2791711. МПК H04N 23/13; H04N 23/58; H04N 25/75. Устройство компьютерной системы панорамного телевизионного наблюдения. / В.М. Смелков // Б.И. - 2023. - №8.1. RF Patent No. 2791711. IPC H04N 23/13; H04N 23/58; H04N 25/75. Construction of a computer system for panoramic television surveillance. / V.M. Smelkov // B.I. - 2023. - No. 8.
2. Патент РФ №2185645. МПК G02B13/06, G02B17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.2. RF patent No. 2185645. IPC G02B13/06, G02B17/08. Panoramic reflex lens. / A.V. Kurtov, V.A. Solomatin // B.I. - 2002. - No. 20.
3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.3. Berezin V.V., Umbitaliev A.A., Fakhmi Sh.S., Tsytsulin A.K. and Shipilov N.N. Solid-state revolution in television: Television systems based on charge-coupled devices, systems on a chip, and video systems on a chip. Ed. A.A. Umbitaliev and A.K. Tsytsulina. - M.: “Radio and Communication”, 2006.
4. Гинзбург С.А., Лехтман И.Я., Малов B.C. Основы автоматики и телемеханики. Под общ. ред. С.А. Гинзбурга. Изд. 4-е переработанное. Пер. с англ. - «Энергия», 1968.4. Ginzburg S.A., Lekhtman I.Ya., Malov V.S. Fundamentals of automation and telemechanics. Under general ed. S.A. Ginsburg. Ed. 4th revised. Per. from English - “Energy”, 1968.
5. https//www.asutpp.ru/shagovyy-dvigatel.html.5. https//www.asutpp.ru/shagovyy-dvigatel.html.
6. Владо Дамьяновки. CCTV. Библия видеонаблюдения. Цифровые и сетевые технологии. Издание 2-е. Пер. с англ. ООО «Ай -Эс-ЭС Пресс», 2006.6. Vlado Damyanovki. CCTV. The CCTV Bible. Digital and network technologies. 2nd edition. Per. from English ISS Press LLC, 2006.
Claims (7)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2812334C1 true RU2812334C1 (en) | 2024-01-30 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4884140A (en) * | 1987-11-18 | 1989-11-28 | Goldstar Co., Ltd. | Vignetting compensating circuit for a video camera |
| US6304284B1 (en) * | 1998-03-31 | 2001-10-16 | Intel Corporation | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
| WO2014093942A1 (en) * | 2012-12-14 | 2014-06-19 | Microsoft Corporation | Four-lens spherical camera orientation |
| EP2863176A2 (en) * | 2013-10-21 | 2015-04-22 | Sick Ag | Sensor with scanning unit that can be moved around a rotating axis |
| US10536634B2 (en) * | 2016-03-21 | 2020-01-14 | Chiun Mai Communication Systems, Inc. | Multiple lens system and portable electronic device employing the same |
| RU2791711C1 (en) * | 2022-07-11 | 2023-03-13 | Вячеслав Михайлович Смелков | Computer system device for panoramic television surveillance |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4884140A (en) * | 1987-11-18 | 1989-11-28 | Goldstar Co., Ltd. | Vignetting compensating circuit for a video camera |
| US6304284B1 (en) * | 1998-03-31 | 2001-10-16 | Intel Corporation | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
| WO2014093942A1 (en) * | 2012-12-14 | 2014-06-19 | Microsoft Corporation | Four-lens spherical camera orientation |
| EP2863176A2 (en) * | 2013-10-21 | 2015-04-22 | Sick Ag | Sensor with scanning unit that can be moved around a rotating axis |
| US10536634B2 (en) * | 2016-03-21 | 2020-01-14 | Chiun Mai Communication Systems, Inc. | Multiple lens system and portable electronic device employing the same |
| RU2791711C1 (en) * | 2022-07-11 | 2023-03-13 | Вячеслав Михайлович Смелков | Computer system device for panoramic television surveillance |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7920170B2 (en) | Image sensing apparatus and method which combine a plurality of images obtained from different areas at different time intervals | |
| RU2371880C1 (en) | Panoramic video surveillance method and device for implementing thereof | |
| RU2545519C1 (en) | Apparatus for computer-based panoramic television surveillance system and photodetector setup therefor | |
| US20120182455A1 (en) | Solid-state image pickup device and image pickup device | |
| US8937639B2 (en) | Interlaced focal plane array for wide-area surveillance | |
| JP2007116208A (en) | Compound eye imaging apparatus | |
| US11882375B2 (en) | Imaging element, imaging apparatus, operation method of imaging element, and program | |
| WO2019208412A1 (en) | Imaging device and driving method of imaging device | |
| RU2723645C1 (en) | High-resolution panorama television surveillance computer system device | |
| RU2727920C9 (en) | Panoramic television surveillance computer system with selective image scaling | |
| US20020060741A1 (en) | Image capturing apparatus, method for capturing image and camera | |
| RU2723640C1 (en) | High-resolution panorama television surveillance computer system device | |
| RU2812334C1 (en) | Computer system device for panoramic television surveillance | |
| JPH0444870B2 (en) | ||
| RU2812612C1 (en) | Device of computer system for panoramic television surveillance for unmanned aerial vehicle | |
| RU2743571C1 (en) | Computing system device for panoramic video surveillance with selective image scaling | |
| US11962920B2 (en) | Imaging device, method of driving imaging device, and electronic equipment | |
| RU2704582C1 (en) | Method of generating a video signal in a television-computer system for monitoring of industrial products having the shape of a circular ring | |
| WO2021014921A1 (en) | Image capturing device and control method for same | |
| RU2791711C1 (en) | Computer system device for panoramic television surveillance | |
| RU2813357C1 (en) | High-resolution panoramic television surveillance computer system | |
| RU2755809C1 (en) | Device of a computer system for panoramic television surveillance with increased resolution | |
| RU2813358C1 (en) | Design of computer system for panoramic television surveillance with selective image scaling | |
| JP2002084548A (en) | Color image pickup element and image pickup device | |
| RU2721381C1 (en) | High-resolution panorama television surveillance computer system device |