RU2813357C1 - High-resolution panoramic television surveillance computer system - Google Patents
High-resolution panoramic television surveillance computer system Download PDFInfo
- Publication number
- RU2813357C1 RU2813357C1 RU2023113429A RU2023113429A RU2813357C1 RU 2813357 C1 RU2813357 C1 RU 2813357C1 RU 2023113429 A RU2023113429 A RU 2023113429A RU 2023113429 A RU2023113429 A RU 2023113429A RU 2813357 C1 RU2813357 C1 RU 2813357C1
- Authority
- RU
- Russia
- Prior art keywords
- ring
- sensor
- panoramic
- output
- photodetector
- Prior art date
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 50
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 239000004065 semiconductor Substances 0.000 claims abstract description 4
- 230000000295 complement effect Effects 0.000 claims abstract description 3
- 230000003287 optical effect Effects 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 239000013078 crystal Substances 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000008520 organization Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000004804 winding Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Abstract
Description
Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей последовательно и параллельно круговой обзор в четырех шаровых слоях окружающей сферической области пространства. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Телевизионная камера такой системы имеет два сенсора: «кольцевой» и «прямоугольный» (матричный) фотоприемники, - изготовленные по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП).The present invention relates to panoramic television surveillance, which is performed by a computer system using a television camera that provides a sequential and parallel all-round view in four spherical layers of the surrounding spherical region of space. Moreover, for each of these spherical layers, television monitoring of the situation in real time is carried out in a spatial angle of 360 degrees in azimuth and tens of degrees in elevation. The television camera of such a system has two sensors: “ring” and “rectangular” (matrix) photodetectors, made using the technology of complementary metal-oxide-semiconductor structures (CMOS).
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вложение (вставку) «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; в состав платы видео входит также блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), который заменяет БЭВИ при переводе компьютерной системы в режим последовательного обзора панорамного сюжета, причем число «прямоугольных» кадров m, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:The closest in technical essence to the claimed invention should be considered a device for a computer system for panoramic television surveillance with increased resolution [1], containing a series-connected television camera and a server, which is a local area network node to which two or more personal computers are connected, while expansion connector on the server motherboard, a video card is installed, coordinated for input/output channels, control and power supply with the server bus, containing an electrical image inscription unit (BEVI), which programmatically embeds (inserts) a “ring” frame of a television camera into a “rectangular” one » raster of a computer monitor, and in the mode of observing a panoramic scene, the BEVI input is completely connected to the output of the RAM block per frame, and the BEVI output is connected to the “network” output of the server; The video board also includes a block for converting a “ring” frame into “rectangular” frames (BPKP), which replaces the BEVI when switching the computer system to the sequential viewing mode of a panoramic plot, with the number of “rectangular” frames m corresponding to one current “ring” frame , satisfies the relation:
, (1) , (1)
где - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется тоже программным путем,Where - horizontal angle of the field of view in degrees of the image observed by the operator, and this transformation itself is also performed by software,
при этом в состав телевизионной камеры входит панорамный объектив, сенсорный блок, коммутатор-смеситель, генератор электронной отметки и селектор синхроимпульсов, причем сенсорный блок содержит в своем составе электромеханическую турель с поворотом на два положения, управляемую по команде с компьютера оператора системы, при этом на турели на регулируемом по высоте фланце расположен «кольцевой» фотоприемник и с разнесением на 180° - блок наведения, на котором установлен на регулируемом по высоте фланце матричный фотоприемник, причем в первом положении турели оптическое изображение панорамного объектива проецируется на мишень «кольцевого» фотоприемника, а во втором положении турели фрагмент оптического кадра панорамного объектива проецируется на мишень матричного фотоприемника, при этом «кольцевой» фотоприемник (сенсор) выполнен на кристалле, изготовленном по технологии КМОП, и содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, т.е. светочувствительная площадь активного пиксела для первой строки (Δ1) является максимальной, причем мишень сенсора, имеющая формат «кольцевой» мишени равный формату кадра панорамного объектива, состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» «кольцевого» фотоприемника, при этом второй сенсор телевизионной камеры - матричный фотоприемник, установленный на блоке наведения, как и «кольцевой» сенсор, выполнен по технологии КМОП, с аналогичной организацией по методу «координатная адресация», причем число его «прямоугольных» строк равно числу «кольцевых» строк у «кольцевого» сенсора, но в отличие от него, число пикселов в строке превышает показатель, равный числу пикселов в строке у «кольцевого» сенсора, деленному на m, а при одинаковой светочувствительной площади (Δ) всех активных пикселов мишени коэффициент усиления Km активного пиксела для каждой текущей «прямоугольной»» строки мишени матричного сенсора сохраняется постоянным и неизменным по величине; причем блок наведения осуществляет плавное пространственное перемещение матричного фотоприемника в пределах круга в положение, отмечаемое на изображении в режиме наблюдения панорамного сюжета полностью электронной отметкой, которая одновременно является геометрическим центром предлагаемого к рассмотрению отдельно взятого фрагмента «кольцевого» кадра, при этом управление блоком наведения выполняется по команде оператора системы с компьютера; управление режимом «Видео» тоже выполняется по команде оператора, которая подается на управляющий вход коммутатора-смесителя, первый информационный вход которого подключен к выходу «Видео» «кольцевого» фотоприемника, второй информационный вход коммутатора-смесителя - к выходу «Видео» матричного фотоприемника, а третий информационный вход коммутатора-смесителя - к выходу сигнала генератора электронной отметки, управляющий вход которого подключен к выходу датчика положения блока наведения, причем выход «Видео» «кольцевого» фотоприемника подключен к входу селектора синхроимпульсов, выход кадровых синхроимпульсов (КСИ) которого подключен к первому входу генератора электронной отметки и соответственно к входу синхронизации коммутатора-смесителя, выход строчных синхроимпульсов (ССИ) селектора синхроимпульсов - ко второму входу генератора электронной отметки; а выход смеси синхроимпульсов приемника (ССП) селектора синхроимпульсов - к входу внешней синхронизации матричного сенсора, при этом коэффициент усиления Km активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению:in this case, the television camera includes a panoramic lens, a sensor block, a switch-mixer, an electronic mark generator and a sync pulse selector, and the sensor block contains an electromechanical turret with a rotation of two positions, controlled by a command from the system operator’s computer, while turret, on a height-adjustable flange there is a “ring” photodetector and, spaced 180° apart, a guidance unit on which a matrix photodetector is mounted on a height-adjustable flange, and in the first position of the turret, the optical image of the panoramic lens is projected onto the target of the “ring” photodetector, and in the second position of the turret, a fragment of the optical frame of the panoramic lens is projected onto the target of the matrix photodetector, while the “ring” photodetector (sensor) is made on a crystal made using CMOS technology and contains on the target lines of photosensitive elements (pixels) located along radial directions from the imaginary the center of the circular ring to its outer periphery, and the number of photosensitive pixels in each “ring” line of the target is the same, and their area is different from line to line, increasing as you move towards the outer periphery of the sensor, i.e. the photosensitive area of the active pixel for the first line (Δ 1 ) is maximum, and the sensor target, which has a “ring” target format equal to the frame format of a panoramic lens, consists of photodiode active pixels, each of which has an amplifier with a gain K m , as well as a built-in an analog-to-digital converter (ADC) that provides transmission of the active pixel's video signal to its "radial" video bus, all of which collectively combine the active pixels of the target into "radial" columns, with the ADC controlling the pixels located along each "ring" row sensor, is carried out using a separate “ring” line bus, the total number of which determines the number of lines in the sensor, and the number of “radial” video buses determines the number of pixels in each line of the sensor; at the same time, on the common crystal of the photodetector there are also blocks that perform scanning and formation of the output voltage of the digital video signal, namely: a “ring” frame scan register, which selects the “ring” line; A "ring" video switcher containing video switches for each "radial" column, which are controlled from the corresponding output of the "ring" horizontal multiplexer and provide transmission of the video signal at the output of each "radial" video bus to the "ring" video bus, the output of which is the output “Video” of the “ring” photodetector, while the second sensor of the television camera - a matrix photodetector installed on the guidance unit, like the “ring” sensor, is made using CMOS technology, with a similar organization according to the “coordinate addressing” method, and the number of its “rectangular” » lines is equal to the number of “ring” lines in a “ring” sensor, but unlike it, the number of pixels in a line exceeds the number equal to the number of pixels in a line in a “ring” sensor divided by m, and with the same photosensitive area (Δ) of all active pixels of the target, the gain K m of the active pixel for each current “rectangular” row of the matrix sensor target is kept constant and unchanged in value; wherein the guidance unit carries out a smooth spatial movement of the matrix photodetector within the circle to a position marked on the image in the observation mode of a panoramic scene with a completely electronic mark, which at the same time is the geometric center of the individual fragment of the “ring” frame proposed for consideration, while the guidance unit is controlled by system operator command from a computer; control of the “Video” mode is also carried out by the operator’s command, which is supplied to the control input of the switch-mixer, the first information input of which is connected to the “Video” output of the “ring” photodetector, the second information input of the switch-mixer is connected to the “Video” output of the matrix photodetector, and the third information input of the mixer switch is connected to the signal output of the electronic mark generator, the control input of which is connected to the output of the position sensor of the guidance unit, and the “Video” output of the “ring” photodetector is connected to the input of the sync pulse selector, the output of the frame sync pulses (PSI) of which is connected to to the first input of the electronic mark generator and, accordingly, to the synchronization input of the switch-mixer, the output of the horizontal sync pulses (HSI) of the sync pulse selector - to the second input of the electronic mark generator; and the output of the receiver sync pulse mixture (RPM) of the sync pulse selector is to the external synchronization input of the matrix sensor, while the gain K m of the active pixel for each current “ring” line of the “ring” sensor changes according to the ratio:
. (2) . (2)
где К1 = 1, а для выравнивания чувствительностей «кольцевого» и матричного каналов должна быть увеличена в Δ1/Δ раз величина номинального коэффициента Km активного пиксела матричного сенсора.where K 1 = 1, and to equalize the sensitivities of the “ring” and matrix channels, the nominal coefficient K m of the active pixel of the matrix sensor must be increased by Δ 1 /Δ times.
В прототипе [1] обеспечивается возможность наблюдения панорамного сюжета полностью и отдельных его фрагментов с типовой и повышенной разрешающей способностью изображения, а также гарантируется повышенная степень интеграции телевизионной камеры за счет выполнения «кольцевого» и матричного сенсоров по технологии КМОП, позволяющей разместить на их кристаллах и необходимое электронное «обрамление фотоприемников.The prototype [1] provides the ability to observe a panoramic scene in its entirety and its individual fragments with standard and increased image resolution, and also guarantees an increased degree of integration of the television camera due to the implementation of “ring” and matrix sensors using CMOS technology, which makes it possible to place on their chips and necessary electronic “framing of photodetectors.
Недостаток прототипа - возможность мониторинга панорамного сюжета только в одном и единственном шаровом слое сферической области окружающего пространства.The disadvantage of the prototype is the ability to monitor a panoramic plot in only one and only spherical layer of the spherical region of the surrounding space.
Задачей изобретения является возможность ведения мониторинга панорамного сюжета в четырех слоях окружающего пространства.The objective of the invention is the ability to monitor a panoramic scene in four layers of the surrounding space.
Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения с повышенной разрешающей способностью решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БЭВИ, который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; в состав платы видео входит также БПКП, который заменяет БЭВИ при переводе компьютерной системы в режим последовательного обзора панорамного сюжета, причем число «прямоугольных» кадров m, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), при этом в состав телевизионной камеры входит первый панорамный объектив, сенсорный блок, коммутатор-смеситель, генератор электронной отметки и селектор синхроимпульсов, причем сенсорный блок содержит в своем составе электромеханическую турель с поворотом на два положения, управляемую по команде с компьютера оператора системы, при этом на турели на регулируемом по высоте фланце расположен «кольцевой» фотоприемник и с разнесением на 180° - блок наведения, на котором установлен на регулируемом по высоте фланце матричный фотоприемник, причем в первом положении турели оптическое изображение панорамного объектива проецируется на мишень «кольцевого» фотоприемника, а во втором положении турели фрагмент оптического кадра панорамного объектива проецируется на мишень матричного фотоприемника, при этом «кольцевой» сенсор выполнен на кристалле, изготовленном по технологии КМОП, и содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, т.е. светочувствительная площадь активного пиксела для первой строки (Δ1) является максимальной, причем мишень сенсора, имеющая формат «кольцевой» мишени равный формату кадра панорамного объектива, состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» «кольцевого» фотоприемника, при этом второй сенсор телевизионной камеры - матричный фотоприемник, установленный на блоке наведения, как и «кольцевой» сенсор, выполнен по технологии КМОП, с аналогичной организацией по методу «координатная адресация», причем число его «прямоугольных» строк равно числу «кольцевых» строк у «кольцевого» сенсора, но в отличие от него, число пикселов в строке превышает показатель, равный числу пикселов в строке у «кольцевого» сенсора, деленному на m, а при одинаковой светочувствительной площади (Δ) всех активных пикселов мишени коэффициент усиления Km активного пиксела для каждой текущей «прямоугольной»» строки мишени матричного сенсора сохраняется постоянным и неизменным по величине; причем блок наведения осуществляет плавное пространственное перемещение матричного фотоприемника в пределах круга в положение, отмечаемое на изображении в режиме наблюдения панорамного сюжета полностью электронной отметкой, которая одновременно является геометрическим центром предлагаемого к рассмотрению отдельно взятого фрагмента «кольцевого» кадра, при этом управление блоком наведения выполняется по команде оператора системы с компьютера; управление режимом «Видео» тоже выполняется по команде оператора, которая подается на управляющий вход коммутатора-смесителя, первый информационный вход которого подключен к выходу «Видео» «кольцевого» фотоприемника, второй информационный вход коммутатора- смесителя - к выходу «Видео» матричного фотоприемника, а третий информационный вход коммутатора-смесителя - к выходу сигнала генератора электронной отметки, управляющий вход которого подключен к выходу датчика положения блока наведения, причем выход «Видео» «кольцевого» фотоприемника подключен к входу селектора синхроимпульсов, выход КСИ которого подключен к первому входу генератора электронной отметки и соответственно к входу синхронизации коммутатора-смесителя, выход ССИ селектора синхроимпульсов - ко второму входу генератора электронной отметки; а выход ССП селектора синхроимпульсов - к входу внешней синхронизации матричного сенсора, при этом коэффициент усиления Km активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению (2), а для выравнивания чувствительностей «кольцевого» и матричного каналов должна быть увеличена в Δ1/Δ раз величина номинального коэффициента Km активного пиксела матричного сенсора, но при этом в отличие от прототипа [1], в состав телевизионной камеры введен второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив, а также блок позиционирования сенсоров (БПС), выполненный на базе шагового двигателя, вал которого непосредственно или через редуктор механически связан с сенсорным блоком, обеспечивая по команде оператора, поступающей с компьютера в телевизионную камеру, пространственный поворот сенсорного блока на угол 90° в пошаговом режиме четыре раз за цикл, так что его мишень, установленная по умолчанию симметрично в положение напротив первого панорамного объектива, последовательно устанавливается сначала симметрично в положение напротив второго панорамного объектива, затем симметрично в положение напротив третьего панорамного объектива, а в заключении - симметрично в положение напротив четвертого панорамного объектива, при этом новый цифровой видеосигнал, формируемый в телевизионной камере после завершения каждого из четырех поворотов фотоприемника, поочередно записывается в соответствующую ячейку оперативной памяти сервера, в качестве которого используется системный блок компьютера оператора системы.The stated problem in the inventive device for a panoramic television surveillance system with increased resolution is solved by the fact that, as in the prototype device [1], containing a series-connected television camera and a server, which is a local area network node to which two or more personal computers are connected, At the same time, a video card is installed in the expansion connector on the server motherboard, matched for input/output channels, control and power supply with the server bus, containing a BEVI, which programmatically inserts a “ring” frame of a television camera into a “rectangular” raster of a computer monitor, and in the panoramic scene observation mode, the BEVI input is completely connected to the output of the RAM block per frame, and the BEVI output is connected to the “network” output of the server; The video board also includes a BPKP, which replaces the BEVI when switching the computer system to the sequential viewing mode of a panoramic plot, and the number of “rectangular” frames m, corresponding to one current “ring” frame, satisfies relation (1), while the composition of the television camera includes a first panoramic lens, a sensor block, a switch-mixer, an electronic mark generator and a synchronization pulse selector, and the sensor block contains an electromechanical turret with a rotation of two positions, controlled by command from the system operator’s computer, while the turret is adjustable in height on the flange there is a “ring” photodetector and, spaced 180° apart, there is a guidance unit on which a matrix photodetector is mounted on a height-adjustable flange, and in the first position of the turret the optical image of the panoramic lens is projected onto the target of the “ring” photodetector, and in the second position of the turret a fragment the optical frame of the panoramic lens is projected onto the target of the matrix photodetector, while the “ring” sensor is made on a crystal made using CMOS technology and contains on the target lines of photosensitive elements (pixels) located along radial directions from the imaginary center of the circular ring to its outer periphery, Moreover, the number of photosensitive pixels in each “ring” row of the target is the same, and their area varies from row to row, increasing as they move towards the outer periphery of the sensor, i.e. the photosensitive area of the active pixel for the first line (Δ 1 ) is maximum, and the sensor target, which has a “ring” target format equal to the frame format of a panoramic lens, consists of photodiode active pixels, each of which has an amplifier with a gain K m , as well as a built-in An ADC that provides transmission of the active pixel video signal to its “radial” video bus, while they all collectively combine the active pixels of the target into “radial” columns, and the ADC for the pixels located along each “ring” row of the sensor is controlled separately a taken “ring” line bus, the total number of which determines the number of lines in the sensor, and the number of “radial” video buses determines the number of pixels in each line of the sensor; at the same time, on the common crystal of the photodetector there are also blocks that perform scanning and formation of the output voltage of the digital video signal, namely: a “ring” frame scan register, which selects the “ring” line; A "ring" video switcher containing video switches for each "radial" column, which are controlled from the corresponding output of the "ring" horizontal multiplexer and provide transmission of the video signal at the output of each "radial" video bus to the "ring" video bus, the output of which is the output “Video” of the “ring” photodetector, while the second sensor of the television camera - a matrix photodetector installed on the guidance unit, like the “ring” sensor, is made using CMOS technology, with a similar organization according to the “coordinate addressing” method, and the number of its “rectangular” » lines is equal to the number of “ring” lines in a “ring” sensor, but unlike it, the number of pixels in a line exceeds the number equal to the number of pixels in a line in a “ring” sensor divided by m, and with the same photosensitive area (Δ) of all active pixels of the target, the gain K m of the active pixel for each current “rectangular” row of the matrix sensor target is kept constant and unchanged in value; wherein the guidance unit carries out a smooth spatial movement of the matrix photodetector within the circle to a position marked on the image in the observation mode of a panoramic scene with a completely electronic mark, which at the same time is the geometric center of the individual fragment of the “ring” frame proposed for consideration, while the guidance unit is controlled by system operator command from a computer; control of the “Video” mode is also carried out by the operator’s command, which is supplied to the control input of the switch-mixer, the first information input of which is connected to the “Video” output of the “ring” photodetector, the second information input of the switch-mixer is connected to the “Video” output of the matrix photodetector, and the third information input of the switch-mixer is connected to the signal output of the electronic marker generator, the control input of which is connected to the output of the position sensor of the guidance unit, and the “Video” output of the “ring” photodetector is connected to the input of the sync pulse selector, the output of which is connected to the first input of the electronic marker generator. marks and, accordingly, to the synchronization input of the switch-mixer, the output of the sync pulse selector - to the second input of the electronic mark generator; and the output of the SSP sync pulse selector is to the external synchronization input of the matrix sensor, while the gain K m of the active pixel for each current “ring” line of the “ring” sensor changes according to relation (2), and to equalize the sensitivities of the “ring” and matrix channels it should be increased by Δ 1 /Δ times the value of the nominal coefficient K m of the active pixel of the matrix sensor, but unlike the prototype [1], the television camera includes a second panoramic lens, a third panoramic lens and a fourth panoramic lens, as well as a positioning unit sensors (BPS), made on the basis of a stepper motor, the shaft of which is directly or through a gearbox mechanically connected to the sensor unit, providing, at the operator’s command from the computer to the television camera, spatial rotation of the sensor unit at an angle of 90° in step-by-step mode four times per cycle , so that its target, set by default symmetrically in front of the first panoramic lens, is sequentially installed first symmetrically in front of the second panoramic lens, then symmetrically in front of the third panoramic lens, and finally symmetrically in front of the fourth panoramic lens, at In this case, a new digital video signal, generated in the television camera after the completion of each of the four rotations of the photodetector, is alternately recorded in the corresponding RAM cell of the server, which is used as the system unit of the system operator’s computer.
Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.The set of known and new features for the proposed device is not known from the prior art, therefore, the proposed technical solution meets the criterion of novelty.
Важно отметить следующее. Светочувствительная площадь пикселов мишени «кольцевого» фотоприемника, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» сенсора, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.It is important to note the following. The light-sensitive area of the pixels of the target of the “ring” photodetector, as for the prototype [1], is different from line to line. This is caused by the need for a “ring” sensor, which has the same number of pixels in each line, to equalize the resolution within the frame by ensuring the same value of the technological (manufacturing) gap between the photosensitive elements.
Но в заявляемом решении телевизионной камеры компьютерной системы, в отличие от прототипа [1], в качестве «кольцевого» фотоприемника может быть применен сенсор, у которого площадь мишени совпадает с размерами площади оптического кадра панорамного объектива, а величина показателя Δ1 «кольцевого» сенсора больше показателя Δ матричного датчика.But in the proposed solution for a television camera of a computer system, in contrast to the prototype [1], a sensor can be used as a “ring” photodetector, in which the target area coincides with the dimensions of the optical frame area of the panoramic lens, and the value of the indicator Δ 1 of the “ring” sensor greater than the Δ value of the matrix sensor.
В данном решении обеспечено и необходимое выравнивание чувствительности обоих каналов («кольцевого» и прямоугольного) телевизионного наблюдения, использующих такие сенсоры.This solution also ensures the necessary equalization of the sensitivity of both channels (ring and rectangular) of television surveillance using such sensors.
Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.Therefore, the proposed technical solution meets the criterion of an inventive step.
На фиг. 1 приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения и на этом же чертеже - структурная схема телевизионной камеры в ее составе, когда сенсорный блок занимает такое положение, которое обеспечивает ведение мониторинга окружающего пространства в его слое сзади; на фиг. 2 показаны все четыре возможные положения сенсорного блока телевизионной камеры, реализующие мониторинг окружающего пространства последовательно в четырех соях: сзади, справа, спереди и слева; на фиг. 3 приведена схемотехническая организация «кольцевого» фотоприемника; на фиг. 4 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 5 представлено размещение «кольцевого» и матричного фотоприемников на поворотной турели, штриховкой на этом чертеже показаны юстировочные фланцы, которые раздельно регулируются по высоте, обеспечивая точную настройку заднего отрезка объектива (заднего фокуса) для каждого из фотоприемников; на фиг. 6 - иллюстрация возможных положений мишени матричного фотоприемника на платформе блока наведения; на фиг. 7 - иллюстрация выполнения задачи по электрическому вписыванию изображения «кольцевого» кадра в прямоугольный растр компьютерного монитора; на фиг. 8 - пример выполнения электрической схемы блока наведения; на фиг. 9, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива, которая является подтверждением реализуемости заявляемого устройства; на фиг. 10 - приведена иллюстрация принципа действия шагового двигателя, который используется в составе телевизионной камеры.In fig. Figure 1 shows a block diagram of the proposed computer system for panoramic television surveillance and in the same drawing - a block diagram of the television camera in its composition, when the sensor unit occupies a position that ensures monitoring of the surrounding space in its rear layer; in fig. Figure 2 shows all four possible positions of the sensor unit of the television camera, which implement monitoring of the surrounding space sequentially in four areas: behind, on the right, in front and on the left; in fig. Figure 3 shows the circuitry of a “ring” photodetector; in fig. 4 - details of this organization in relation to a single “radial” column; in fig. Figure 5 shows the placement of the “ring” and matrix photodetectors on the rotary turret; the shading in this drawing shows the adjustment flanges, which are separately adjustable in height, ensuring precise adjustment of the rear segment of the lens (back focus) for each of the photodetectors; in fig. 6 - illustration of possible positions of the target of the matrix photodetector on the platform of the guidance unit; in fig. 7 is an illustration of the task of electrically inscribing an image of a “ring” frame into a rectangular raster of a computer monitor; in fig. 8 is an example of the electrical circuit of the guidance unit; in fig. 9, according to [2], presents a photograph of an image obtained using a domestic panoramic mirror-lens lens, which confirms the feasibility of the proposed device; in fig. 10 - an illustration of the operating principle of a stepper motor, which is used as part of a television camera.
Заявляемая компьютерная система панорамного телевизионного наблюдения (см. фиг. 1) содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), который является узлом локальной вычислительной сети, с возможностью подключения к ней двух или более персональных компьютеров в позиции 3.The inventive computer system for panoramic television surveillance (see Fig. 1) contains a series-connected television camera 1 and a server 2 (with a video card installed in it), which is a node of a local computer network, with the ability to connect two or more personal computers to it in position 3.
В качестве сервера, как и в прототипе [1], использован системный блок компьютера 4 оператора системы.As a server, as in the prototype [1], the system unit of the computer 4 of the system operator is used.
Телевизионная камера 1, см. фиг. 1 и фиг. 2, содержит первый панорамный объектив 1-1-1, второй панорамный объектив 1-1-2, третий панорамный объектив 1-1-3 и четвертый панорамный объектив 1-1-4; сенсорный блок (отмечен на фиг. 1 линиями из квадратных точек), имеющий в составе электромеханическую турель 1-3, на которой расположены «кольцевой» фотоприемник 1-2 и матричный фотоприемник 1-4, который установлен на блок наведения 1-5; также в состав телевизионной камеры 1 входит коммутатор-смеситель 1-6, генератор 1-7 электронной отметки и селектор синхроимпульсов 1-8; Выход коммутатора-смесителя 1-6 является выходом «Видео» телевизионной камеры.Television camera 1, see Fig. 1 and fig. 2 includes a first panoramic lens 1-1-1, a second panoramic lens 1-1-2, a third panoramic lens 1-1-3 and a fourth panoramic lens 1-1-4; a sensor unit (marked in Fig. 1 by lines of square dots), which contains an electromechanical turret 1-3, on which a “ring” photodetector 1-2 and a matrix photodetector 1-4 are located, which is installed on the guidance unit 1-5; The television camera 1 also includes a switch-mixer 1-6, an electronic mark generator 1-7 and a sync pulse selector 1-8; The output of the mixer switch 1-6 is the “Video” output of the television camera.
По линии связи одна команда управления телевизионной камерой с компьютера 4 оператора системы поступает на управляющий вход коммутатора-смесителя 1-6, вторая команда - на турель 1-3, третья команда - на блок наведения 1-5, а четвертая команда - на вход блока позиционирования сенсоров (БПС 1-9), выход которого подключен к входу управления поворотом сенсорного блока. Первый информационный вход блока 1-6 подключен к выходу «Видео» «кольцевого» фотоприемника 1-2, его второй информационный вход - к выходу «Видео» матричного фотоприемника 1-4, а его третий информационный вход - к выходу генератора электронной отметки 1-7. На управляющий вход генератора 1-7 электронной отметки подается сигнал с датчика положения блока наведения 1-5. Выход «Видео» «кольцевого» фотоприемника 1-2 подключен также к входу селектора 1-8 синхроимпульсов, выход КСИ которого подключен к первому входу генератора 1-7 и соответственно к входу синхронизации коммутатора-смесителя 1-6, выход ССИ - ко второму входу генератора 1-7, а выход ССП - ко входу внешней синхронизации матричного фотоприемника 1-4.Via the communication line, one command to control the television camera from the computer 4 of the system operator is sent to the control input of the switch-mixer 1-6, the second command is sent to the turret 1-3, the third command is sent to the guidance unit 1-5, and the fourth command is sent to the input of the unit sensor positioning (BPS 1-9), the output of which is connected to the rotation control input of the sensor unit. The first information input of block 1-6 is connected to the “Video” output of the “ring” photodetector 1-2, its second information input is to the “Video” output of the matrix photodetector 1-4, and its third information input is to the output of the electronic mark generator 1- 7. The control input of the electronic mark generator 1-7 receives a signal from the position sensor of the guidance unit 1-5. The “Video” output of the “ring” photodetector 1-2 is also connected to the input of the sync pulse selector 1-8, the output of the CSI is connected to the first input of the generator 1-7 and, accordingly, to the synchronization input of the switch-mixer 1-6, the output of the CSI is connected to the second input generator 1-7, and the output of the SSP - to the external synchronization input of the matrix photodetector 1-4.
Плата видео выполняет программным путем следующие операции:The video card performs the following operations in software:
• запись «кольцевого» видеосигнала в оперативную память сервера в автоматическом режиме;• recording a “ring” video signal into the server’s RAM in automatic mode;
• электрическое вписывание изображения «кольцевого» кадра из оперативной памяти в «прямоугольный» растр компьютерного монитора в режиме 1 работы системы (наблюдения панорамного сюжета полностью) для каждого из четырех слоев пространства;• electrically inscribing the image of a “ring” frame from RAM into a “rectangular” raster of a computer monitor in mode 1 of the system operation (observing a complete panoramic scene) for each of the four layers of space;
• мониторинг фрагментов «кольцевого» кадра в режиме 2 работы системы с повышенной разрешающей способностью изображения выбранных участков при помощи матричного фотоприемника.• monitoring of fragments of a “ring” frame in mode 2 of the system with increased image resolution of selected areas using a matrix photodetector.
Важно отметить, что в режиме 2 принципиально исключаются пропуски видеоинформации на последовательных стыках (между соседними «прямоугольными» кадрами), см. фиг. 6, т.к. эти участки могут быть просмотрены дополнительно.It is important to note that in mode 2, omissions of video information at successive junctions (between adjacent “rectangular” frames) are fundamentally eliminated, see Fig. 6, because these areas can be viewed further.
Как и в прототипе [1], в компьютерной программе применительно к операции по реализации электрического вписывания «кольцевого» кадра в «прямоугольный» растр монитора обеспечено соблюдение последовательности передачи телевизионных строк.As in the prototype [1], in the computer program, in relation to the operation of electrically inscribing a “ring” frame into a “rectangular” raster of the monitor, compliance with the sequence of transmission of television lines is ensured.
При условии размещения вписываемого кадра в центральной части экрана монитора выполнение этой задачи представлено на фиг. 7.Provided that the inscribed frame is placed in the central part of the monitor screen, the implementation of this task is presented in Fig. 7.
Продемонстрируем заложенный в эту программы алгоритм, используя растровое положение точечных изображений от двух пикселов «А» и «В» для «кольцевого» фотоприемника 1-2.Let us demonstrate the algorithm embedded in this program, using the raster position of dot images from two pixels “A” and “B” for the “ring” photodetector 1-2.
Пусть, как показано на фиг. 3, пиксел «А» считывается первым в первой «кольцевой» строке сенсора, а пиксел «В» - точно посередине этой строки.Let, as shown in Fig. 3, pixel “A” is read first in the first “ring” line of the sensor, and pixel “B” is exactly in the middle of this line.
Тогда в «прямоугольном» растре компьютерного монитора (см. фиг. 7) изображение от пиксела «А» будет занимать положение центрального элемента его первой строки, а изображение от пиксела «В» - положение центрального элемента его последней строки.Then in the “rectangular” raster of a computer monitor (see Fig. 7), the image from pixel “A” will occupy the position of the central element of its first line, and the image from pixel “B” will occupy the position of the central element of its last line.
Панорамные объективы 1-1-1, 1-1-2, 1-1-3 и 1-1-4 предназначены для формирования оптических изображений кругового обзора последовательно для четырех шаровых слоев контролируемого пространства сзади, справа, спереди и слева, соответствующих направлению взгляда телевизионного оператора, как показано на фиг. 2.Panoramic lenses 1-1-1, 1-1-2, 1-1-3 and 1-1-4 are designed to form all-round optical images sequentially for four spherical layers of controlled space behind, right, front and left, corresponding to the direction of view television operator, as shown in FIG. 2.
В качестве технического решения для панорамных объективов 1-1, 1-2, 1-3 и 1-4, совпадающего с аналогичным решением объектив для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2]. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.As a technical solution for panoramic lenses 1-1, 1-2, 1-3 and 1-4, coinciding with a similar solution for the lens for the prototype [1], a panoramic mirror-lens lens, the design of which is patented in Russia by domestic specialists, can be proposed from Moscow State University of Geodesy and Cartography [2]. The angular field in object space for this lens is 360 degrees in azimuth and can reach (75-80) degrees in elevation.
Как и в прототипе [1], «кольцевой» фотоприемник 1-2 (см. фиг. 3) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» фото приемную область (мишень) 1-2-1, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4.As in the prototype [1], the “ring” photodetector 1-2 (see Fig. 3) is made using CMOS technology and contains on a common crystal a “ring” photo receiving area (target) 1-2-1, a “ring” register 1-2-2 frame scan, “ring” switch 1-2-3 video signals and “ring” multiplexer 1-2-4.
Как показано на фиг. 3, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.As shown in FIG. 3, the active pixels on the photodetector target are combined into columns, which are located along radial directions from the imaginary center of the circular ring.
Каждый активный пиксел мишени (см. фиг. 4) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления Km для каждой текущей «кольцевой» строки и АЦП 1-2-1-3.Each active pixel of the target (see Fig. 4) includes a photosensitive region (area) 1-2-1-1, an amplifier 1-2-1-2 with a gain K m for each current “ring” line and an ADC 1-2-1-3.
«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.The “ring” switcher 1-2-3 video signals consists of individual switches 1-2-3-1 video signals, the number of which corresponds to the number of active pixels in the line, united by the “ring” video bus 1-2-3-2.
Отметим, что показанная на фиг. 3 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L, - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.Note that shown in FIG. 3 the shape of the photosensitive pixel area is in the form of a rectangle, and in FIG. 3 - the Latin letter L - are conditional. In practice, the charge accumulation electrodes of the active pixels of the sensor target, which coincide with the area of their photosensitive area, can be made completely differently, for example, with a geometric shape in the form of part of a circular ring.
Управление АЦП 1-2-1-3 пиксела, как и всех остальных пикселов мишени, осуществляется с управляющего входа «кольцевого» мультиплексора 1-2-3. передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.The ADC of the 1-2-1-3 pixel, as well as all other pixels of the target, is controlled from the control input of the “ring” multiplexer 1-2-3. transmitting a control signal from the corresponding output of the “ring” register 1-2-2 vertical scan.
Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход фотоприемника.The video signal from the output of each ADC 1-2-1-3 for each active pixel of a single “radial” column is transmitted to the “radial” video bus 1-2-1-5. Then, using “its own” key MOS transistor of the switch 1-2-3-1, controlled from one of the outputs of the multiplexer 1-2-4, the digital video signal of the current pixel is transmitted to the “ring” video bus 1-2-3-2, and then transmitted through it to the output of the photodetector.
То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 каждого из двух фотоприемников сенсорного блока 1-2.The same formation of a digital video signal occurs within the other radially located columns of the “ring” target 1-2-1 of each of the two photodetectors of the sensor unit 1-2.
Отметим, что на фиг. 3 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины является условностью чертежа. На самом деле число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.Note that in FIG. 3 dotted arrows show control of the “ring” line buses 1-2-1-4 of the photodetector from the side of the “ring” register 1-2-2 vertical scanning. What is here, as in Fig. 3, only four line buses are shown; this is a convention of the drawing. In fact, the number of buses 1-2-1-4 corresponds to the actual number of “ring” lines in the proposed sensor.
Поясним дополнительно на фиг. 3 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.Let us further explain in Fig. 3 and more. The arrows with continuous lines indicate the transmission of the image signal in the sensor along the 1-2-1-5 "radial" video buses towards the 1-2-3 video "ring" switch.
В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.As a result, in a “ring” raster, sequentially one after the other for each pixel of an individual “ring” line and sequentially line by line for the target as a whole, the voltage of the output video signal of the photodetector is generated in digital form.
Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.Thanks to the CMOS technology adopted for the manufacture of the proposed video signal sensor, it is possible to integrate onto one common crystal not only a photodetector with an ADC for each active pixel, but also digital scanning units of a television camera. The implementation of such a solution ensures a significant reduction in the overall energy consumption of the television camera.
Как и в прототипе [1], матричный фотоприемник 1-4 выполнен также по технологии КМОП и сохраняет все признаки прибора, реализованного по методу «координатная адресация» американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и подробно комментировалось в отечественной монографии [3, с. 67, рис. 1.21].As in the prototype [1], the matrix photodetector 1-4 is also made using CMOS technology and retains all the features of a device implemented using the “coordinate addressing” method by American specialists in the “zero” two thousand years. This was reported and commented on in detail in the domestic monograph [3, p. 67, fig. 1.21].
В той же работе [3, с. 65] отмечалось, что применение активного усилителя в пикселе позволяет осуществить в таком сенсоре режим зарядового, т.е. до коммутационного усиления видеосигнала, добиваясь величины эквивалентного преобразования «свет - сигнал» до 250 мкВ/е.In the same work [3, p. 65] noted that the use of an active amplifier in the pixel makes it possible to implement a charge mode in such a sensor, i.e. before switching amplification of the video signal, achieving an equivalent light-to-signal conversion value of up to 250 μV/e.
Именно этот результат явился решающей предпосылкой заявляемого решения, т.к. его можно распространить и на «кольцевой» сенсор, работающий совместно (параллельно) с матричным фотоприемником.It was this result that was the decisive prerequisite for the proposed solution, because it can be extended to a “ring” sensor that works together (in parallel) with a matrix photodetector.
Очевидно, что по технологии КМОП на кристалле матричного фотоприемника 1-4 также успешно реализуется задача по формированию цифрового видеосигнала «прямоугольного» растра с пониженным энергопотреблением.Obviously, using CMOS technology on a matrix photodetector chip 1-4, the task of generating a digital video signal of a “rectangular” raster with reduced power consumption is also successfully implemented.
К этому необходимо добавить, что «кольцевой» фотоприемник 1-2 и матричный фотоприемник 1-4 могут формировать телевизионный сигнал как монохромного (черно-белого), так и цветного изображения.It is necessary to add to this that the “ring” photodetector 1-2 and the matrix photodetector 1-4 can generate a television signal of both monochrome (black and white) and color images.
Устройство «кольцевого» фотоприемника цветного изображения было предложено в патенте РФ [4]. Отметим, что обязательный в этом решении инфракрасный светофильтр (ИК-фильтр), обеспечивающий согласование фотоприемника со спектральной чувствительностью человеческого глаза, может быть выполнен в составе панорамного объектива или интегрирован непосредственно в «кольцевой» сенсор.A device for a “ring” color image photodetector was proposed in a Russian patent [4]. Note that the infrared light filter (IR filter) required in this solution, which ensures matching of the photodetector with the spectral sensitivity of the human eye, can be made as part of a panoramic lens or integrated directly into the “ring” sensor.
Как и в прототипе [1], в заявляемом решении блок наведения 1-5 осуществляет плавное круговое пространственное перемещение мишени матричного фотоприемника 1-4 по проекции «кольцевого» изображения панорамной сцены.As in the prototype [1], in the proposed solution, the guidance unit 1-5 carries out a smooth circular spatial movement of the target of the matrix photodetector 1-4 along the projection of the “ring” image of the panoramic scene.
Рассмотрим работу блока 1-5 (см. фиг. 8), электрическая схема которого выполнена на двух оптронах HSSR, обозначенных как VT1 и VT2.Let's consider the operation of block 1-5 (see Fig. 8), the electrical circuit of which is made using two HSSR optocouplers, designated as VT1 and VT2.
Изделие HSSR-7111 согласно публикации [5] - однополюсный нормально разомкнутый оптрон с выходным каскадом на мощных МОП-транзисторах, имеет очень малое сопротивление во включенном состоянии и работает в точности как полупроводниковое реле.The HSSR-7111 product, according to publication [5], is a single-pole normally open optocoupler with an output stage based on powerful MOS transistors, has very low on-resistance and operates exactly like a semiconductor relay.
Управление наведением осуществляется командами в соответствии с табл.1,Guidance control is carried out by commands in accordance with Table 1,
Подаваемые в телевизионную камеру с компьютера по двухпроводной линии связи сигналы управления блоком 1-5 наведения являются постоянными напряжениями положительной или отрицательной полярности величиной (5…12) Вольт, отсчитываемыми относительно провода «общий».The control signals for the guidance unit 1-5, supplied to the television camera from the computer via a two-wire communication line, are constant voltages of positive or negative polarity with a value of (5...12) Volts, measured relative to the “common” wire.
При отсутствии команд управления эти напряжений тоже отсутствуют. Поэтому оптроны VT1 и VT2 разомкнуты, а электродвигатель М обесточен.In the absence of control commands, these voltages are also absent. Therefore, optocouplers VT1 and VT2 are open, and electric motor M is de-energized.
Пусть по линии связи на блок 1-5 наведения поступает команда «Управление поворотом» - «Вперед». Тогда оптрон VT2 замыкается, а электродвигатель М подключается к источнику переменного напряжения ~U и начинает вращаться. Если же взамен этой команды поступит команда «Управление поворотом» - «Назад», то замкнется оптрон VT1, а электродвигатель М будет вращаться в другом направлении.Let the command “Turn Control” - “Forward” be received via the communication line to the guidance block 1-5. Then the optocoupler VT2 closes, and the electric motor M is connected to an alternating voltage source ~U and begins to rotate. If, instead of this command, the command “Rotation control” - “Back” is received, then the optocoupler VT1 will close, and the electric motor M will rotate in the other direction.
Концевые выключатели SF1 и SF2 обеспечивают границы позиционирования в пределах одного кругового оборота матричного фотоприемника 1-4. Датчик положения выполнен на базе переменного резистора RPn имеющего линейную зависимость изменения сопротивления от угла поворота, а постоянный резистор Rn* служит для реализации настроечной работы по точному позиционированию. Движок резистора RPn кинематическим методом (через редуктор) связан с двигателем М.Limit switches SF1 and SF2 provide positioning boundaries within one circular revolution of the matrix photodetector 1-4. The position sensor is made on the basis of a variable resistor RP n, which has a linear dependence of the change in resistance on the angle of rotation, and a constant resistor R n * serves to implement the adjustment work for precise positioning. The resistor RP n motor is kinematically connected (via a gearbox) to the motor M.
Отметим, что сигнал датчика положения (напряжение Un с потенциометра RPn), поступает на управляющий вход генератора 1-7 электронной отметки, обеспечивая перемещение маркера на «кольцевом» изображении в соответствии с командами, поступающими с блока 1-5.Note that the position sensor signal (voltage U n from the potentiometer RP n ) is supplied to the control input of the electronic mark generator 1-7, ensuring that the marker moves on the “ring” image in accordance with the commands coming from block 1-5.
Техническое решение в заявляемом устройстве электромеханической турели 1-3 и ее компьютерное управление в системе ничем не отличается от предложенного ранее в прототипа [1].The technical solution in the proposed device of the electromechanical turret 1-3 and its computer control in the system is no different from that previously proposed in the prototype [1].
Блок позиционирования сенсоров (БПС 1-9) выполнен на базе шагового двигателя, который представляет собой электрическую машину, предназначенную для преобразования электрической энергии в механическую энергию, см. например, монографию [6, с. 95] и публикацию в интернете [7].The sensor positioning unit (BPS 1-9) is made on the basis of a stepper motor, which is an electrical machine designed to convert electrical energy into mechanical energy, see, for example, the monograph [6, p. 95] and publication on the Internet [7].
Конструктивно шаговый двигатель состоит из обмоток статора и магнитно мягкого или магнитно твердого ротора.Structurally, a stepper motor consists of stator windings and a magnetically soft or magnetically hard rotor.
Отличительной особенностью шагового двигателя является дискретное вращение, при котором заданному числу импульсов соответствует определенное число совершаемых шагов. Очевидно, что при конструктивной необходимости шаговый двигатель может быть оснащен редуктором.A distinctive feature of a stepper motor is discrete rotation, in which a given number of pulses corresponds to a certain number of steps taken. Obviously, if necessary, the stepper motor can be equipped with a gearbox.
Принцип действия шагового двигателя, применяемого в БПС 1-9 заявляемого устройства показан на фиг. На этом чертеже изображены 4 обмотки, которые относятся к статору двигателя, а их расположение устроена так, что они находятся под углом 90° относительно друг друга. Из чего следует, что такая машина характеризуется размером шага в 90°.The operating principle of the stepper motor used in the BPS 1-9 of the inventive device is shown in Fig. This drawing shows 4 windings that belong to the motor stator, and their arrangement is arranged so that they are at an angle of 90° relative to each other. From which it follows that such a machine is characterized by a step size of 90°.
В момент подачи высокого уровня импульсного напряжения U1 в первую обмотку происходит перемещение ротора на те же 90°. В случае поочередной подачи высокого уровня импульсного напряжения U2, U3, U4 в соответствующие обмотки, вал продолжит вращение до завершения полного круга. После чего цикл повторяется снова. Для изменения направления вращения достаточно изменить очередность подачи импульсов в соответствующие обмотки статора шагового двигателя.At the moment a high level of pulse voltage U1 is supplied to the first winding, the rotor moves by the same 90°. If a high level of pulse voltage U2, U3, U4 is alternately supplied to the corresponding windings, the shaft will continue to rotate until the full circle is completed. After which the cycle repeats again. To change the direction of rotation, it is enough to change the sequence of pulses supplied to the corresponding stator windings of the stepper motor.
Для подачи потенциала на обмотки шагового двигателя необходим механизм, способный выдать группу импульсов в конкретной последовательности. В роли такого механизма выступает блок управления шаговым двигателем, который содержит драйвер на основе микропроцессора, а также контроллер, обеспечивающий непосредственное подключение цифровых сигналов к данному двигателю.To apply potential to the windings of a stepper motor, a mechanism is needed that can produce a group of pulses in a specific sequence. The role of such a mechanism is the stepper motor control unit, which contains a microprocessor-based driver, as well as a controller that provides direct connection of digital signals to this motor.
Очевидно, что в заявляемом устройстве компьютерной системы БПС 1-9 телевизионной камеры содержит последовательно соединенные между собой шаговый двигатель, обеспечивающий четыре фиксированных положения вала под углом 90°, и блок управления шаговым двигателем, вход которого подключен через USB интерфейс к внешнему блоку цифрового управления со стороны компьютера 4.It is obvious that in the inventive device of the computer system, the BPS 1-9 of the television camera contains a stepper motor connected in series, providing four fixed shaft positions at an angle of 90°, and a stepper motor control unit, the input of which is connected via a USB interface to an external digital control unit with computer side 4.
Заявляемое устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью (см. фиг. 1) работает следующим образом. Как и в прототипе [1], предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фото штатива (на фиг. 1 он не показан).The inventive device for a computer system for panoramic television surveillance with increased resolution (see Fig. 1) operates as follows. As in the prototype [1], it is assumed that the television camera 1 is installed in a fixed position, for example, using a photo tripod (it is not shown in Fig. 1).
Пусть конструкторское решение сенсорного блока в составе телевизионной камеры 1, см. фиг. 1 и фиг. 2, реализовано так, что в исходном положении 1 ось визирования первого панорамного объектива 1-1-1, а, следовательно, и оптическая ось фотоприемника 1-2 направлена по горизонтали сзади. Отметим, что мишень фотоприемника 1-2 занимает в данной ситуации положение, которое показано линиями из квадратных точек.Let the design solution of the sensor unit as part of the television camera 1, see Fig. 1 and fig. 2 is implemented in such a way that in the initial position 1 the viewing axis of the first panoramic lens 1-1-1, and, consequently, the optical axis of the photodetector 1-2 is directed horizontally from behind. Note that the target of the photodetector 1-2 occupies a position in this situation, which is shown by lines of square dots.
Характеристика сигналов управления телевизионной камерой 1 с компьютера 4, сопутствующих команде «Выбор режима видео», представлена в табл. 2. Они являются типовыми логическими сигналами в уровнях ТТЛ.The characteristics of control signals for television camera 1 from computer 4, accompanying the “Select video mode” command, are presented in Table. 2. They are typical logic signals at TTL levels.
При включении компьютерная система начинает действовать по умолчанию в режиме 1. Тогда на мишень «кольцевого» фотоприемника 1-2 проецируется «кольцевое» оптическое изображение контролируемого панорамного сюжета.When turned on, the computer system begins to operate by default in mode 1. Then a “ring” optical image of the controlled panoramic scene is projected onto the target of the “ring” photodetector 1-2.
По выходу «Видео» сформированный цифровой телевизионный сигнал (ЦТС) по интерфейсу (например, USB 2,0) передается на сервер 2, где выполняется запись видеоинформации в блок оперативной памяти на кадр.At the “Video” output, the generated digital television signal (DTS) is transmitted via an interface (for example, USB 2.0) to server 2, where video information is recorded into a RAM block per frame.
В этом режиме оператор компьютера 4 наблюдает полное изображение панорамной сцены, формируемое «кольцевым» фотоприемником 1-2 и электронную отметку на нем, например «крест», который показывает текущее местоположение геометрического центра мишени матричного фотоприемника 1-4.In this mode, the computer operator 4 observes the full image of the panoramic scene formed by the “ring” photodetector 1-2 and an electronic mark on it, for example, a “cross”, which shows the current location of the geometric center of the target of the matrix photodetector 1-4.
Будем считать, что наша электронная отметка («крест») априори располагается точно в середине «кольцевого» изображения по его ширине.We will assume that our electronic mark (“cross”) is a priori located exactly in the middle of the “ring” image along its width.
Затем оператор компьютера 4 выполнит переключение системы в режим 2 работы, а на турель 1-3 последует его команда поворота на 180°.Then the operator of computer 4 will switch the system to operating mode 2, and his command to rotate 180° will follow on turret 1-3.
В результате в оптическом кадре панорамного объектива будет осуществлена замена фотоприемника 1-2 на фотоприемник 1-4, а оператору будет предложено телевизионное изображение фрагмента панорамной сцены, которое формируется в данный момент матричным сенсором 1-4 при его текущем местоположении.As a result, in the optical frame of the panoramic lens, the photodetector 1-2 will be replaced by the photodetector 1-4, and the operator will be offered a television image of a fragment of the panoramic scene, which is currently being formed by the matrix sensor 1-4 at its current location.
Для того, чтобы коммутация режимов работы системы происходила без внесения искажений в наблюдаемые изображения, фотоприемники телевизионной камеры работают в режиме Genlock, который обеспечивается путем подачи на вход внешней синхронизации матричного сенсора 1-4 сигнала синхронизации приемника (ССП) от «кольцевого» сенсора 1-2.In order for the switching of system operating modes to occur without introducing distortion into the observed images, the photodetectors of the television camera operate in the Genlock mode, which is ensured by supplying the external synchronization input of the matrix sensor 1-4 with a receiver synchronization signal (RSS) from the “ring” sensor 1- 2.
Дополнительно к этому в коммутаторе-смесителе 1-6 обеспечивается «привязка» временного процесса переключения команд к интервалу кадрового синхроимпульса (КСИ), вырабатываемого на выходе селектора 1-8 синхроимпульсов.In addition to this, in the switch-mixer 1-6, the temporary process of switching commands is “linked” to the interval of the frame sync pulse (PSI), generated at the output of the sync pulse selector 1-8.
Если число светочувствительных пикселов в строке матричного фотоприемника 1-4 равно числу пикселов для «кольцевой» строки сенсора 1-2, получаемый выигрыш в разрешающей способности (четкости) этого фрагмента панорамного изображения, составит m раз.If the number of photosensitive pixels in the row of the matrix photodetector 1-4 is equal to the number of pixels for the “ring” row of the sensor 1-2, the resulting gain in resolution (clearness) of this fragment of the panoramic image will be m times.
Благодаря выравниванию в телевизионной камере чувствительностей «кольцевого» и матричного фотоприемников, этот выигрыш достигается без потерь отношения сигнал/шум наблюдаемого изображения.Thanks to the equalization of the sensitivities of the “ring” and matrix photodetectors in the television camera, this gain is achieved without loss of the signal-to-noise ratio of the observed image.
После завершения записи этого изображения в дополнительный блок памяти сервера 2 оно также становится доступным для всех пользователей компьютеров 3.After recording of this image is completed in the additional memory block of server 2, it also becomes available to all users of computers 3.
Для получения в телевизионной камере 1 ЦТС применительно к трем другим шаровым слоям окружающего пространства достаточно подавать с компьютера 4 необходимые команды, обеспечивающие последовательно поворот сенсорного блока, а, следовательно, и фотоприемника 1-2 (по часовой стрелке) на угол 90° при помощи шагового двигателя БПС 1-9.To obtain the PZT in the television camera 1 in relation to the other three spherical layers of the surrounding space, it is enough to submit 4 necessary commands from the computer, ensuring sequential rotation of the sensor unit, and, consequently, the photodetector 1-2 (clockwise) at an angle of 90° using a stepper engine BPS 1-9.
В результате мишень «кольцевого» фотоприемника 1-2 (см. фиг. 2) сначала оказывается в положении 2 напротив второго панорамного объектива 1-1-2, затем в положении 3 - напротив третьего панорамного объектива 1-1-3, а в завершении цикла - напротив четвертого панорамного объектива 1-1-4.As a result, the target of the “ring” photodetector 1-2 (see Fig. 2) first appears in position 2 opposite the second panoramic lens 1-1-2, then in position 3 - opposite the third panoramic lens 1-1-3, and finally cycle - opposite the fourth panoramic lens 1-1-4.
Как и первый ЦТС, каждый из трех новых ЦТС последовательно будет подвержен записи соответственно во второй, третий и четвертый блок оперативной памяти на кадр.Like the first DZT, each of the three new DZTs will be sequentially subject to recording, respectively, into the second, third and fourth block of RAM per frame.
К этому следует добавить, что в заявляемом решении, как и в прототипе [1], сохраняется режим последовательного обзора панорамного сюжета с типовой (пониженной) разрешающей способностью, реализация которого заложена компьютерной программой в плате видео сервера 2 предлагаемой системы.It should be added that in the proposed solution, as in the prototype [1], the mode of sequential review of a panoramic plot with a standard (reduced) resolution is preserved, the implementation of which is embedded in the computer program in the video server board 2 of the proposed system.
Целесообразность сохранения этого режима обзора определяется возможностью доступа к видеоинформации в реальном масштабе времени.The feasibility of maintaining this viewing mode is determined by the ability to access video information in real time.
Важно отметить, что в заявляемом решении может быть реализовано точное позиционирование мишени матричного фотоприемника 1-4 в пределах всей площади панорамного изображения, формируемого «кольцевым» фотоприемником 1-2.It is important to note that in the proposed solution, precise positioning of the target of the matrix photodetector 1-4 can be realized within the entire area of the panoramic image formed by the “ring” photodetector 1-2.
В настоящее время все элементы структурной схемы устройства компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью освоены или могут быть освоены отечественной промышленностью.Currently, all elements of the structural diagram of a computer system for panoramic television surveillance with increased resolution have been mastered or can be mastered by the domestic industry.
Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.Therefore, the proposed invention should be considered to meet the requirement of industrial applicability.
ИСТОЧНИКИ ИНФОРМАЦИИINFORMATION SOURCES
1. Патент РФ №2785152. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью. / В.М. Смелков // Б.И. - 2022. - №34.1. RF Patent No. 2785152. IPC H04N 7/00. Design of a computer system for panoramic television surveillance with increased resolution. / V.M. Smelkov // B.I. - 2022. - No. 34.
2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.2. RF patent No. 2185645. IPC G02B 13/06, G02B 17/08. Panoramic reflex lens. / A.V. Kurtov, V.A. Solomatin // B.I. - 2002. - No. 20.
3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.3. Berezin V.V., Umbitaliev A.A., Fakhmi Sh.S., Tsytsulin A.K. and Shipilov N.N. Solid-state revolution in television: Television systems based on charge-coupled devices, systems on a chip, and video systems on a chip. Ed. A.A. Umbitaliev and A.K. Tsytsulina. - M.: “Radio and Communication”, 2006.
4. Патент РФ №2710779. МПК H04N 5/374. Устройство «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения. / В.М. Смелков // Б.И. - 2019 - №2.4. RF patent No. 2710779. IPC H04N 5/374. A device for a “ring” color image photodetector for panoramic television and computer surveillance. / V.M. Smelkov // B.I. - 2019 - No. 2.
5. https//www.avagotech.com.5. https://www.avagotech.com.
6. Гинзбург С.А., Лехтман И.Я., Малов B.C. Основы автоматики и телемеханики. Под общ. ред. С.А. Гинзбурга. Изд. 4-е переработанное. Пер. с англ. - «Энергия», 1968.6. Ginzburg S.A., Lekhtman I.Ya., Malov V.S. Fundamentals of automation and telemechanics. Under general ed. S.A. Ginsburg. Ed. 4th revised. Per. from English - “Energy”, 1968.
7. https//www.asutpp.ru/shagovyy-dvigatel.html.7. https//www.asutpp.ru/shagovyy-dvigatel.html.
Claims (8)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2813357C1 true RU2813357C1 (en) | 2024-02-12 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4884140A (en) * | 1987-11-18 | 1989-11-28 | Goldstar Co., Ltd. | Vignetting compensating circuit for a video camera |
| US6304284B1 (en) * | 1998-03-31 | 2001-10-16 | Intel Corporation | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
| CN101753981A (en) * | 2008-12-01 | 2010-06-23 | 厦门市罗普特科技有限公司 | Full-angle monitoring camera |
| WO2014093942A1 (en) * | 2012-12-14 | 2014-06-19 | Microsoft Corporation | Four-lens spherical camera orientation |
| EP2863176A2 (en) * | 2013-10-21 | 2015-04-22 | Sick Ag | Sensor with scanning unit that can be moved around a rotating axis |
| RU2785152C1 (en) * | 2022-03-23 | 2022-12-05 | Вячеслав Михайлович Смелков | Design of a computer panoramic video surveillance system with high resolution |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4884140A (en) * | 1987-11-18 | 1989-11-28 | Goldstar Co., Ltd. | Vignetting compensating circuit for a video camera |
| US6304284B1 (en) * | 1998-03-31 | 2001-10-16 | Intel Corporation | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
| CN101753981A (en) * | 2008-12-01 | 2010-06-23 | 厦门市罗普特科技有限公司 | Full-angle monitoring camera |
| WO2014093942A1 (en) * | 2012-12-14 | 2014-06-19 | Microsoft Corporation | Four-lens spherical camera orientation |
| EP2863176A2 (en) * | 2013-10-21 | 2015-04-22 | Sick Ag | Sensor with scanning unit that can be moved around a rotating axis |
| RU2785152C1 (en) * | 2022-03-23 | 2022-12-05 | Вячеслав Михайлович Смелков | Design of a computer panoramic video surveillance system with high resolution |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010263501A (en) | Imaging device | |
| RU2727920C9 (en) | Panoramic television surveillance computer system with selective image scaling | |
| RU2723645C1 (en) | High-resolution panorama television surveillance computer system device | |
| CN105338883A (en) | Mechanical image rotation for rigidly coupled image sensor and endoscope | |
| JP6070301B2 (en) | Solid-state imaging device and imaging apparatus using the same | |
| RU2723640C1 (en) | High-resolution panorama television surveillance computer system device | |
| RU2706011C1 (en) | Panoramic television surveillance computer system device | |
| RU2813357C1 (en) | High-resolution panoramic television surveillance computer system | |
| RU2813358C1 (en) | Design of computer system for panoramic television surveillance with selective image scaling | |
| JPH10285476A (en) | Image-pickup system | |
| RU2816540C1 (en) | Design of computer system for panoramic television surveillance for unmanned aerial vehicle | |
| JP2008067241A (en) | Solid-state image pickup device and image pickup system | |
| RU2743571C1 (en) | Computing system device for panoramic video surveillance with selective image scaling | |
| RU2785152C1 (en) | Design of a computer panoramic video surveillance system with high resolution | |
| RU2721381C1 (en) | High-resolution panorama television surveillance computer system device | |
| RU2787358C1 (en) | Computer system device for panoramic television surveillance with selective image scaling (options) | |
| RU2780039C1 (en) | Design of a computer system for panoramic television surveillance with selective image scaling (variants) | |
| RU2730177C1 (en) | Television system with selective image scaling (versions) | |
| RU2755809C1 (en) | Device of a computer system for panoramic television surveillance with increased resolution | |
| RU2710779C1 (en) | Device for "circular" photodetector of color image for panoramic television-computer surveillance | |
| RU2812334C1 (en) | Computer system device for panoramic television surveillance | |
| JP2015008343A (en) | Imaging device, and method for forming imaging image | |
| JP2007311899A (en) | Imaging apparatus and method | |
| RU2756234C1 (en) | Device of a computer system for panoramic television surveillance with selective image scaling | |
| RU2725973C1 (en) | Method of generating a video signal in a television-computer system for monitoring industrial articles having a circular ring shape |