RU2565491C2 - Method for remote informational support of surgeon - Google Patents
Method for remote informational support of surgeon Download PDFInfo
- Publication number
- RU2565491C2 RU2565491C2 RU2013155233/08A RU2013155233A RU2565491C2 RU 2565491 C2 RU2565491 C2 RU 2565491C2 RU 2013155233/08 A RU2013155233/08 A RU 2013155233/08A RU 2013155233 A RU2013155233 A RU 2013155233A RU 2565491 C2 RU2565491 C2 RU 2565491C2
- Authority
- RU
- Russia
- Prior art keywords
- video
- image
- video image
- surgeon
- digital
- Prior art date
Links
Abstract
Description
Изобретение относится к области коммуникаций и медицины и касается способа дистанционного консультирования в реальном времени оперирующих хирургов с помощью «цифровых операционных», оснащенных оборудованием для использования технологий аудио- и видеосвязи.The invention relates to the field of communications and medicine and relates to a method of real-time remote consultation of operating surgeons using “digital operating rooms” equipped with equipment for using audio and video communication technologies.
В настоящее время в хирургии, как и в любой области медицины, существует своя специализация, связанная со статистикой встречаемости патологий среди конкретного контингента населения и с оснащенностью конкретных медицинских учреждений. Можно утверждать, что абсолютное большинство хирургов практически не знакомо с технологией значительного количества операций (не имеет собственного практического опыта). Для больших городов эта проблема решается путем направления пациента в профильное лечебное учреждение. Чем меньше населенный пункт, тем меньше вероятность наличия хирурга, имеющего личный опыт оперативного вмешательства при редко встречающейся патологии. При этом пациент далеко не всегда транспортабелен (по крайней мере, существуют ограничения в транспортабельности) и время до проведения оперативного вмешательства обычно ограничено (кровопотерей, интоксикацией и т.п.), что сводит до минимума возможность транспортировки в удаленный медицинский центр.Currently, in surgery, as in any field of medicine, there is a specialization associated with the statistics on the occurrence of pathologies among a particular population and with equipment of specific medical institutions. It can be argued that the vast majority of surgeons are practically not familiar with the technology of a significant number of operations (does not have their own practical experience). For large cities, this problem is solved by referring the patient to a specialized medical institution. The smaller the locality, the less likely it is to have a surgeon with personal experience of surgical intervention with rarely encountered pathology. Moreover, the patient is far from always transportable (at least there are limitations in transportability) and the time before surgery is usually limited (blood loss, intoxication, etc.), which minimizes the possibility of transportation to a remote medical center.
Поддержать местного хирурга в сложном случае можно путем применения технологий дистанционного консультирования в ходе операции удаленным специалистом высокой квалификации. Для этого необходимо, как минимум, передавать консультанту видеоизображение операционного поля в реальном времени и обеспечивать дуплексную аудиосвязь между консультантом и оперирующим хирургом.In a difficult case, it is possible to support a local surgeon by using remote consulting technologies during the operation by a highly qualified specialist. For this, it is necessary, at a minimum, to transmit to the consultant a video image of the surgical field in real time and to provide duplex audio communication between the consultant and the operating surgeon.
Известны способы дистанционного консультирования и управления операцией в реальном времени путем использования «цифровых операционных», оснащенных оборудованием, позволяющим использовать технологии аудио- и видеосвязи [http://www.divisy.ru, http://tele.med.ru/CARDIO/wvidc.htm. патент РФ на полезную модель №37918].Known methods for remote consultation and management of operations in real time by using "digital operating" equipped with equipment that allows the use of audio and video communications technology [http://www.divisy.ru, http://tele.med.ru/CARDIO/ wvidc.htm. RF patent for utility model No. 37918].
Упомянутый способ заключается в следующем:The mentioned method is as follows:
- регистрируют изображение операционного поля видеокамерой, расположенной над операционным столом (например, встроенной в светильники);- register the image of the surgical field with a video camera located above the operating table (for example, built into the fixtures);
- передают регистрируемое изображение консультирующему хирургу по кабельным или беспроводным каналам связи;- transmit the recorded image to the consulting surgeon via cable or wireless communication channels;
- передают аудиопоток с комментариями хода операции от оперирующего консультирующему хирургу по кабельным или беспроводным каналам связи;- transmit an audio stream with comments on the operation from the operating consultant to the surgeon via cable or wireless communication channels;
- передают оперирующему хирургу аудиопоток с комментариями по корректировке его действий от консультирующего хирурга.- transmit the audio stream to the operating surgeon with comments on the correction of his actions from the consulting surgeon.
Наряду с целым рядом достоинств известный способ обладает следующими недостатками:Along with a number of advantages, the known method has the following disadvantages:
- камеры, установленные в рамках конструкции бестеневой лампы, направлены на конкретный участок операционного стола, относительно которого операционное поле может быть смещено, в том числе и в ходе проведения операции;- cameras installed in the framework of the shadowless lamp design are aimed at a specific section of the operating table, relative to which the surgical field can be shifted, including during the operation;
- части тела хирургов могут закрывать изображение операционного поля, исключая тем самым передачу достоверного видеоизображения консультанту;- parts of the body of surgeons can cover the image of the surgical field, thereby excluding the transfer of reliable video to the consultant;
- передача видеопотока с одной камеры дает «плоское» видеоизображение, что затрудняет восприятие консультантом взаимного расположения деталей операционного поля и инструментов.- the transmission of the video stream from one camera gives a “flat” video image, which makes it difficult for the consultant to perceive the relative position of the details of the surgical field and tools.
Известны технические средства, регистрирующие объемное изображение операционного поля [патент US 5486948], которые могут быть использованы для дистанционного консультирования в реальном времени, однако и названным техническим средствам присущи недостатки, затрудняющие их применение.Known technical means for recording a three-dimensional image of the surgical field [patent US 5486948], which can be used for remote consultation in real time, however, the aforementioned technical means have inherent disadvantages that impede their use.
Во-первых, системы автоматической наводки в них осуществляют автоподстройку резкости по объекту, находящемуся в поле зрения на оптической оси или вблизи нее. В качестве такого объекта в ходе операции может выступать не операционное поле, а объект между камерой и операционным полем: руки хирурга или его ассистента, фрагменты инструментов и т.п. При этом само операционное поле на некоторое время отображается не резко. Учитывая, что во время операции такие ситуации возникают довольно часто, консультант может не увидеть сюжетно-важные манипуляции или изменения состояния оперируемого органа.Firstly, automatic aiming systems in them automatically sharpen the object, which is in the field of view on or near the optical axis. Such an object during the operation may not be the surgical field, but the object between the camera and the surgical field: the hands of the surgeon or his assistant, fragments of instruments, etc. At the same time, the surgical field itself is not displayed sharply for a while. Given that during the operation such situations arise quite often, the consultant may not see the plot-important manipulations or changes in the state of the operated organ.
Во-вторых, сложная оптико-механическая система названного устройства обладает значительным весом, и, при закреплении на голове хирурга, снижает работоспособность хирурга.Secondly, the complex optical-mechanical system of this device has significant weight, and, when mounted on the surgeon’s head, reduces the surgeon’s performance.
Существуют технические средства бинокулярного видения операционного поля с автоподстройкой, частично устраняющие вышеназванный недостаток скачков автоподстройки при пересечении оптической оси руками или иными предметами за счет введения инерционности механизма автоподстройки [патент РФ №2273871, европейский патент EP 1247133 B1]. Однако такое решение лишь частично снимает проблему, т.к. может быть настроено только на конкретное время задержки, при превышении которого произойдет настройка фокуса на мешающий предмет.There are technical means of binocular vision of the surgical field with auto-tuning, partially eliminating the aforementioned drawback of auto-tuning jumps when crossing the optical axis with hands or other objects due to the inertia of the auto-tuning mechanism [RF patent No. 2273871, European patent EP 1247133 B1]. However, such a solution only partially removes the problem, because can only be set for a specific delay time, beyond which the focus will be set to an interfering subject.
Существуют рекомендации Международного Союза Электросвязи - МСЭ (ITU-T) на информационный обмен между абонентами сетей с негарантированным качеством услуг связи (соответствующих рекомендациям ITU-T Н.323) двумя видеопотоками - Н.239. Однако в рамках названных рекомендаций не гарантируется синхронизация двух видеопотоков, следовательно, при их использовании для передачи стереоскопического видеоизображения с двух видеокамер путем передачи двух видеопотоков как автономных возможно нарушение стереовосприятия получателем передаваемого видеоизображения.There are recommendations of the International Telecommunication Union - ITU (ITU-T) for information exchange between subscribers of networks with non-guaranteed quality of communication services (corresponding to ITU-T recommendations H.323) with two video streams - H.239. However, within the framework of the above recommendations, synchronization of two video streams is not guaranteed, therefore, when they are used to transmit stereoscopic video images from two cameras by transmitting two video streams as stand-alone, stereo receiver perception of the transmitted video image may be violated.
Существуют системы пространственного позиционирования объектов, используемые в различных целях, включая медицинские устройства [http://www.ascension-tech.com, http://www.5dt.com/downloads/3rdpaity/minibird-bmanual.pdf], однако авторам не удалось обнаружить в доступных источниках информации их использования для автоподстройки фокуса или параллакса в системах стереонаблюдения.There are systems for spatial positioning of objects used for various purposes, including medical devices [http://www.ascension-tech.com, http://www.5dt.com/downloads/3rdpaity/minibird-bmanual.pdf], but to the authors it was not possible to find in available sources of information their use for auto-focusing or parallax in stereo surveillance systems.
Сущность изобретенияSUMMARY OF THE INVENTION
Объектом настоящего изобретения является способ дистанционной информационной поддержки оперирующего хирурга, включающий регистрацию видеоизображения операционного поля, преобразование видеоизображения в цифровой видеопоток, передачу цифрового потока по каналам связи, преобразование цифрового видеопотока в видеоизображение и представление его консультирующему специалисту, осуществление дуплексной аудиосвязи между оперирующим хирургом и консультирующим специалистом, причем консультирующему специалисту представляют два видеопотока с камер, закрепленных на оголовье (шлеме) оперирующего хирурга над его глазами, в виде объемного изображения, осуществляя их синхронизацию с точностью до взаимных временных смещений не более интервалов, приводящих к нарушениям стереоскопического восприятия передаваемого видеоизображения.The object of the present invention is a method for remote information support of an operating surgeon, including recording a video image of an operating field, converting a video image into a digital video stream, transmitting a digital stream through communication channels, converting a digital video stream to a video image and presenting it to a consultant, performing duplex audio communication between the operating surgeon and the consulting specialist moreover, two consultants are presented to the consultant outflow from cameras mounted on the headband (helmet) of the operating surgeon above his eyes, in the form of a three-dimensional image, synchronizing them to an accuracy of mutual time offsets of no more than intervals, leading to impaired stereoscopic perception of the transmitted video image.
В одном из вариантов осуществления изобретения цифровые видеопотоки и аудиопотоки объединяют при передаче по каналам связи в общий цифровой поток. Это позволяет снизить степень риска рассинхронизации цифровых видеопотоков при передаче по каналам связи, негарантированного качества (например, соответствие стандарту Н.323 Международного союза электросвязи).In one embodiment of the invention, digital video streams and audio streams are combined when transmitted over communication channels into a common digital stream. This allows you to reduce the risk of unsynchronization of digital video streams during transmission over communication channels of unwarranted quality (for example, compliance with standard H.323 of the International Telecommunication Union).
Еще в одном из вариантов осуществления изобретения в процессе преобразования видеоизображения в цифровой видеопоток производят сжатие видеоизображения. Это позволяет снизить требования к каналам передачи информации, тем самым создать возможность использования способа в малонаселенной местности, не имеющей широкополосных каналов связи.In yet another embodiment of the invention, in the process of converting a video image to a digital video stream, the video image is compressed. This allows you to reduce the requirements for information transmission channels, thereby creating the possibility of using the method in sparsely populated areas that do not have broadband communication channels.
Еще в одном из вариантов осуществления изобретения применяют методы сжатия изображения без ухудшения визуального восприятия.In yet another embodiment of the invention, image compression techniques are employed without compromising visual perception.
Еще в одном из вариантов осуществления изобретения производят непрерывную автоподстройку наводки на резкость оптической части системы регистрации видеоизображения операционного поля. Причем автоподстройку резкости, например, осуществляют с помощью системы трехмерного позиционирования камер относительно операционного поля. Это обеспечивает возможность расширения функциональных возможностей оперирующего хирурга при сохранении качества передаваемого видеоизображения консультирующему специалисту.In yet another embodiment of the invention, automatic focus tuning is performed on the sharpness of the optical part of the operating field video recording system. Moreover, the auto-focus, for example, is carried out using a three-dimensional camera positioning system relative to the surgical field. This provides the opportunity to expand the functionality of the operating surgeon while maintaining the quality of the transmitted video image to the consultant.
Еще в одном из вариантов осуществления изобретения производят непрерывную автоподстройку параллакса оптической части системы регистрации видеоизображения операционного поля. Причем автоподстройку параллакса осуществляют, например, с помощью системы трехмерного позиционирования камер относительно операционного поля. Такая автоподстройка позволяет расширить функциональные возможности оперирующего хирурга при сохранении качества передаваемого видеоизображения консультирующему специалисту.In yet another embodiment of the invention, continuous parallax auto-tuning of the optical part of the operating field video recording system is performed. Moreover, parallax auto-tuning is carried out, for example, using a three-dimensional camera positioning system relative to the surgical field. Such auto-tuning allows you to expand the functionality of the operating surgeon while maintaining the quality of the transmitted video image to the consultant.
Еще в одном из вариантов осуществления изобретения при резких колебаниях освещенности видимого поля производят непрерывную автоподстройку чувствительности электронной части системы регистрации видеоизображения операционного поля в широком динамическом диапазоне. Таким образом, происходит сохранение качества передаваемого видеоизображения консультирующему специалисту при резких колебаниях освещенности видимого поля (например, при пересечении оптической оси инструментом с высокой отражательной способностью).In another embodiment of the invention, with sharp fluctuations in the illumination of the visible field, continuous automatic tuning of the sensitivity of the electronic part of the recording system of the video image of the surgical field in a wide dynamic range is performed. Thus, the quality of the transmitted video image is preserved to the consultant during sharp fluctuations in the illumination of the visible field (for example, when the optical axis is crossed by an instrument with high reflectivity).
Способ также включает возможность для консультирующего специалиста дистанционного плавного масштабирования изображения операционного поля.The method also includes the ability for a consultant to remotely scale the image of the surgical field.
С целью обучения или повышения квалификации хирургов в медицинских учебных заведениях стереоскопическое видеоизображение хода оперативного вмешательства и звуковой поток передают в учебную аудиторию, а также для этих целей стереоскопическое видеоизображение хода оперативного вмешательства и звуковой поток записывают для последующего воспроизведения в качестве учебного материала.For the purpose of training or advanced training of surgeons in medical schools, a stereoscopic video image of the course of the surgical intervention and the sound stream are transmitted to the classroom, and for these purposes, the stereoscopic video image of the course of the surgical intervention and the sound stream are recorded for subsequent playback as educational material.
Пример осуществления способаAn example of the method
1) В операционной.1) In the operating room.
На начальном этапе операции закрепляют миниатюрные метки на краю операционного поля (миниатюрные метки на корпусе видеокамер, встроенных в оголовье (шлем) на голове оперирующего хирурга, закреплены постоянно).At the initial stage of the operation, miniature marks are fixed on the edge of the surgical field (miniature marks on the body of video cameras built into the headband (helmet) on the head of the operating surgeon are permanently fixed).
Размещают в операционной чувствительные элементы системы трехмерного позиционирования таким образом, чтобы они обеспечивали максимальную точность в определении положения меток, но не препятствовали работе хирургической бригады.Sensitive elements of a three-dimensional positioning system are placed in the operating room so that they provide maximum accuracy in determining the position of the marks, but do not interfere with the work of the surgical team.
Включают систему аудио/видеорегистрации, осуществляющую преобразование звука от микрофона оперирующего хирурга и видеоизображения от двух видеокамер в единый цифровой поток и его передачу в систему видео-конференц-связи, а также прием аудиопотока от системы видео-конференц-связи и воспроизведение звука в головном телефоне хирурга.They include an audio / video recording system that converts sound from the microphone of the operating surgeon and video from two cameras into a single digital stream and transfers it to the video conferencing system, as well as receives the audio stream from the video conferencing system and plays sound in the headphone surgeon.
Включают систему трехмерного позиционирования, осуществляющую динамическое определение положения каждой из меток в пространстве, вычисление расстояний и углов и динамическую передачу команд коррекции подсистеме автоподстройки фокуса и параллакса системы аудио/видеорегистрации.They include a three-dimensional positioning system that dynamically determines the position of each of the marks in space, calculates distances and angles, and dynamically transmits correction commands to the auto-focus focus and parallax subsystem of the audio / video recording system.
Включают систему видео-конференц-связи, осуществляющую установление сеанса связи с абонентским оборудованием консультанта, обмен аудио/видеопотоками по каналам связи и динамическую автоподстройку качества передаваемого видеоизображения в соответствии с текущими характеристиками канала связи (шириной полосы пропускания, временем задержки пакетов, аудио- и видеоджиттером).They include a video conferencing system that establishes a communication session with a subscriber’s equipment of the consultant, exchanges audio / video streams over communication channels and dynamically adjusts the quality of the transmitted video image in accordance with the current characteristics of the communication channel (bandwidth, packet delay time, audio and video jitter )
В ходе операции осуществляют передачу аудио/видеопотоков удаленному консультанту и прием аудиопотока от удаленного консультанта.During the operation, the audio / video streams are transferred to the remote consultant and the audio stream is received from the remote consultant.
2) На рабочем месте консультанта.2) At the workplace of a consultant.
Включают систему видеоконференцсвязи и устанавливают сеанс связи с операционной. Включают систему отображения стереоизображения и аудиоподсистему. Включают подсистему удаленного манипулирования камерами хирурга (зуммирования).They turn on the video conferencing system and establish a communication session with the operating room. They include a stereo image display system and an audio subsystem. They include the subsystem of remote manipulation of the surgeon's cameras (zooming).
В ходе операции осуществляют прием аудио/видеопотоков от удаленного хирурга и передачу аудиопотока удаленному хирургу.During the operation, the audio / video streams from the remote surgeon are received and the audio stream is transferred to the remote surgeon.
3) Трансляция и запись3) Broadcast and record
С целью обучения или повышения квалификации хирургов в медицинских учебных заведениях стереоскопическое видеоизображение хода оперативного вмешательства и звуковой поток передают в учебную аудиторию и/или записывают для последующего воспроизведения в качестве учебного материала.For the purpose of training or advanced training of surgeons in medical schools, a stereoscopic video image of the course of surgical intervention and the sound stream are transmitted to the classroom and / or recorded for subsequent playback as educational material.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2013155233/08A RU2565491C2 (en) | 2013-12-12 | 2013-12-12 | Method for remote informational support of surgeon |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2013155233/08A RU2565491C2 (en) | 2013-12-12 | 2013-12-12 | Method for remote informational support of surgeon |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2013155233A RU2013155233A (en) | 2015-06-20 |
| RU2565491C2 true RU2565491C2 (en) | 2015-10-20 |
Family
ID=53433552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2013155233/08A RU2565491C2 (en) | 2013-12-12 | 2013-12-12 | Method for remote informational support of surgeon |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2565491C2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040072134A1 (en) * | 2000-12-28 | 2004-04-15 | Atsushi Takahashi | Remote internet technical guidance/education distribution system using practitioner's vision, and guidance system using communication network |
| US20040070823A1 (en) * | 2002-10-10 | 2004-04-15 | Radna Richard J. | Head-mount recording of three-dimensional stereo video images |
| US20110214153A1 (en) * | 2008-11-07 | 2011-09-01 | Koninklijke Philips Electronics N.V. | Hospital tv/monitor display control with hierarchical access control |
| RU2484805C1 (en) * | 2012-04-13 | 2013-06-20 | Владимир Александрович Казинов | Integrated operating room system |
-
2013
- 2013-12-12 RU RU2013155233/08A patent/RU2565491C2/en active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040072134A1 (en) * | 2000-12-28 | 2004-04-15 | Atsushi Takahashi | Remote internet technical guidance/education distribution system using practitioner's vision, and guidance system using communication network |
| US20040070823A1 (en) * | 2002-10-10 | 2004-04-15 | Radna Richard J. | Head-mount recording of three-dimensional stereo video images |
| US20110214153A1 (en) * | 2008-11-07 | 2011-09-01 | Koninklijke Philips Electronics N.V. | Hospital tv/monitor display control with hierarchical access control |
| RU2484805C1 (en) * | 2012-04-13 | 2013-06-20 | Владимир Александрович Казинов | Integrated operating room system |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2013155233A (en) | 2015-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2903551B1 (en) | Digital system for surgical video capturing and display | |
| EP1552697B1 (en) | Method and apparatus for telepresence | |
| US9729831B2 (en) | Wireless surgical loupe | |
| WO2008040026A3 (en) | Compact ocular fundus camera | |
| CN201375505Y (en) | Medical stereo developing system | |
| US20210221000A1 (en) | Systems and methods for lifesaving trauma stabilization medical telepresence of a remote user | |
| JP2017509925A (en) | 3D video microscope equipment | |
| KR20150074459A (en) | User terminal and control method of thereof | |
| WO2023103954A1 (en) | Video reading method and apparatus, and electronic device and storage medium | |
| CN110913273A (en) | Video live broadcasting method and device | |
| Zhang et al. | Coaxial projective imaging system for surgical navigation and telementoring | |
| US10462428B1 (en) | Video system and method for allowing users, including medical professionals, to capture video of relevant activities and procedures | |
| Ye et al. | Global teleophthalmology with the smartphone for microscopic ocular surgery | |
| JP2006297060A (en) | Microscope for surgery and treatment system equipped with it | |
| US11496662B2 (en) | Image processing apparatus, image processing method, and image pickup system for displaying information associated with an image | |
| RU2565491C2 (en) | Method for remote informational support of surgeon | |
| US20220167083A1 (en) | Signal processing apparatus, signal processing method, program, and directivity variable system | |
| JP7136093B2 (en) | Information processing device, information processing method and information processing program | |
| JP7028183B2 (en) | Management device and management method | |
| CN105100712A (en) | Head-mounted stereo-display microsurgery operation system | |
| WO2018088026A1 (en) | Transmission device, transmission method, and content distribution system | |
| Fedorov et al. | Infocommunication support for surgeons in training, education and professional activities | |
| KR20190015903A (en) | Medical RECORDING AND gateway system using head mount display device and Three Dimension CAMERA | |
| US11523065B2 (en) | Imaging device and gain setting method | |
| EP3648421A1 (en) | Communication system and transmitting device |