RU2816071C1 - Combined intraoperative navigation system using ray tracing ultrasound image generation - Google Patents
Combined intraoperative navigation system using ray tracing ultrasound image generation Download PDFInfo
- Publication number
- RU2816071C1 RU2816071C1 RU2022133999A RU2022133999A RU2816071C1 RU 2816071 C1 RU2816071 C1 RU 2816071C1 RU 2022133999 A RU2022133999 A RU 2022133999A RU 2022133999 A RU2022133999 A RU 2022133999A RU 2816071 C1 RU2816071 C1 RU 2816071C1
- Authority
- RU
- Russia
- Prior art keywords
- ultrasound
- navigation system
- image
- transducer
- data
- Prior art date
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 48
- 210000003484 anatomy Anatomy 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 239000012634 fragment Substances 0.000 claims abstract description 7
- 238000004088 simulation Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract 2
- 238000012545 processing Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 239000003814 drug Substances 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000000034 method Methods 0.000 description 15
- 210000001835 viscera Anatomy 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 4
- 210000004185 liver Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003325 tomography Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000007674 radiofrequency ablation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 208000035269 cancer or benign tumor Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013275 image-guided biopsy Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Abstract
Description
Уровень техники.State of the art.
Ультразвуковое исследование является доступным и безопасным инструментом интраоперационной визуализации анатомических структур. Эта технология используется в комбинации со стереотаксическими системами навигации и алгоритмами отслеживания паттернов фрагмента для навигации при проведении диагностических и хирургических процедур.Ultrasound examination is an accessible and safe tool for intraoperative visualization of anatomical structures. This technology is used in combination with stereotactic navigation systems and fragment pattern tracking algorithms to guide diagnostic and surgical procedures.
Из научно-технической литературы и патентной документации известны патенты ЕР 1758506 В1, ЕР 3332712 А1, RU 2591595 C2, US 20170112465 A1, CN 102266250 B, US 10453360 B2, US 10565900 B2, RU 2688316 C1.From scientific and technical literature and patent documentation, patents EP 1758506 B1, EP 3332712 A1, RU 2591595 C2, US 20170112465 A1, CN 102266250 B, US 10453360 B2, US 10565900 B2, RU 2688316 C1 are known.
Патент ЕР 1758506 В1 (21 мая 2004 г. ), описывает систему навигации на основе 3D-УЗИ для проведения радиочастотной абляции. Данный патент описывает методику объединения в единую систему аппарата РЧА, аппарата УЗИ и различных типов хирургических навигационных систем. Патент описывает общие принципы и является основой для построения ультразвуковой навигационной системы. Его достоинством является применение 3D-УЗИ в интеграции с системой аппарата радиочастотной абляции. Патент содержит описание общих принципов автоматизированной процедуры РЧА и не затрагивая возможность использования для диагностики.Patent EP 1758506 B1 (May 21, 2004) describes a 3D ultrasound-based navigation system for radiofrequency ablation. This patent describes a technique for combining an RFA apparatus, an ultrasound apparatus, and various types of surgical navigation systems into a single system. The patent describes the general principles and is the basis for the construction of an ultrasonic navigation system. Its advantage is the use of 3D ultrasound in integration with the radiofrequency ablation device system. The patent contains a description of the general principles of the automated RFA procedure without affecting the possibility of use for diagnostics.
Похожим на вышеописанный, является патент ЕР 3332712 А1 (7 декабря 2016 г.) Он описывает общие принципы навигации для ультразвукового трансдьюсера. Однако его преимуществом является использование нейронных сетей. Нейронная сеть подготовлена на базе заранее сохраненных и размеченных изображений. Получаемое в реальном времени изображение с ультразвукового аппарата поступает в блок обработки данных, где на основе выбранного внутреннего органа поступают сообщения о корректировке положения трансдьюсера в пространстве, которое позволяет получить более качественное изображение искомой области. Для инерционного определения положения трансдьюсера используются гироскоп и акселерометр. Врач получает информацию о необходимости корректировки положения трансдьюсера путем вибрации самого трансдьюсера.Similar to the one described above is patent EP 3332712 A1 (December 7, 2016). It describes the general principles of navigation for an ultrasonic transducer. However, its advantage is the use of neural networks. The neural network is prepared on the basis of previously saved and labeled images. The image obtained in real time from the ultrasound machine enters the data processing unit, where, based on the selected internal organ, messages are received to adjust the position of the transducer in space, which allows one to obtain a better image of the desired area. A gyroscope and an accelerometer are used to inertially determine the position of the transducer. The doctor receives information about the need to adjust the position of the transducer by vibrating the transducer itself.
Патент RU 2591595 C2 (17 января 2011 г.), описывает систему и способ детектирования размещения иглы при биопсии под контролем изображения. Данная система содержит систему наведения, выполненную с возможностью доставки хирургического устройства в организм субъекта, детектор размещения и устройство регистрации места и времени каждого размещения. Мониторинг положения осуществляется путем применения устройства пространственного отслеживания, установленного на биопсийной игле. Данная система специализируется на лечении рака простаты, что ограничивает ее применение в области лечения других заболеваний.Patent RU 2591595 C2 (January 17, 2011), describes a system and method for detecting needle placement during image-guided biopsy. This system contains a guidance system configured to deliver a surgical device into the body of a subject, a placement detector, and a device for recording the location and time of each placement. Position monitoring is accomplished by using a spatial tracking device mounted on the biopsy needle. This system specializes in the treatment of prostate cancer, which limits its application in the treatment of other diseases.
Патент US 20170112465 A1 (22 ноября 2007 г.), описывает систему и методы контроля положения иглы для безопасной и точной биопсии. Данные методы основаны на построении трехмерной модели области тела, позволяя избежать попадания иглы в сосуды внутреннего органа. Построение траектории ввода иглы осуществляется вручную оператором. Важной особенностью системы является использование Допплеровского трансдьюсера с возможностью получения данных о наличии кровотока, что позволяет локализовать сосуды внутренних органов. Авторы также отмечают возможность применения системы не только для биопсии, но и для радиочастотной абляции.US Patent 20170112465 A1 (November 22, 2007), describes a system and methods for controlling needle position for safe and accurate biopsy. These methods are based on constructing a three-dimensional model of the body area, allowing you to avoid the needle getting into the vessels of the internal organ. The needle insertion trajectory is constructed manually by the operator. An important feature of the system is the use of a Doppler transducer with the ability to obtain data on the presence of blood flow, which makes it possible to localize the vessels of internal organs. The authors also note the possibility of using the system not only for biopsy, but also for radiofrequency ablation.
Патент CN 102266250 B (19 июля 2011 г.), описывает ультразвуковую навигационную систему, в которой положение трансдьюсера определяется с помощью магнитных маркеров, позволяя отслеживать положение инструмента в реальном масштабе времени.Patent CN 102266250 B (July 19, 2011), describes an ultrasonic navigation system in which the position of the transducer is determined using magnetic markers, allowing the position of the instrument to be tracked in real time.
Недостатками приведенных выше патентов является отсутствие возможности совмещения изображений, полученных с помощью различных методов диагностики, таких как, например, компьютерная томография и ультразвуковое исследование.The disadvantages of the above patents are the inability to combine images obtained using various diagnostic methods, such as, for example, computed tomography and ultrasound.
Также необходимо отметить и следующие патенты, в рамках, используемых в изобретении технологий: US 10453360 B2, US 10565900 B2.It is also necessary to note the following patents, within the framework used in the invention of technologies: US 10453360 B2, US 10565900 B2.
Патент US 10453360 B2 (18 октября 2018 г.), описывает методы симуляции ультразвукового изображения для виртуальной и дополненной реальности, его особенностью является учет деформации от давления трансдьюсера.Patent US 10453360 B2 (October 18, 2018) describes methods for simulating ultrasound images for virtual and augmented reality, its feature is that it takes into account deformation from transducer pressure.
В свою очередь патент US 10565900 В2 (8 марта 2018 г.), описывает стохастические методы трассировки лучей для создания реалистичной картины ультразвукового изображения. Симулированное изображение создается на базе трехмерной модели органа, описания его поверхности и библиотеки отражений светового потока.In turn, US patent 10565900 B2 (March 8, 2018) describes stochastic ray tracing methods for creating a realistic ultrasound image. The simulated image is created based on a three-dimensional model of the organ, a description of its surface and a library of light flux reflections.
В качестве ближайшего аналога изобретения выбран патент RU 2688316 C1 (20 декабря 2013 г.), который описывает систему и способ для отслеживания проникающего инструмента. Данная система относится к системам наведения медицинских инструментов и предназначена для проведения биопсии внутренних органов. Особенностью системы является возможность улучшения процесса диагностики и лечения за счет наложения изображений из различных устройств - система оснащена запоминающим устройством, в которое входит модуль наложения изображений. Данный модуль работает в реальном времени, при этом наложенных изображений может быть больше, чем одно. Кроме того, система имеет модуль трехмерной реконструкции, выполненный с возможностью реконструировать объем трехмерного изображения целевой области из упомянутого одного или более двумерных изображений. Однако применение системы, по словам авторов, затруднено из-за существенного расхода игл с электромагнитным наконечником. Также авторы отмечают очень большое время настройки, что снижает адаптацию этой технологии.Patent RU 2688316 C1 (December 20, 2013) was chosen as the closest analogue of the invention, which describes a system and method for tracking a penetrating tool. This system belongs to the guidance systems of medical instruments and is intended for performing biopsies of internal organs. A special feature of the system is the ability to improve the diagnostic and treatment process by overlaying images from various devices - the system is equipped with a storage device, which includes an image overlay module. This module works in real time, and there can be more than one overlaid image. In addition, the system has a three-dimensional reconstruction module configured to reconstruct a three-dimensional image volume of a target area from said one or more two-dimensional images. However, the use of the system, according to the authors, is difficult due to the significant consumption of needles with an electromagnetic tip. The authors also note a very long setup time, which reduces the adaptation of this technology.
Все представленные выше решения позволяют решать задачи диагностики и лечения, однако, обладают существенным недостатком - невозможностью одновременного отслеживания нескольких предварительно сегментированных анатомических структур. Для некоторых систем это связано со специализацией на диагностике и лечении определенных внутренних органов, для некоторых - методикой, основанной на отслеживании положения медицинского инструмента, оставляя задачу определения точки прицеливания и контроля траектории в поле деятельности медицинского персонала.All the solutions presented above allow solving diagnostic and treatment problems, however, they have a significant drawback - the inability to simultaneously track several pre-segmented anatomical structures. For some systems, this is due to specialization in the diagnosis and treatment of certain internal organs, for some - a technique based on tracking the position of a medical instrument, leaving the task of determining the aiming point and trajectory control in the field of activity of medical personnel.
Раскрытие изобретения.Disclosure of the invention.
Предлагаемое изобретение направлено на решение задачи определения и визуализации в графическом виде количественных данных о положении в пространстве анатомических структур при ультразвуковом исследовании, используя комбинацию методов сегментации томографических изображений, симуляции ультразвуковых изображений, стереотаксической навигации, а также алгоритмы отслеживания паттернов фрагмента.The present invention is aimed at solving the problem of determining and graphically visualizing quantitative data on the position in space of anatomical structures during ultrasound examination, using a combination of tomographic image segmentation methods, ultrasound image simulation, stereotactic navigation, as well as fragment pattern tracking algorithms.
Общая структура элементов, необходимых для функционирования системы навигации показана на фигуре 1. Ее основой являются УЗИ-аппарат 10 и стереотаксическая навигационная система 15. Маркеры стереотаксической навигационной системы 17 закреплены на трансдьюсере 11 с плоскостью сканирования 13. Воксельная модель пациента построенная на базе компьютерной или магнитно-резонансной томографии 16 сведена в системе координат референсной рамки 14 стереотаксической системы навигации 15. Сервер обработки данных 18 соединен с стереотаксической системой навигации 15 и с УЗИ-аппаратом 10 посредством устройства видео-захвата 12. Результаты работы системы выводятся на устройство визуализации 19.The general structure of the elements necessary for the operation of the navigation system is shown in Figure 1. Its basis is the ultrasound machine 10 and the stereotactic navigation system 15. The markers of the stereotactic navigation system 17 are mounted on the transducer 11 with the scanning plane 13. The voxel model of the patient is built on the basis of a computer or magnetically -resonance tomography 16 is combined in the coordinate system of the reference frame 14 of the stereotactic navigation system 15. The data processing server 18 is connected to the stereotactic navigation system 15 and to the ultrasound machine 10 via a video capture device 12. The results of the system are displayed on the visualization device 19.
Последовательность действий, выполняемых системой в процессе своего функционирования показана на фигуре 2. В начале осуществляется загрузка результатов компьютерной или магнитно-резонансной томографии 16 в систему. Возможна загрузка данных с внешних носителей, по сети, либо из PACS-сервера. На полученных вексельных данных сегментируются структуры, которые представляют интерес в рамках проведения операции. Далее с помощью стереотаксической системы навигации выполняется приведение в единую систему координат референсной рамки 14 стереотаксической системы навигации 15, трансдьюсера 11. Для этого оптические маркеры размещаются на устройствах крепления трансдьюсера. С помощью стереотаксической системы навигации происходит регистрация текущего положения операционного участка пациента и трансдьюсера. Это позволяет отслеживать их относительное положение в системе координат стереотаксической системы навигации. Положение и ориентация трансдьюсера в системе координат референсной рамки 14 позволяет получить данные о положении и ориентации плоскости сканирования трансдьюсера. Выполняется формирование в плоскости сканирования трансдьюсера нужного среза воксельных данных, предварительно полученных с помощью компьютерной или магнитно-резонансной томографии, и совмещение двух изображений - ультразвукового и томограммы.The sequence of actions performed by the system during its operation is shown in Figure 2. First, the results of computer or magnetic resonance imaging 16 are loaded into the system. It is possible to download data from external media, over the network, or from a PACS server. Based on the obtained bill of exchange data, structures that are of interest within the framework of the operation are segmented. Next, using the stereotactic navigation system, the reference frame 14 of the stereotactic navigation system 15 and the transducer 11 are brought into a single coordinate system. For this purpose, optical markers are placed on the transducer mounting devices. Using a stereotactic navigation system, the current position of the patient's surgical site and the transducer is recorded. This allows their relative position to be tracked in the stereotactic navigation system's coordinate system. The position and orientation of the transducer in the coordinate system of the reference frame 14 allows one to obtain data on the position and orientation of the scanning plane of the transducer. The required slice of voxel data, previously obtained using computed tomography or magnetic resonance imaging, is formed in the scanning plane of the transducer, and two images are combined - ultrasound and tomogram.
На фигуре 3 показана схема определения положения анатомических структур. Медицинский персонал выбирает необходимое положение трансдьюсера 11 в пространстве таким образом, чтобы иметь возможность наблюдать на ультразвуковом видеоизображении 33 интересующую структуру 39. При этом при каждом изменении положения трансдьюсера 11 происходит перерасчет данных среза томограммы 32, для осуществления совмещения двух изображений. Медицинский персонал имеет возможность на соответствующем срезе томограммы наблюдать сегментированные анатомические структуры 31 (новообразования, сосуды и т.д.), осуществлять выбор до 5 интересующих структур, на основе координат в пространстве изображения которых, автоматически выделяется зона 30 на срезе томограммы для инициализации алгоритма отслеживания.Figure 3 shows a diagram for determining the position of anatomical structures. Medical personnel select the required position of the transducer 11 in space in such a way as to be able to observe the structure of interest 39 on the ultrasound video image 33. In this case, with each change in the position of the transducer 11, the data from the tomogram slice 32 is recalculated to combine the two images. Medical personnel have the opportunity to observe segmented anatomical structures 31 (neoplasms, vessels, etc.) on the corresponding tomogram slice, select up to 5 structures of interest, based on the coordinates in the image space of which, zone 30 is automatically selected on the tomogram slice to initialize the tracking algorithm .
С помощью компонента системы, ответственного за симуляцию ультразвукового изображения происходит процесс преобразования воксельных данных томограммы. Имеющиеся координаты, ограничивающие искомую зону на текущем срезе томограммы, используются для выделения области, которая будет подвержена симуляции изображения. Все воксели, находящиеся в пределах этой зоны, поступают на вход модулю генерации ультразвукового изображения.With the help of the system component responsible for simulating the ultrasound image, the process of converting the voxel data of the tomogram occurs. The existing coordinates that limit the desired area on the current tomogram slice are used to select the area that will be subject to image simulation. All voxels located within this zone are input to the ultrasound image generation module.
Полученная воксельная модель 34 искомой зоны ориентируется согласно положению в пространстве ультразвукового трансдьюсера 11 и отрисовывается с помощью технологии трассировки лучей. Далее полученное изображение 35 подвергается искусственному зашумлению по алгоритму Кена Перлина и размытию по алгоритмам размытия движения, что позволяет добиться реалистичной симуляции ультразвукового изображения, добавляя искусственные артефакты на сгенерированное изображение.The resulting voxel model 34 of the desired zone is oriented according to the position in space of the ultrasonic transducer 11 and drawn using ray tracing technology. Next, the resulting image 35 is subjected to artificial noise using the Ken Perlin algorithm and blurring using motion blur algorithms, which makes it possible to achieve a realistic simulation of an ultrasound image by adding artificial artifacts to the generated image.
Симулированное ультразвуковое изображение 36 используется для инициализации системы отслеживания паттернов на ультразвуковом видеоизображении 37. Ввиду того, что данный процесс является затратным с точки зрения вычислительных ресурсов, зона поиска на последующем кадре, на котором будет происходить поиск, должна быть ограничена. Погрешности сведения, а также естественные процессы в организме человека, такие как дыхание, приводят к смещению внутренних органов и, как следствие, искомой зоны. Задавая потенциальную максимальную амплитуду смещения объекта между кадрами, становится возможным ограничить область 38, в которой искомый объект может находиться на следующем кадре. Возможна как работа нескольких алгоритмов отслеживания, каждый из которых имеет свой весовой коэффициент, так и работа одного - при этом его весовой коэффициент равен 1, а коэффициенты остальных равняются нулю. Для экономии времени обработки алгоритмы с нулевым весовым коэффициентом не инициализируются и не исполняются. После расчета итогового положения анатомической структуры в системе координат референсной рамки стереотаксической системы навигации, данные обрабатываются и представляются медицинскому персоналу в графическом виде.The simulated ultrasound image 36 is used to initialize the pattern tracking system on the ultrasound video image 37. Because this process is computationally expensive, the search area in the subsequent frame on which the search will occur must be limited. Information errors, as well as natural processes in the human body, such as breathing, lead to displacement of internal organs and, as a consequence, the desired zone. By specifying the potential maximum amplitude of object displacement between frames, it becomes possible to limit the area 38 in which the object of interest may be located in the next frame. It is possible to operate several tracking algorithms, each of which has its own weight coefficient, or to operate one - with its weight coefficient equal to 1, and the coefficients of the others equal to zero. To save processing time, zero-weight algorithms are not initialized or executed. After calculating the final position of the anatomical structure in the coordinate system of the reference frame of the stereotactic navigation system, the data is processed and presented to medical personnel in graphical form.
Задача изобретения - определение и визуализация в графическом виде количественных данных о положении в пространстве анатомических структур при ультразвуковом исследовании в том числе для осуществления навигации при роботизированных операциях.The objective of the invention is to determine and visualize in graphical form quantitative data on the position in space of anatomical structures during ultrasound examination, including for navigation during robotic operations.
Технический результат - получение количественных данных о положении в пространстве анатомических структур при ультразвуковом исследовании и представление этих данных в графическом виде для медицинского персонала.The technical result is obtaining quantitative data on the position in space of anatomical structures during ultrasound examination and presenting this data in graphical form for medical personnel.
Поставленная задача решается, а заявленный технический результат достигается при помощи обнаружения на интраоперационном ультразвуковом видеоизображении алгоритмом отслеживания паттернов фрагмента симулированного ультразвукового изображения искомой анатомической структуры, полученного на основе заранее сегментированного томографического изображения, совмещенного с плоскостью сканирования ультразвукового трансдьюсера.The stated problem is solved, and the stated technical result is achieved by detecting on an intraoperative ultrasound video image, by a pattern tracking algorithm, a fragment of a simulated ultrasound image of the desired anatomical structure, obtained on the basis of a pre-segmented tomographic image combined with the scanning plane of the ultrasound transducer.
Заявленное техническое решение позволяет, в отличие от ближайшего аналога (прототипа), определять на ультразвуковом видеоизображении положение до 5 заранее сегментированных на воксельных данных компьютерной, либо магнитно-резонансной томографии анатомических структур, а также визуализировать их положение. Результат работы системы в виде определенных координат искомой зоны может быть использован в других системах, например, в системе управления роботизированным манипулятором с целью автоматизированной коррекции движения медицинских инструментов.The claimed technical solution allows, in contrast to the closest analogue (prototype), to determine on an ultrasound video image the position of up to 5 anatomical structures pre-segmented on voxel data of computer or magnetic resonance imaging, as well as to visualize their position. The result of the system’s operation in the form of certain coordinates of the desired zone can be used in other systems, for example, in a control system for a robotic manipulator for the purpose of automated correction of the movement of medical instruments.
Краткое описание чертежей.Brief description of the drawings.
Фигура 1. Общая структура элементов, необходимых для функционирования системы.Figure 1. General structure of the elements necessary for the functioning of the system.
Фигура 2. Последовательность действий, выполняемых системой в процессе своего функционирования.Figure 2. Sequence of actions performed by the system during its operation.
Фигура 3. Схема определения положения анатомических структур.Figure 3. Scheme for determining the position of anatomical structures.
Фигура 4. Пользовательский интерфейс программного обеспечения.Figure 4. User interface of the software.
Фигура 5. Фото испытательного стенда системы.Figure 5. Photo of the system test bench.
Позиции, приведенные на изображениях, соответствуют следующему:The items shown in the images correspond to the following:
10 - УЗИ-аппарат10 - Ultrasound machine
11 - трансдьюсер11 - transducer
12 - устройство видео-захвата12 - video capture device
13 - плоскость сканирования13 - scanning plane
14 - референсная рамка стереотаксической системы навигации14 - reference frame of the stereotactic navigation system
15 - стереотаксическая система навигации15 - stereotactic navigation system
16 - воксельная модель на основе данных томографии16 - voxel model based on tomography data
17 - маркеры стереотаксической системы навигации17 - markers of the stereotactic navigation system
18 - сервер обработки данных18 - data processing server
19 - устройство визуализации19 - visualization device
30 - зона интереса30 - area of interest
31 - сегментированные анатомические структуры31 - segmented anatomical structures
32 - перерасчет данных среза томограммы32 - recalculation of tomogram slice data
33 - ультразвуковое видеоизображение33 - ultrasonic video image
34 - воксельная модель искомой структуры34 - voxel model of the desired structure
35 - зашумление и размытие симулированного изображения35 - noise and blurring of the simulated image
36 - результирующее симулированное изображение36 - resulting simulated image
37 - модуль видеоотслеживания37 - video tracking module
38 - ограничение зоны поиска38 - search area limitation
39 - интересующая анатомическая структура39 - anatomical structure of interest
40 - фантом внутреннего органа40 - internal organ phantom
41 - окно томограммы41 - tomogram window
42 - окно сегментации42 - segmentation window
43 - сегментированная анатомическая структура43 - segmented anatomical structure
44 - ориентация анатомической структуры44 - orientation of the anatomical structure
45 - слой ультразвукового видеоизображения45 - ultrasonic video image layer
46 - слой воксельных данных томографии46 - voxel tomography data layer
47 - ультразвуковое изображение в реальном времени47 - real-time ultrasound image
48 - выбранная сегментированная анатомическая структура48 - selected segmented anatomical structure
49 - плоскость сканирования трансдьюсера49 - transducer scanning plane
Осуществление изобретения.Implementation of the invention.
Для подтверждения возможности использования и работоспособности изобретения была проведена его имплементация в виде испытательного стенда, фотография которого показана на фигуре 5.To confirm the possibility of use and performance of the invention, its implementation was carried out in the form of a test bench, a photograph of which is shown in Figure 5.
В качестве элементов системы использовалось следующее оборудование:The following equipment was used as elements of the system:
1.1 УЗИ-аппарат Philips Affiniti 50.1.1 Philips Affiniti 50 ultrasound machine.
1.2 Стереотаксическая система навигации Мультитрек.1.2 Stereotactic navigation system Multitrack.
1.3 Сервер Dell (Intel Xeon Е, 3.3 ГГц, ОЗУ 16 ГБ).1.3 Dell server (Intel Xeon E, 3.3 GHz, 16 GB RAM).
Для подтверждения работоспособности изобретения был проведен эксперимент.Для этого использовался силиконовый фантом печени с пятью имитаторами новообразований диаметром 16 мм, позволяющий проводить визуализацию как при помощи компьютерной томографии, так и с помощью УЗИ-аппарата. Также в фантоме предусмотрена возможность имитации движения диафрагмы для обеспечения анатомически корректной деформации печени. При помощи компьютерного томографа Definition AS 128 (Siemens) были получены DICOM-изображения данного фантома, после чего фантом был размещен на операционном столе в комнате, симулирующей операционное помещение. В этом помещении также была размещена стереотаксическая система навигации Мультитрек, позволяющая определять координаты объектов, снабженных оптическими маркерами.To confirm the efficiency of the invention, an experiment was carried out. For this purpose, a silicone liver phantom was used with five tumor simulators with a diameter of 16 mm, which allows visualization using both computed tomography and an ultrasound machine. The phantom also has the ability to simulate the movement of the diaphragm to ensure an anatomically correct liver deformation. Using a Definition AS 128 computed tomograph (Siemens), DICOM images of this phantom were obtained, after which the phantom was placed on the operating table in a room simulating an operating room. This room also housed the Multitrack stereotactic navigation system, which makes it possible to determine the coordinates of objects equipped with optical markers.
С помощью маркеров стереотаксической системы навигации были сведены в единую систему координат трансдьюсер ультразвукового аппарата и фантом печени.Using the markers of the stereotactic navigation system, the transducer of the ultrasound machine and the liver phantom were combined into a single coordinate system.
На сервере была установлена плата видео-захвата, подключенная к цифровому видеовыходу УЗИ-аппарата. Полученное изображение в реальном времени с частотой 30 кадров в секунду поступало на вход программы обработки медицинских данных.A video capture card was installed on the server, connected to the digital video output of the ultrasound machine. The resulting image in real time with a frequency of 30 frames per second was input to the medical data processing program.
Для проведения эксперимента было разработано программное обеспечение, реализующее всю последовательность обработки данных. Первый модуль программного обеспечения принимал на вход данные о положении в пространстве трансдьюсера и выполнял преобразования предварительно проведенной компьютерной томографии. На основе сведения фантома печени в системе координат референсной рамки стереотаксической системы навигации и данных о текущем положении плоскости сканирования трансдьюсера, осуществлялся выбор нужного среза DICOM-изображения, для чего использовались открытые библиотеки VTK и ГТК. Данная процедура повторялась на каждом такте работы стереотаксической системы навигации.To conduct the experiment, software was developed that implements the entire sequence of data processing. The first software module received data on the position in space of the transducer as input and performed transformations of the previously performed computed tomography. Based on the information of the liver phantom in the coordinate system of the reference frame of the stereotactic navigation system and data on the current position of the transducer scanning plane, the desired slice of the DICOM image was selected, for which the open libraries VTK and GTK were used. This procedure was repeated at each step of the stereotactic navigation system.
Результат работы первого модуля передавался во второй модуль - модуль наложения изображения, после чего медицинский персонал наблюдал совмещенную картину ультразвукового исследования в реальном времени и предварительно осуществленной компьютерной томографии. Сегментированные на компьютерной томограмме анатомические структуры: пять имитаторов новообразований, представлялись для выбора врачу. При выборе той или иной сегментированной структуры на базе ее граничных координат определялась зона поиска. Все данные томографии, попавшие в эту зону, передавались на вход модулю симуляции ультразвукового изображения. Осуществлялась отрисовка двумерного изображения с использованием технологии трассировки лучей. Для реалистичности полученное изображение было зашумлено по алгоритму Перлина, после чего подверглось размытию движения. Получившаяся картинка была отправлена на вход третьему модулю - модулю отслеживания. Основой данного модуля на этапе эксперимента служила открытая библиотека OpenCV, дающая возможность интеграции в прикладное программное обеспечение алгоритмов отслеживания. В качестве входных данных для модуля отслеживания использовалось симулированное ультразвуковое изображение выбранного сегмента анатомической структуры (новообразования), а поступающее в реальном времени изображение с ультразвукового аппарата - для поиска паттерна. Отслеживание паттернов сегментированных структур проводилась комбинацией алгоритмов CSRT и KCF из библиотеки OpenCV.The result of the first module was transferred to the second module - the image overlay module, after which medical personnel observed a combined picture of real-time ultrasound and previously performed computed tomography. Anatomical structures segmented on a computed tomogram: five simulators of neoplasms were presented to the doctor for selection. When selecting one or another segmented structure, the search zone was determined based on its boundary coordinates. All tomography data that fell into this zone were transmitted to the input of the ultrasound image simulation module. A two-dimensional image was rendered using ray tracing technology. For realism, the resulting image was noisy using the Perlin algorithm, and then subjected to motion blur. The resulting image was sent as input to the third module - the tracking module. At the experimental stage, this module was based on the OpenCV open library, which makes it possible to integrate tracking algorithms into application software. A simulated ultrasound image of a selected segment of an anatomical structure (neoplasm) was used as input to the tracking module, and a real-time image from an ultrasound machine was used to search for a pattern. Pattern tracking of segmented structures was carried out using a combination of CSRT and KCF algorithms from the OpenCV library.
Пользовательский интерфейс программного обеспечения представлен на фигуре 4, состоит из окна трехмерной сцены, на которой отображается воксельная структура, полученная с помощью компьютерной томографии фантома 40, динамически срезаемая в плоскости сканирования модели трансдьюсера 49. На данном срезе в реальном времени отображается ультразвуковое видеоизображение 47 и выбранная сегментированная анатомическая структура 48. В окне совмещения срезов отображается ультразвуковое видеоизображение 45 с наложенным соответствующим срезом воксельных данных 46, а также положение выбранной сегментированной анатомической структуры 43 на срезе воксельных данных и ее найденное алгоритмами отслеживания паттернов положение 44. В окне томограммы 41 отображаются срезы компьютерной томографии фантома, а в окне сегментации 42 выбранная воксельная сегментированная анатомическая структура.The user interface of the software is shown in figure 4, consists of a three-dimensional scene window, which displays the voxel structure obtained using computed tomography of the phantom 40, dynamically sliced in the scanning plane of the transducer model 49. This slice displays in real time the ultrasound video image 47 and the selected segmented anatomical structure 48. The slice alignment window displays the ultrasound video image 45 with the corresponding voxel data slice 46 superimposed, as well as the position of the selected segmented anatomical structure 43 on the voxel data slice and its position 44 found by pattern tracking algorithms. The tomogram window 41 displays computed tomography slices phantom, and in the segmentation window 42 the selected voxel segmented anatomical structure.
Библиографические данные (список источников)Bibliographic data (list of sources)
1. ЕР 1758506 В11. EP 1758506 B1
2. ЕР 3332712 А12. EP 3332712 A1
3. RU 2591595 C23. RU 2591595 C2
4. US 20170112465 A14. US 20170112465 A1
5. CN 102266250 В5.CN 102266250V
6. US 10453360 B26. US 10453360 B2
7. US 10565900 B27. US 10565900 B2
8. RU 2688316 C18. RU 2688316 C1
Claims (6)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2816071C1 true RU2816071C1 (en) | 2024-03-26 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108135580A (en) * | 2015-08-28 | 2018-06-08 | Eth苏黎世公司 | Hand-held medical ultrasonic device and the system for determining faultage image |
| CN111870344A (en) * | 2020-05-29 | 2020-11-03 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | Preoperative navigation method, system and terminal equipment |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108135580A (en) * | 2015-08-28 | 2018-06-08 | Eth苏黎世公司 | Hand-held medical ultrasonic device and the system for determining faultage image |
| CN111870344A (en) * | 2020-05-29 | 2020-11-03 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | Preoperative navigation method, system and terminal equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11547499B2 (en) | Dynamic and interactive navigation in a surgical environment | |
| JP4490442B2 (en) | Method and system for affine superposition of an intraoperative 2D image and a preoperative 3D image | |
| US10580325B2 (en) | System and method for performing a computerized simulation of a medical procedure | |
| JP2022507622A (en) | Use of optical cords in augmented reality displays | |
| JP4421016B2 (en) | Medical image processing device | |
| CN110120095A (en) | System and method for using the partial 3 d volumetric reconstruction of standard fluorescence mirror | |
| JP2019517291A (en) | Image-based fusion of endoscopic and ultrasound images | |
| JP6559532B2 (en) | Real-time simulation of fluoroscopic images | |
| CN110432986B (en) | System and method for constructing virtual radial ultrasound images from CT data | |
| JP2001218765A (en) | Method and system for visualizing object | |
| US20070118100A1 (en) | System and method for improved ablation of tumors | |
| CN109674533B (en) | Operation navigation system and method based on portable color ultrasound equipment | |
| JP7164345B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING PROGRAM | |
| JP2023512139A (en) | Systems and methods for determining radiation parameters | |
| JP6637781B2 (en) | Radiation imaging apparatus and image processing program | |
| JP6806655B2 (en) | Radiation imaging device, image data processing device and image processing program | |
| Nagelhus Hernes et al. | Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives | |
| CN113796960B (en) | Catheter navigation device, apparatus and storage medium | |
| US20230316550A1 (en) | Image processing device, method, and program | |
| Vogt | Real-Time Augmented Reality for Image-Guided Interventions | |
| RU2816071C1 (en) | Combined intraoperative navigation system using ray tracing ultrasound image generation | |
| JP7172086B2 (en) | Surgery simulation device and surgery simulation program | |
| EP1697903B1 (en) | Method for the computer-assisted visualization of diagnostic image data | |
| JP6703470B2 (en) | Data processing device and data processing method | |
| US11657547B2 (en) | Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system |