JP2019005095A - 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム - Google Patents
遠隔支援システム、情報提示システム、表示システムおよび手術支援システム Download PDFInfo
- Publication number
- JP2019005095A JP2019005095A JP2017122771A JP2017122771A JP2019005095A JP 2019005095 A JP2019005095 A JP 2019005095A JP 2017122771 A JP2017122771 A JP 2017122771A JP 2017122771 A JP2017122771 A JP 2017122771A JP 2019005095 A JP2019005095 A JP 2019005095A
- Authority
- JP
- Japan
- Prior art keywords
- image
- support
- projection
- unit
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001356 surgical procedure Methods 0.000 title claims description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 52
- 238000012937 correction Methods 0.000 claims abstract description 36
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 239000003550 marker Substances 0.000 claims description 89
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000919 ceramic Substances 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
- H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
- H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
- H04N1/00082—Adjusting or controlling
- H04N1/00087—Setting or calibrating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00095—Systems or arrangements for the transmission of the picture signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Overhead Projectors And Projection Screens (AREA)
Abstract
【手段】
撮像部13による撮像画像は、送信画像送信手段18によって支援側装置30に送信される。受信された撮像画像は撮像画像表示部24に表示される。支援者は、撮像画像表示部24の画面を見ながら、支援画像入力部26を操作し、撮像画像中のスイッチ4cの周囲を取り囲むように丸印を描画する。当該支援画像(丸印の画像)は作業側装置10に送信される。支援画像受信手段20は、これを受信し、補正手段16は、推定した位置関係に基づいて、投影部12が支援画像データが歪みなく、スイッチ4cの周りに正しく表示されるように補正する。このようにして、支援者の意図する支援画像が、作業側においてリアルタイムに投影されるようにすることができる。
【選択図】 図1
Description
前記作業側装置は、可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、送信部により、前記撮像画像を前記支援側装置に送信する撮像画像送信手段と、可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部と、前記撮像画像に含まれる前記作業対象領域に設けられたマーカの画像または前記撮像画像に含まれる前記作業対象領域の特徴点に基づいて、あるいはその双方に基づいて、前記作業対象領域の所定部位を基準として前記支援画像が表示されるように前記支援画像データを補正する補正手段とを備え、
前記支援側装置は、受信部により、送信されてきた撮像画像を受信する撮像画像受信手段と、受信した撮像画像を表示する撮像画像表示部と、表示部に表示された撮像画像上で、作業対象領域の所望の位置に支援画像を入力する支援画像入力部と、送信部により、撮像画像上の位置を特定した支援画像データを前記作業側装置に送信する支援画像送信手段とを備えたことを特徴としている。
1.1システムの機能構成
図1に、この発明の一実施形態によるナビゲーションシステムの機能構成を示す。ここでは、機器の調整や修理に訪れた作業者に対して、遠隔にいる支援者が、作業の支援を行う場合について説明する。
図2に、作業側装置であるウエアラブルコンピュータ52を装着した作業者50を示す。作業者50は、修理や保守などの作業対象である機器9の前に到着すると、首にウエアラブルコンピュータ52を装着する。
図6に、遠隔支援処理における、作業側プログラム70と支援側プログラム96のフローチャートを示す。
(1)上記実施形態では、マーカ6の撮像画像を用いてレーザプロジェクタ12(カメラ13)と投影対象(マーカ6)との位置関係を推定するようにしている。しかし、マーカを用いずに、画像中の各特徴点との距離を深度センサや距離センサ等によって計測し、レーザプロジェクタ12(カメラ13)と投影対象の位置関係を推定するようにしてもよい。また、画像の特徴点との距離を深度センサや距離センサ等によって計測し、その特徴点の移動をオプチカルフローなどによって判断して、前記位置関係を推定するようにしてもよい。
2.1システムの機能構成
図14に、この発明の一実施形態によるナビゲーションシステムの機能構成を示す。ここでは、医師などが手術を行う際に、ナビゲーションを行う場合について説明する。
図15に、医師による手術支援システム11の使用状態を示す。手術台の上に患者が横たわっており、覆布100がかけられている。覆布100の一部には、開口部102が設けられ、患部が見えるようになっている。この患部のレントゲン写真を撮像するためのレントゲン撮像装置13が設けられている。また、ほぼ同じ位置に、同じ方向を向いて、患部に対して投影を行うレーザプロジェクタ12が設けられている。さらに、通常のカメラ15が設けられている。なお、通常のカメラ15は、少なくとも患部が撮像できることが必要であり、レントゲン撮像装置13やレーザプロジェクタ12と同じ位置・方向であることが好ましい。
手術や処置を行う際に、手術台100の上に横たわった患者の患部に複数のマーカMを貼り付ける。たとえば、大腿骨の手術を行う場合、大腿骨周辺の皮膚表面にマーカMを貼り付ける。この実施形態では、マーカMとして、レントゲン画像としてその他の部分と認識可能な材質(セラミックなど)を用いている。また、この実施形態では、第1の実施形態とは異なり、マーカMとして複数の特徴点が認識可能なものではなく、全体を一つの特徴点として認識するためのものを用いている。したがって、複数のマーカM(少なくとも3つ)を用いることが必要である。
(1)上記実施形態では、マーカMを複数個患部に貼り付け、このレントゲン画像に基づいて、投影画像を修正するようにしている。しかし、特徴点の複数個ある1つのマーカM(第1の実施形態におけるマーカ6)を用いるようにしてもよい。マーカMの各特徴点のレントゲン画像上の位置が、実際のマーカMの特徴点に合致するように、投影画像を修正する。
3.1システムの機能構成
図18に、この発明の一実施形態によるナビゲーションシステム27の機能構成を示す。投影対象2は、たとえば機器のパネルなどである。図18に示す例では、投影対象2である機器のパネルには、コネクタ5aやLED表示器5bなどが設けられている。この実施形態では、マーカは設けられていない。ここでは、作業者に対して、パネルに設けられているコネクタなどの説明をナビゲーションする場合の動作について説明する。
図19に、作業側装置であるウエアラブルコンピュータ52を装着した作業者50を示す。作業者50は、修理や保守などの作業対象である機器9の前に到着すると、首にウエアラブルコンピュータ52を装着する。
図20に、支援プログラム71のフローチャートを示す。ウエアラブルコンピュータ52のCPU60(以下、ウエアラブルコンピュータ52と省略することがある)は、カメラ13の画像を取得する(ステップS61)。ウエアラブルコンピュータ52は、このカメラ画像を2値化し、クラスタリングを行って要素画像に分割する(ステップS62)。したがって、カメラ画像中から、パネルにあるスイッチ、コネクタ、表示器、つまみ、ボタンなどの要素画像を抽出することができる。
(1)上記実施形態では、複数の要素に対して同時に支援画像(説明画像)を表示するようにしている。しかし、カメラ画像の最も中心に近い位置にある要素に対してのみ支援画像(説明画像)を表示するようにしてもよい。この場合、支援画像をまとめて一つ支援画像にする必要はない。
4.1システムの機能構成
図22に、この発明の第4の実施形態による表示システムの機能構成を示す。撮像部13は投影対象2を撮像する。投影対象2には、柱33による凹凸があり、上部には模様31が描かれている。補正手段16は、撮像画像に基づいて、模様がなく平坦な部分を見いだす。さらに、投影画像が当該平坦で模様のない部分に表示されるように、投影画像データを補正する。投影部12は、補正された投影画像データを投影する。
ウエアラブルコンピュータ52の外観は図3に示すとおりである。また、ハードウエア構成は、図4に示すとおりである。なお、不揮発性メモリ66には、表示プログラム73が記録されている。
図23に、表示プログラム73のフローチャートを示す。ウエアラブルコンピュータ52のCPU60(以下、ウエアラブルコンピュータ52と省略することがある)は、カメラ13の画像を取得する(ステップS71)。次に、撮像画像に基づいて、平坦で模様の無い部分を決定する(ステップS72)。たとえば、これは、コントラストが一様な部分あるいは濃度が一様な部分を選択することによって決定することができる。
(1)上記実施形態では、マーカMを用いていないが、マーカMの撮像画像を用いて投影画像データを補正するようにしてもよい。
Claims (19)
- 支援側装置と作業側装置とを備えた遠隔作業支援システムであって、
前記作業側装置は、
可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、
送信部により、前記撮像画像を前記支援側装置に送信する撮像画像送信手段と、
可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部と、
前記撮像画像に含まれる前記作業対象領域に設けられたマーカの画像または前記撮像画像に含まれる前記作業対象領域の特徴点に基づいて、あるいはその双方に基づいて、前記作業対象領域の所定部位を基準として前記支援画像が表示されるように前記支援画像データを補正する補正手段とを備え、
前記支援側装置は、
受信部により、送信されてきた撮像画像を受信する撮像画像受信手段と、
受信した撮像画像を表示する撮像画像表示部と、
表示部に表示された撮像画像上で、作業対象領域の所望の位置に支援画像を入力する支援画像入力部と、
送信部により、撮像画像上の位置を特定した支援画像データを前記作業側装置に送信する支援画像送信手段と、
を備えたことを特徴とする遠隔作業支援システム。 - 遠隔作業支援システムのための作業側装置であって、
可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、
送信部により、前記撮像画像を前記支援側装置に送信する撮像画像送信手段と、
可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部と、
前記撮像画像に含まれる前記作業対象領域に設けられたマーカの画像または前記撮像画像に含まれる前記作業対象領域の特徴点に基づいて、あるいはその双方に基づいて、前記作業対象領域の所定部位を基準として前記支援画像が表示されるように前記支援画像データを補正する補正手段と、
を備えた作業側装置。 - 可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部とを有する遠隔作業支援システムのための作業側装置をコンピュータによって実現するための作業側プログラムであって、コンピュータを、
送信部により、前記撮像画像を前記支援側装置に送信する撮像画像送信手段と、
前記撮像画像に含まれる前記作業対象領域に設けられたマーカの画像または前記撮像画像に含まれる前記作業対象領域の特徴点に基づいて、前記作業対象領域の所定部位を基準として前記支援画像が表示されるように前記支援画像データを補正する補正手段として機能させるための作業側プログラム。 - 作業側において、可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部とを有する遠隔作業支援システムのための支援側装置であって、
受信部により、送信されてきた撮像画像を受信する撮像画像受信手段と、
受信した撮像画像を表示する撮像画像表示部と、
表示部に表示された撮像画像上で、作業対象領域の所望の位置に支援画像を入力する支援画像入力部と、
前記投影部により、前記支援画像入力部によって入力された支援画像を、前記作業側の前記作業対象領域に投影するために、送信部により、撮像画像上の位置を特定した支援画像データを前記作業側装置に送信する支援画像送信手段と、
を備えた支援側装置。 - 作業側において、可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部とを有する遠隔作業支援システムのための支援側装置をコンピュータによって実現するための支援側プログラムであって、コンピュータを、
受信部により、送信されてきた撮像画像を受信する撮像画像受信手段と、
表示部に表示された撮像画像上で、作業対象領域の所望の位置に支援画像を入力する支援画像入力部と、
前記投影部により、前記支援画像入力部によって入力された支援画像を、前記作業側の前記作業対象領域に投影するために、送信部により、撮像画像上の位置を特定した支援画像データを前記作業側装置に送信する支援画像送信手段として機能させるための支援側プログラム。 - 可動物または固定物に装着され、投影対象を撮像して撮像画像を生成する撮像部と、
前記可動物または固定物に装着され、与えられた投影画像データに基づいて、前記投影対象に投影画像を投影する投影部と、
前記撮像画像に含まれる前記投影対象に設けられたマーカの画像または前記撮像画像に含まれる前記投影対象の特徴点に基づいて、前記投影対象の所定部位を基準として前記投影画像が表示されるように前記投影画像データを補正する補正手段と、
を備えた情報提示システム。 - 可動物または固定物に装着され、投影対象を撮像する撮像部と、前記可動物または固定物に装着され、与えられた投影画像データに基づいて、前記投影対象に投影画像を投影する投影部とを有する情報提示システムを、コンピュータによって実現するための情報提示プログラムであって、コンピュータを、
前記撮像画像に含まれる前記投影対象に設けられたマーカの画像または前記撮像画像に含まれる前記投影対象の特徴点に基づいて、前記投影対象の所定部位を基準として前記投影画像が表示されるように前記投影画像データを補正する補正手段として機能させるための情報提示プログラム。 - 請求項1〜7のいずれかのシステム、装置またはプログラムにおいて、
前記補正手段は、前記マーカまたは前記作業対象領域の特徴点の撮像画像に基づいて、前記投影部と前記マーカまたは特徴点との位置関係を推定する推定手段を備えており、当該推定された位置関係に基づいて、支援画像データまたは投影画像データを補正することを特徴とするシステム、装置またはプログラム。 - 請求項1〜8のいずれかのシステム、装置またはプログラムにおいて、
前記投影部は、支援画像に加えて、前記撮像されたマーカまたは特徴点の画像を投影し、
前記補正手段は、前記マーカの投影画像と実際のマーカが合致するように、または、前記作業対象領域の特徴点の投影画像と実際の特徴点が合致するように、支援画像データまたは投影画像データを補正することを特徴とするシステム、装置またはプログラム。 - 請求項1〜9のいずれかのシステム、装置またはプログラムにおいて、
前記撮像画像に含まれる要素画像に対応付けて記録されている支援画像を読み出して補正手段に与える支援画像選択手段をさらに備えることを特徴とするシステム、装置またはプログラム。 - 請求項1〜10のいずれかのシステム、装置またはプログラムにおいて、
前記可動物は、ユーザの身体の一部であることを特徴とするシステム、装置またはプログラム。 - 請求項1〜11のいずれかのシステム、装置またはプログラムにおいて、
前記投影部は、レーザプロジェクタを備えて構成されており、
前記撮像画像中に人が含まれる場合、当該人の少なくとも目の部分は、前記レーザプロジェクタによるレーザ照射を行わないように制御することを特徴とするシステム、装置またはプログラム。 - 手術支援システムであって、
与えられた患者の体内を示す非可視光画像データに基づいて、手術部位に患者の体内を示す非可視光画像を投影するための投影部と、
手術部位を可視光線以外の照射によって撮像して、手術部位に設けられたマーカの非可視光画像を含む非可視光画像を生成する非可視光画像撮像部と、
手術部位を可視光線によって撮像して、少なくとも、前記投影部によって投影されたマーカと、前記手術部位に設けられた実際のマーカを含む可視光画像を生成する可視光画像撮像部と、
前記可視光画像に基づいて、前記手術部位と前記投影部との位置関係がリアルタイムに変化したとしても、前記手術部位における体内の位置に合致するように体内の非可視光画像が表示されるように、前記非可視光画像データを補正する補正手段と、
を備えた手術支援システム。 - 与えられた患者の体内を示す非可視光画像データに基づいて、手術部位に患者の体内を示す非可視光画像を投影するための投影部と、手術部位を可視光線以外の照射によって撮像して、手術部位に設けられたマーカの非可視光画像を含む非可視光画像を生成する非可視光画像撮像部と、手術部位を可視光線によって撮像して、少なくとも、前記投影部によって投影されたマーカと、前記手術部位に設けられた実際のマーカを含む可視光画像を生成する可視光画像撮像部とを備えた手術支援システムをコンピュータによって実現するための手術支援プログラムであって、コンピュータを、
前記可視光画像に基づいて、前記手術部位と前記投影部との位置関係がリアルタイムに変化したとしても、前記手術部位における体内の位置に合致するように体内の非可視光画像が表示されるように、前記非可視光画像データを補正する補正手段として機能させるための手術支援プログラム。 - 手術支援システムであって、
与えられた患者の体内を示す非可視光画像データに基づいて、手術部位に患者の体内を示す非可視光画像を投影するための投影部と、
手術部位を可視光線以外の照射によって撮像して、手術部位に設けられたマーカの非可視光画像を含む非可視光画像を生成する非可視光画像撮像部と、
前記非可視光画像に含まれるマーカの非可視光画像に基づいて、前記手術部位と前記投影部との位置関係がリアルタイムに変化したとしても、前記手術部位における体内の位置に合致するように体内の非可視光画像が表示されるように、前記非可視光画像データを補正する補正手段と、
を備えた手術支援システム。 - 与えられた患者の体内を示す非可視光画像データに基づいて、手術部位に患者の体内を示す非可視光画像を投影するための投影部と、手術部位を可視光線以外の照射によって撮像して、手術部位に設けられたマーカの非可視光画像を含む非可視光画像を生成する非可視光画像撮像部とを備えた手術支援システムをコンピュータによって実現するための手術支援プログラムであって、コンピュータを、
前記非可視光画像に含まれるマーカの非可視光画像に基づいて、前記手術部位と前記投影部との位置関係がリアルタイムに変化したとしても、前記手術部位における体内の位置に合致するように体内の非可視光画像が表示されるように、前記非可視光画像データを補正する補正手段として機能させるための手術支援プログラム。 - 請求項13〜16のいずれかのシステムまたはプログラムにおいて、
前記非可視光画像は、レントゲン画像、PET画像、SPECT画像のいずれかであり、
前記可視光画像は、通常のカメラ画像であることを特徴とするシステムまたはプログラム。 - 可動物または固定物に装着され、投影対象を撮像して撮像画像を生成する撮像部と、
前記可動物または固定物に装着され、与えられた投影画像データに基づいて、前記投影対象に投影画像を投影する投影部と、
前記撮像画像に基づいて、投影対象の平坦で模様の少ない領域を探し出し、当該領域に前記投影画像が表示されるように投影画像データを補正する補正手段と、
を備えた表示システム。 - 可動物または固定物に装着され、投影対象を撮像して撮像画像を生成する撮像部と、前記可動物または固定物に装着され、与えられた投影画像データに基づいて、前記投影対象に投影画像を投影する投影部とを備えた表示システムをコンピュータによって実現するための表示プログラムであって、コンピュータを、
前記撮像画像に基づいて、投影対象の平坦で模様の少ない領域を探し出し、当該領域に前記投影画像が表示されるように投影画像データを補正する補正手段として機能させるための表示プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017122771A JP6773609B2 (ja) | 2017-06-23 | 2017-06-23 | 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム |
US16/014,342 US20180373291A1 (en) | 2017-06-23 | 2018-06-21 | Remote support system |
EP18179108.8A EP3429199A3 (en) | 2017-06-23 | 2018-06-21 | Remote support system |
CN201810649173.4A CN109120811A (zh) | 2017-06-23 | 2018-06-22 | 远程作业援助系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017122771A JP6773609B2 (ja) | 2017-06-23 | 2017-06-23 | 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019005095A true JP2019005095A (ja) | 2019-01-17 |
JP6773609B2 JP6773609B2 (ja) | 2020-10-21 |
Family
ID=62904235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017122771A Active JP6773609B2 (ja) | 2017-06-23 | 2017-06-23 | 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180373291A1 (ja) |
EP (1) | EP3429199A3 (ja) |
JP (1) | JP6773609B2 (ja) |
CN (1) | CN109120811A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10715746B2 (en) * | 2017-09-06 | 2020-07-14 | Realwear, Inc. | Enhanced telestrator for wearable devices |
US20220295025A1 (en) * | 2019-04-12 | 2022-09-15 | Daniel Seidel | Projection system with interactive exclusion zones and topological adjustment |
CN113509263A (zh) * | 2021-04-01 | 2021-10-19 | 上海复拓知达医疗科技有限公司 | 一种物体空间校准定位方法 |
JP2023136239A (ja) * | 2022-03-16 | 2023-09-29 | 株式会社リコー | 情報処理装置、情報処理システム、支援システム、及び情報処理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015099184A (ja) * | 2013-11-18 | 2015-05-28 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
WO2017038375A1 (ja) * | 2015-09-03 | 2017-03-09 | シャープ株式会社 | 映像投影装置 |
WO2017058710A1 (en) * | 2015-09-28 | 2017-04-06 | Montefiore Medical Center | Methods and devices for intraoperative viewing of patient 3d surface images |
WO2017056775A1 (ja) * | 2015-09-28 | 2017-04-06 | 富士フイルム株式会社 | プロジェクションマッピング装置 |
JP2017064307A (ja) * | 2015-10-02 | 2017-04-06 | 国立大学法人 東京大学 | 手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2388241A (en) | 2002-04-30 | 2003-11-05 | Zoo Digital Group Plc | Authoring of complex DVD-video products |
US7292269B2 (en) * | 2003-04-11 | 2007-11-06 | Mitsubishi Electric Research Laboratories | Context aware projector |
WO2006025191A1 (ja) * | 2004-09-01 | 2006-03-09 | Olympus Corporation | マルチプロジェクションシステムにおける幾何補正方法 |
US20080004533A1 (en) * | 2006-06-30 | 2008-01-03 | General Electric Company | Optical imaging systems and methods |
US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
US9723293B1 (en) * | 2011-06-21 | 2017-08-01 | Amazon Technologies, Inc. | Identifying projection surfaces in augmented reality environments |
-
2017
- 2017-06-23 JP JP2017122771A patent/JP6773609B2/ja active Active
-
2018
- 2018-06-21 US US16/014,342 patent/US20180373291A1/en not_active Abandoned
- 2018-06-21 EP EP18179108.8A patent/EP3429199A3/en not_active Withdrawn
- 2018-06-22 CN CN201810649173.4A patent/CN109120811A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015099184A (ja) * | 2013-11-18 | 2015-05-28 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
WO2017038375A1 (ja) * | 2015-09-03 | 2017-03-09 | シャープ株式会社 | 映像投影装置 |
WO2017058710A1 (en) * | 2015-09-28 | 2017-04-06 | Montefiore Medical Center | Methods and devices for intraoperative viewing of patient 3d surface images |
WO2017056775A1 (ja) * | 2015-09-28 | 2017-04-06 | 富士フイルム株式会社 | プロジェクションマッピング装置 |
JP2017064307A (ja) * | 2015-10-02 | 2017-04-06 | 国立大学法人 東京大学 | 手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3429199A2 (en) | 2019-01-16 |
JP6773609B2 (ja) | 2020-10-21 |
US20180373291A1 (en) | 2018-12-27 |
EP3429199A3 (en) | 2019-03-27 |
CN109120811A (zh) | 2019-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11734901B2 (en) | Surgeon head-mounted display apparatuses | |
JP6773609B2 (ja) | 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム | |
CN110403699B (zh) | 手术导引系统 | |
JP6381918B2 (ja) | 動作情報処理装置 | |
KR102336170B1 (ko) | 엑스선 영상 장치 및 그 제어 방법 | |
JP6302482B2 (ja) | スキャン装置及びスキャン装置を位置決めるための方法 | |
US20200229869A1 (en) | System and method using augmented reality with shape alignment for medical device placement in bone | |
JP6112689B1 (ja) | 重畳画像表示システム | |
US20100110264A1 (en) | Image projection system | |
CN110638524B (zh) | 一种基于vr眼镜的肿瘤穿刺实时模拟系统 | |
JP5333279B2 (ja) | 放射線撮影装置 | |
TWI754259B (zh) | 神經檢測方法及裝置 | |
JP2015043920A (ja) | 撮像支援装置及び撮像システム並びにプログラム | |
US20220354613A1 (en) | Creating Surgical Annotations Using Anatomy Identification | |
JP4548056B2 (ja) | 外科用放射線装置およびその装置を用いた表示設定方法 | |
EP3690609B1 (en) | Method and system for controlling dental machines | |
KR101501955B1 (ko) | 수술장 내 의료기기의 무선제어 시스템 및 그 제어 방법 | |
TW202222270A (zh) | 手術輔助系統及相關手術輔助方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200612 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200612 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200623 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6773609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |