JP2022145688A - 情報処理装置およびデータ処理方法 - Google Patents

情報処理装置およびデータ処理方法 Download PDF

Info

Publication number
JP2022145688A
JP2022145688A JP2022111191A JP2022111191A JP2022145688A JP 2022145688 A JP2022145688 A JP 2022145688A JP 2022111191 A JP2022111191 A JP 2022111191A JP 2022111191 A JP2022111191 A JP 2022111191A JP 2022145688 A JP2022145688 A JP 2022145688A
Authority
JP
Japan
Prior art keywords
data
dimensional data
dimensional
scanner
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022111191A
Other languages
English (en)
Other versions
JP7430749B2 (ja
Inventor
啓介 反本
Keisuke Sorimoto
雅之 佐野
Masayuki Sano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
J Morita Manufaturing Corp
Original Assignee
J Morita Manufaturing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by J Morita Manufaturing Corp filed Critical J Morita Manufaturing Corp
Priority to JP2022111191A priority Critical patent/JP7430749B2/ja
Publication of JP2022145688A publication Critical patent/JP2022145688A/ja
Application granted granted Critical
Publication of JP7430749B2 publication Critical patent/JP7430749B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Veterinary Medicine (AREA)
  • General Business, Economics & Management (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】スキャナによって取得されたデータを編集する作業を簡便にする情報処理装置およびデータ処理方法を提供することを目的とする。【解決手段】情報処理装置100は、スキャナ200によって取得された三次元データ122を取得された順序で管理する管理部142と、複数の三次元データ122を結合して生成される結合データ124から生成される三次元画像をディスプレイ300に表示する表示処理部145と、ユーザ操作を受け付ける選択受付部146とを備える。選択受付部146が三次元データ122を選択する操作を受け付けた場合、管理部142は、選択された三次元データ122から最後に取得された三次元データ122までを削除対象データに設定する。また、表示処理部145は、削除対象データを除く利用対象データによって生成される三次元画像をディスプレイ300に表示する。【選択図】図9

Description

本発明は、被写体との間の位置関係を変更可能なスキャナによって取得されたデータについて、当該データを処理する情報処理装置および当該データを処理するデータ処理方法に関する。
歯科分野において、口腔内を撮像する撮像装置として様々な装置が開発されている。例えば、患者の口腔内の歯牙の三次元(3D)データを得るためのスキャナが撮像装置として開発されている。しかし、このスキャナを用いて口腔内をスキャンして歯列全体(歯列弓)の三次元データを取得する場合、1回の測定におけるスキャナの測定範囲が限られているため、ユーザは、スキャナを歯列に沿って移動させて測定する位置を変え、測定を複数回繰り返し、異なる位置での三次元データを多数取得する必要がある。そして、取得した多数の三次元データを座標変換して合成することで、歯列全体の三次元データを生成することができる。
各位置で三次元データを取得している最中に、スキャナの位置を急激にずらしてしまったり、あるいは、測定範囲内に可動物が入り込んだりすることで、三次元データが歪んだり、ノイズ要因となるデータが混入したりすることがある。これにより、三次元データを合成する際に、誤った位置で三次元データ同士が貼り合わされるなどして、誤った合成が行われる。
特許文献1には、3Dビュー合成法において、隣接する画像に対する取得した3Dビューの配置の誤りを検出することが開示されている。そして、検出した誤りを強調表示することが開示されている。
特許文献2には、取得された三次元画像を順番に表示させることで一種の三次元ビデオが形成されることが開示されている。
特表2017-536592号公報 特開2015-147045号公報
特許文献1に開示の技術に従えば、測定に失敗した箇所をユーザは容易に特定することができる。また、特許文献2に開示の技術に従えば、三次元ビデオを確認することで、複数の三次元データを取得している工程のうち、いずれのタイミングで測定に失敗したかをユーザは容易に特定することができる。
しかし、特許文献1および特許文献2のいずれに開示された技術も、測定に失敗した箇所を編集することについて考慮されていない。測定に失敗した場合、ユーザは、失敗した箇所の再測定を行うことがある。
たとえば、ユーザは、測定途中で失敗に気付いた場合、測定を中断して、取得したデータを編集した上で、再度測定を開始する。取得したデータを編集する作業が複雑であると、測定時間が長くなったり、また、測定場所が狭い場合には編集作業が困難になったりする。そのため、編集作業を簡単にすることが求められる。
本発明は、係る実情に鑑み考え出されたものであり、その目的は、スキャナによって取得されたデータを編集する作業を簡便にする情報処理装置およびデータ処理方法を提供することを目的とする。
本発明に従えば、被写体との間の位置関係を変更可能なスキャナによって取得されたデータを処理する情報処理装置が提供される。情報処理装置は、スキャナによって取得された順序で複数のデータを管理する管理部と、管理部に管理された複数のデータを合成して生成される合成画像を表示装置に表示する表示制御部と、ユーザ操作を受け付ける入力部とを含む。入力部は、管理部が管理する複数のデータのうち少なくとも一のデータを選択する操作を受け付ける。管理部は、選択されたデータから最後に取得されたデータまでを削除対象データに設定する。表示制御部は、管理部に管理された複数のデータのうち、削除対象データを除く利用対象データによって生成される合成画像を表示装置に表示する。
本発明に従えば、被写体との間の位置関係を変更可能なスキャナによって取得されたデータを処理するデータ処理方法が提供される。データ処理方法は、(a)スキャナによって取得された順序で複数のデータを管理する工程と、(b)管理された複数のデータのうち、少なくとも一のデータを選択する操作を受け付ける工程と、(c)選択されたデータから最後に取得されたデータまでを削除対象データに設定する工程と、(d)管理された複数のデータのうち、削除対象データを除く利用対象データを合成して生成される合成画像を表示装置に表示する工程とを含む。
本発明によれば、データ単位でデータの選択を受け付け、選択したデータから最後に取得されたデータまでを削除対象データに設定するため、削除対象データの選択が容易である。また、削除対象データを除く利用対象データによって合成画像が生成されて表示されるため、削除対象データを実際に削除した場合の合成画像を確認することができ、削除対象データを容易に選択することができる。その結果、スキャナによって取得されたデータを編集する作業を簡便にすることができる。
本実施の形態に係る情報処理装置100の適用例を示す模式図である。 本実施の形態に係る情報処理装置100がディスプレイ300に表示する測定画面30の一例である。 本実施の形態に係る情報処理装置100のハードウェア構成を示す模式図である。 スキャナ200の概略図である。 スキャナ200の使用方法を説明するための図である。 情報処理装置100の機能構成例を示す図である。 座標変換について説明するための図である。 測定中の処理を説明するための図である。 停止中の処理を説明するための図である。 測定中の測定画面30の表示例である。 削除対象データが図9に示す削除対象データに設定された後、測定が再開されたときの処理を説明するための図である。 測定を停止した後から測定を再開するまでの三次元画像3Diを示す図である。 変形例にかかる測定画面30aの一例である。 トリム機能を説明するための図である。 変形例にかかるスキャナ200aの概略図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
[適用例]
図1および図2を参照しながら、本実施の形態に係る情報処理装置100の適用例を示す。図1は、本実施の形態に係る情報処理装置100の適用例を示す模式図である。
図1に示すように、ユーザ1は、スキャナシステム10を用いることで、対象者2が有する歯牙を含む口腔内の三次元形状のデータ(三次元データ)を取得することができる。なお、「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、スキャナシステム10を用いる者であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、スキャナシステム10の対象となる者であればいずれであってもよい。また、「対象者」は、生身の人間に限らず、人体模型であってもよいし、頭部模型であってもよいし、人間以外の動物または化石等であってもよい。
本実施の形態に係るスキャナシステム10は、情報処理装置100と、スキャナ200と、ディスプレイ300と、入力装置400とを備える。
スキャナ200は、内蔵された三次元カメラによってスキャン対象(対象物)の三次元データを取得する。具体的には、スキャナ200は、口腔内をスキャンすることで、三次元データとして、スキャン対象の歯牙を構成する複数の点のそれぞれの位置情報(縦方向,横方向,高さ方向の各軸の座標)を、光学センサなどを用いて取得する。
すなわち、三次元データは、測定対象の形状を構成する複数の座標点または複数のテクスチャ面のそれぞれの位置情報を少なくとも含むデータである。また、本実施の形態において、三次元データという一単位のデータは、1回の測定で得られるデータを指すものとして説明する。
情報処理装置100は、スキャナ200によって取得された三次元データに基づき三次元画像を生成し、生成した三次元画像をディスプレイ300に表示する。ここで、三次元画像とは、複数の三次元データを結合して得られる、スキャナ200が一度に測定できる測定範囲よりも広い範囲の三次元データ(以下、結合データともいう)を特定の方向から見た二次元投影図を意味する。
スキャナ200が一度に測定できる測定範囲は、口腔内に挿入可能なスキャナ200のプローブ220の大きさに左右され、一般に1~2歯程度の範囲である。そのため、口腔内の歯列全体(歯列弓)の三次元データを得たい場合、ユーザ1は、スキャナ200を歯列に沿って移動させて測定する位置を変え、測定を複数回繰り返し、異なる位置での三次元データを多数取得する必要がある。
これにより、スキャナ200によって三次元データが順々に得られる。情報処理装置100は、得られた三次元データに基づいて順々に三次元画像を生成する。このとき、情報処理装置100は、生成済みの結合データに対して新たな三次元データを結合させて新たな結合データを生成し、生成した新たな結合データに基づいて三次元画像を生成し、生成した三次元画像をディスプレイ300に表示する。ここで、複数の三次元データを結合して結合データを生成するとともに、結合データに基づいて三次元画像を生成する一連の処理を、単に、「合成」ともいう。
本実施の形態にかかるスキャナシステム10において、ユーザ1は、測定対象とスキャナ200との相対的な位置関係を変化させながら複数の三次元データを取得する必要がある。三次元データを取得中にスキャナ200と測定対象との相対的な位置関係が急激に変化したり、あるいは、三次元データを取得中にスキャナ200の測定範囲内に可動物が入り込んだりすると、当該三次元データが歪んだり、合成処理にとってはノイズ要因となるデータが混入したりするため、その後に得られる三次元データの合成処理に失敗することがある。この場合、ユーザ1は、取得に失敗した箇所を指定し、指定した箇所を削除したうえで、スキャナ200を用いて再度測定を行う必要がある。
ユーザ1は、ディスプレイ300に表示された三次元画像を頼りに、マウス420やキーボード440などの入力装置400を操作して、取得に失敗した箇所を指定するといった編集作業が必要である。
ユーザ1がスキャナ200を利用する診療空間は、広いスペースを必ずしも確保できる訳ではないため、編集作業が煩雑であると、操作が困難である。また、ユーザ1は、一般的に利き手でスキャナ200を操作しているため、編集作業が煩雑であると、スキャナ200を一旦置いて、利き手でマウス等を持ち直して作業する必要がある。
また、歯科分野においては、測定中、術者の手や指は、患者の口腔内と接触したことにより、細菌やウィルス等で汚染されている可能性がある。そのため、測定を中断してデータの編集作業を行う際に、マウスやディスプレイ等の周辺機器に術者が触れることは衛生面上好ましくない。複雑な編集作業が求められると、周辺機器を触れる機会が増えてしまう。そのため、編集作業は、簡便であることが求められる。
そこで、本実施の形態に係る情報処理装置100は、三次元データの単位での選択を受け付け、選択した三次元データから最後に取得した三次元データまでのデータを削除対象データとし、取得した三次元データのうちの削除対象データを除く利用対象データによって合成される三次元画像をディスプレイ300に表示させる。なお、削除対象データおよび利用対象データの各々は、少なくとも一の三次元データを含む。
これにより、特定の三次元データを選択すれば、選択した三次元データから最後に取得した三次元データまでのデータが削除対象データに設定されるため、削除対象データの選択が容易である。また、削除対象データを除く利用対象データによって三次元画像が生成されるため、削除対象データを実際に削除した場合の三次元画像を確認することができ、削除対象データを容易に選択することができる。すなわち、ユーザは、表示された三次元確認しながら削除対象データを三次元データ単位で選択していくことができるため、編集作業を簡便にすることができる。
図2は、本実施の形態に係る情報処理装置100がディスプレイ300に表示する測定画面30の一例である。測定画面30は、情報処理装置100が提供するユーザインターフェイスであって、スキャナ200によって得られる情報と、ユーザ操作を受け付けるための選択ツールとを含む。なお、図2に示す測定画面30は一例であって、情報処理装置100が提供するユーザインターフェイスはこれに限定されるものではない。
測定画面30は、三次元画像(合成画像)を表示する表示領域32と、三次元データを選択するための選択ツールを表示する選択領域34とを含む。
情報処理装置100は、一または複数の三次元データから合成した三次元画像3Diを表示領域32に表示する。
また、情報処理装置100は、ユーザ1がマウス420等の入力装置400を利用して選択領域34内の選択ツールを操作することで、三次元データの選択を受け付ける。
情報処理装置100は、取得された順序とは逆の順序(以下、単に「逆の順序」ともいう)に沿ってデータを選択することが可能な選択ツールをユーザ1に提供する。選択ツールは、逆の順序に沿って順々に選択対象の三次元データを変更するための戻るボタン342と、取得された順序に沿って選択対象の三次元データを変更するための進むボタン344とを含む。
戻るボタン342は、選択対象の三次元データを、一または複数の三次元データ単位で、逆の順序で変更するための選択ツールである。たとえば、変更する単位が1個である場合、戻るボタン342を1回目に操作したときに最後に取得した三次元データが選択され、その後、戻るボタン342を操作する度に、1つずつ逆の順序で選択対象が変更される。また、変更する単位が5個である場合、戻るボタン342を1回目に操作したときに最後から5番目に取得した三次元データが選択され、その後、戻るボタン342を操作する度に、5つずつ逆の順序で選択対象が変更される。
このとき、情報処理装置100は、戻るボタン342が操作される度に、取得された複数の三次元データのうち、当該操作によって選択された三次元データから最後に取得された三次元データまでを除く三次元データによって合成される三次元画像3Diを表示領域32に表示する。
たとえば、戻るボタン342が操作されると、図2中の矢印の方向に沿って順々に三次元画像が表示されなくなっていく様子が表示領域32に表示される。すなわち、表示領域32には、三次元データを取得していく様子が逆再生されていく様子が示される。
進むボタン344は、取得された順序に沿って選択対象の三次元データを、一または複数の三次元データ単位で変更するための選択ツールである。進むボタン344が操作されると、選択中の三次元データを基準に、取得された順序に沿って選択対象の三次元データが変更される。たとえば、変更する単位が1個である場合に、最後から5番目に取得した三次元データが選択されている状態で進むボタン344が1回操作されると、選択対象が最後から4番目に取得した三次元データに変更される。また、変更する単位が5個である場合に、最後から10番目に取得した三次元データが選択されている状態で進むボタン344が1回操作されると、選択対象が最後から5番目に取得した三次元データに変更される。
このとき、情報処理装置100は、進むボタン344を操作することで選択対象が変化する度に、三次元画像3Diを生成して表示領域32に表示する。
すなわち、戻るボタン342が操作されると、削除対象データに含まれる三次元データが増加し、進むボタン344が操作されると、削除対象データに含まれる三次元データが減少する。
このように、情報処理装置100は、スキャナ200によって取得された複数の三次元データのうち、削除対象データに含める三次元データを一または複数の三次元データ単位で変更するための選択ツール(戻るボタン342、進むボタン344)を提供する。ユーザ1は、提供された選択ツールを操作することで、容易に削除対象データを選択することができる。
さらに、情報処理装置100は、取得された複数の三次元データのうち、選択ツールによって選択された削除対象データを除く利用対象データによって合成される三次元画像を表示領域32に表示する。そのため、提供された選択ツールを操作に合わせて、表示領域32に表示される三次元画像3Diも変化するため、ユーザ1は、取得に失敗した箇所を容易に特定できる。
[情報処理装置100のハードウェア構成]
図3を参照しながら、本実施の形態に係る情報処理装置100のハードウェア構成の一例を説明する。図3は、本実施の形態に係る情報処理装置100のハードウェア構成を示す模式図である。情報処理装置100は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム10専用のコンピュータで実現されてもよい。
図3に示すように、情報処理装置100は、主なハードウェア要素として、スキャナインターフェース102と、ディスプレイインターフェース103と、入力インターフェース105と、メモリ109と、ストレージ110と、演算装置130とを備える。
スキャナインターフェース102は、スキャナ200を接続するためのインターフェースであり、情報処理装置100とスキャナ200との間のデータの入出力を実現する。
ディスプレイインターフェース103は、ディスプレイ300を接続するためのインターフェースであり、情報処理装置100とディスプレイ300との間のデータの入出力を実現する。ディスプレイ300は、たとえば、LCD(Liquid Crystal Display)または有機EL(Electroluminescence)ディスプレイなどで構成される。
入力インターフェース105は、マウス420およびキーボード440を含む入力装置400を接続するためのインターフェースであり、情報処理装置100と入力装置400との間のデータの入出力を実現する。
なお、情報処理装置100は、図示していないものの、メディア読取装置、リムーバブルディスク、ネットワークアダプタ、音声スピーカ、ライセンス認証キー、電源等を含んでいてもよい。
メモリ109は、演算装置130が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ109は、たとえば、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などの揮発性メモリデバイスで構成される。
ストレージ110は、ディスプレイ300に測定画面30を表示するための処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ110は、たとえば、ハードディスクまたはSSD(Solid State Drive)などの不揮発性メモリで構成される。
ストレージ110は、設定用プログラム114と、OS(Operating System)116と、三次元データ122と、結合データ124とを格納する。
設定用プログラム114は、測定画面30を表示するための処理、および測定画面30の表示内容を更新するための処理を実行するためのプログラムである。
三次元データ122は、スキャナ200から送られるデータである。結合データ124は、複数の三次元データ122を結合して生成されるデータである。
演算装置130は、各種のプログラムを実行することで、各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置130は、たとえば、CPU(Central Processing Unit)132、FPGA(Field-Programmable Gate Array)134、およびGPU(Graphics Processing Unit)136などで構成される。
[スキャナ200の構成]
図4を参照して、スキャナ200について説明する。図4は、スキャナ200の概略図である。スキャナ200は、筐体210と、筐体210の先端に着脱可能に取り付けられたプローブ220と、制御部230とを有する。スキャナ200は、ケーブル240を介して情報処理装置100と電気的に接続される。なお、スキャナ200と情報処理装置100との間の接続は、一部または全部を無線通信によって接続されるよう構成してもよいし、光ケーブルで接続してもよい。
筐体210は、ユーザ1が把持する把持部に相当する。すなわち、スキャナ200は、手持ち式のスキャナである。筐体210には、ユーザ1の操作を受け付ける受付部212が設けられている。受付部212は筐体210から突出した単一のボタンであるが、単一の静電容量式のタッチパネルでもよいし、単一のダイヤルでもよい。また、受付部212は、複数のボタンから構成されていてもよい。
本実施の形態において、受付部212は、測定の開始と停止とを受け付ける。具体的には、受付部212は、測定中であれば停止ボタンとして機能し、測定中でなければ開始ボタンとして機能する。
制御部230は、CPU、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成される。具体的には、CPUがROMに記憶されている各種処理プログラムを読み出してRAMに展開し、展開されたプログラムに従って、処理を進めることで、制御部230は、受付部212で受け付けたユーザ操作に基づいて、スキャナ200の全体を制御する。なお、制御部230の機能の一部または全部を、専用のハードウェア回路(例えば、ASIC(Application Specific Integrated Circuit)またはFPGAなど)を用いて実装してもよい。
スキャナ200は、図示していないが、測定対象に投影するパターンを生成するための光学部品(パターン生成素子)および光源、パターンを測定対象の表面に結像するためのレンズ部品、焦点位置を変化させることが可能な焦点可変部、投影したパターンを撮像する光学センサ(CCDイメージセンサやCMOSイメージセンサなど)を有している。なお、スキャナ200は、合焦法の原理を用いて三次元形状を取得する構成としてもよい。また、スキャナ200は、他の原理、たとえば、共焦点法、三角測量法、白色干渉法、ステレオ法、フォトグラメトリ法、SLAM法(Simultaneous Localization and Mapping)、光干渉断層法(Optical Coherence Tomography: OCT)などの技術を用いて三次元形状を取得する構成でもよい。つまり、スキャナ200は、光学的な手法を用いて三次元形状を取得する構成であればいずれの原理を用いた構成であってもよい。
[スキャナ200の使用方法]
図5は、スキャナ200の使用方法を説明するための図である。上述したように、スキャナ200の測定範囲は、口腔内に挿入可能なスキャナ200のプローブ220の大きさに左右される。そのため、ユーザ1は、プローブ220を口腔内に入れ、スキャナ200と対象物3との相対的な位置関係を変化させることで、異なる位置での三次元データを多数取得する。より具体的には、ユーザ1は、スキャナ200を動かすことで、測定範囲をR1,R2,R3,・・・Rnと順々に変えて、異なる位置での三次元データを多数取得する。
スキャナ200は、三次元データを取得する度に、取得した三次元データを情報処理装置100に送信する。
[情報処理装置100の機能構成例]
図6を参照しながら、本実施の形態に係る情報処理装置100が各種プログラムを実行することで実現される機能について説明する。図6は、情報処理装置100の機能構成例を示す図である。
情報処理装置100は、データ受信部141と、管理部142と、座標変換処理部143と、結合処理部144と、表示処理部145と、選択受付部146とを有する。
データ受信部141は、スキャナ200からの情報の入力と、入力装置400からのデータの入力とを受け付ける。具体的には、データ受信部141は、スキャナ200から送られる三次元データ122の入力を受け付ける。また、スキャナ200の受付部212が操作されて測定の開始、停止が指示された場合、スキャナ200の制御部230は、情報処理装置100に向けて測定を開始したこと、あるいは測定を停止したことを通知する。
管理部142は、スキャナ200から送られた三次元データ122を管理する。具体的には、管理部142は、スキャナ200から送られた三次元データ122を順々にストレージ110に格納する。また、管理部142は、選択受付部146が受け付けた情報に基づいて削除対象の三次元データ122(削除対象データ)を特定し、利用しないことが確定した三次元データ122を所定のタイミングで削除する。
ここで、「削除」とは、データを完全に削除することに加えて、利用対象の三次元データが格納された記録領域とは別の記憶領域に移すことも含み得る。すなわち「削除」とは、利用対象の三次元データを格納する記憶領域から削除または移動することを意味する。
管理部142は、スキャナ200から送信された順番で三次元データ122を管理する。図5を参照して説明したように、スキャナ200は、三次元データを取得する度に、取得した三次元データを情報処理装置100に送信する。つまり、換言すると、管理部142は、三次元データ122を取得された順序に従って管理する。図5を参照して、測定範囲をR1,R2,R3,・・・Rnと順々に変えて、測定範囲R1,R2,R3,・・・Rnごとに測定を行い、三次元データ122が取得されたとする。測定範囲R1の測定結果は、三次元データ122-1、測定範囲R2の測定結果は、三次元データ122-2とする。管理部142は、三次元データ122-1を最初に取得したデータとして管理し、三次元データ122-2を二番目に取得したデータとして管理する。
なお、三次元データ122を取得する度に、スキャナ200から情報処理装置100に三次元データ122を送信するものとしたが、送信頻度はこれに限られない。たとえば、スキャナ200は、複数の三次元データ122をまとめて送信するようにしてもよい。このとき、スキャナ200は、取得した順番がわかるように三次元データ122を送信することが好ましい。
座標変換処理部143は、スキャナ200から送られた各三次元データ122の座標系を予め定められた位置を基準とした座標系に合わせる。スキャナ200から送られた三次元データ122は、対象物3を構成する複数の座標点または複数のテクスチャ面のそれぞれの位置情報(縦方向,横方向,高さ方向の各軸の座標)を少なくとも含む。なお、三次元データ122は、複数の座標点または複数のテクスチャ面のそれぞれの色情報、テクスチャ面の法線ベクトル情報、撮影時刻を示す情報、または撮影器種の個体データなどを含んでいてもよい。
スキャナ200から送られた三次元データ122に含まれる位置情報の座標系は、スキャナ200を基準とした座標系である。つまり、スキャン直後の時点では、各三次元データ122をスキャンした時刻のスキャナの位置姿勢等が異なるため、各々が異なる座標系を有しており、このままの状態の三次元データ122を並べただけでは正常な結合データ124とはならない。よって正常な結合データ124を得るため、座標変換処理部143は、各三次元データ122間で共通する特徴箇所を抽出し、共通する特徴箇所が一致するように、位置情報の座標系を座標変換させるための座標変換行列を決定する。
図7は、座標変換について説明するための図である。座標変換処理部143は、三次元データ122-1、三次元データ122-2、三次元データ122-3の各々から、各三次元データ122間で共通する特徴箇所を抽出する。たとえば、図7に示す例では、座標変換処理部143は、三次元データ122-1と三次元データ122-2との間で共通する特徴箇所A1と、三次元データ122-2と三次元データ122-3との間で共通する特徴箇所A2とを抽出したとする。
座標変換処理部143は、三次元データ122-1の特徴箇所A1と、三次元データ122-2の特徴箇所A1とが一致するように三次元データ122-2の座標系を座標変換させる。そして、座標変換処理部143は、三次元データ122-2の特徴箇所A2と、三次元データ122-3の特徴箇所A2とが一致するように三次元データ122-3の座標系を座標変換させる。ここでは、過去に取得された三次元データの座標系を基準として、新しく取得された三次元データの座標系のほうを変換する例を示した。なお、その逆、すなわち新しく取得された三次元データの座標系を基準として、過去に取得された三次元データの座標系を変換するように処理しても良い。
座標変換処理部143は、スキャナ200から送られた各三次元データ122について、取得された順に座標変換行列を決定する。スキャナ200から送られた各三次元データ122を座標変換させて座標系を一致させる処理を貼り合わせ(レジストレーション)処理ともいう。貼り合わせ処理は、たとえば、ICP(Iterative Closest Point))アルゴリズムや、各種三次元特徴量(SHOT,PPF,PFHなど)を用いたマッチング処理などの技術によって実現可能である。
なお、ストレージ110内に格納される三次元データ122は、座標変換後のデータであっても良く、また、座標変換前のデータと座標変換行列とを紐付けた情報であっても良く、また、座標変換前のデータと、座標変換後のデータと、座標変換行列とを紐付けた情報であっても良い。本実施の形態において、ストレージ110内に格納される三次元データ122は、座標変換後のデータであるとして説明する。
なお、管理部142は、ストレージ110に格納する前に、座標変換処理部143によって貼り合わせ処理を実行させて、座標変換後のデータを格納するようにしてもよい。また、管理部142は、スキャナ200から複数の三次元データ122がまとめて送信された場合に、まとめて送信された複数の三次元データ122に対して貼り合わせ処理をするとともに、まとめて送信された複数の三次元データ122単位で結合させるようにして、結合した後の三次元データをストレージ110に格納してもよい。また各種三次元データ122の格納先は不揮発性メモリであるストレージ110を例に説明しているが、揮発性メモリや別の格納領域(リムーバブルディスクや、ネットワークを経由して接続された別のコンピュータやクラウドストレージ)に格納してもよい。
図6に戻って、結合処理部144は、複数の三次元データ122を合成して結合データ124を生成する。結合処理部144は、複数の三次元データ122を合成して、測定範囲の三次元データよりも広い範囲の三次元データとして結合データ124を生成する。
表示処理部145は、結合データ124である三次元データに基づいて三次元画像を生成してディスプレイ300に表示する。より具体的には、結合データ124を特定の方向から見た二次元投影図を計算し、得られた二次元投影図をディスプレイ300に表示する。二次元投影図の計算には、たとえば、透視投影や平行投影などのアルゴリズムを用いることができる。また、表示処理部145は、ディスプレイ300に図2を参照して説明した測定画面30を表示する。
選択受付部146は、入力装置400からの入力操作に基づいて、三次元データの選択を受け付ける。より具体的には、選択領域34内の選択ツールが操作されたことに基づいて、操作内容とストレージ110内に格納されている三次元データ122とに基づいて、選択対象の三次元データ122を特定する。選択受付部146は、選択対象の三次元データ122を管理部142および結合処理部144の各々に通知する。
管理部142は、通知された選択対象の三次元データ122から最後に取得された三次元データ122までを削除対象データに設定する。管理部142は、削除指示がされたことに基づいて、設定した削除対象データを削除する。本実施の形態において、削除指示に測定の開始を含む。すなわち、管理部142は、測定の開始が通知されて新たにデータが取得された場合に削除対象の三次元データ122を削除する。
ユーザ1は、通常、削除対象データを確定させた後に新たにデータの取得を開始する。そのため、データの取得を開始して、新たにデータが取得された場合に削除対象の三次元データ122を削除するようにすることで、ユーザ1から敢えて削除指示を出す必要がなくなり、ユーザ1の操作を簡便にすることができる。
結合処理部144は、選択対象の三次元データ122が通知されたことに基づいて結合データ124を生成する。このとき結合処理部144は、これまでに取得された三次元データ122のうち、管理部142が設定した削除対象データを除く利用対象データに含まれる三次元データ122を結合対象とする。表示処理部145は、生成された結合データ124に基づいて三次元画像を生成してディスプレイ300に表示する。これにより、ユーザ1は、利用対象データとして設定されたデータによって生成される三次元画像を確認することができる。
[測定中、停止中、再開後の処理]
情報処理装置100は、スキャナ200から測定を開始したこと、あるいは測定を停止したことの通知を受ける。そのため、情報処理装置100は、現在、測定中であるのか、あるいは、測定中ではないのかを特定することができる。以下、測定中ではないことを、「停止中」ともいう。
図8および図9を参照して、測定中の処理と停止中の処理について説明する。図8は、測定中の処理を説明するための図である。図9は、停止中の処理を説明するための図である。
図8を参照して、測定中、スキャナ200は、順次、三次元データ122を情報処理装置100に送信する。管理部142は、送られてきた三次元データ122を順次ストレージ110内の三次元データ格納領域に格納する。
座標変換処理部143は、格納された三次元データ122に対して、順次、貼り合わせ処理を行い、座標変換後の三次元データ122をストレージ110内に格納し直す。なお、座標変換処理部143は、三次元データ122に対する貼り合わせ処理を、格納された順に行ってもよく、また、所定の順序に従って行っても良い。あるいは、座標変換処理部143は、1つまたは2つおきというように所定間隔で三次元データ122に対する貼り合わせ処理を行うようにしてもよい。
結合処理部144は、最初に取得された座標変換後の三次元データ122から、最新の座標変換後の三次元データ122までの三次元データ122を結合して結合データ124を生成する。結合処理部144は、座標変換後の三次元データ122を順次結合して、順次結合データ124を生成する。すなわち、結合処理部144は、座標変換が完了する度に結合データ124を生成する。
そして、表示処理部145は、生成された結合データ124に基づいて三次元画像を生成してディスプレイ300に表示する。このとき、表示処理部145は、結合データ124が生成される度に、三次元画像を生成し、ディスプレイ300の表示を更新する。
図10を参照して、測定中に三次元画像が更新されていく様子を説明する。図10は、測定中の測定画面30の表示例である。たとえば、上述のように、結合データ124が生成される度にディスプレイ300の表示が更新されることで、表示領域32内には、三次元画像3Diが図10中の矢印の方向に沿って順々に生成されていく。すなわち、表示領域32には、三次元データを取得していく様子が表示されることとなる。
図9を参照して、停止中、スキャナ200からの三次元データ122の送信は、行われない。図9に示す例では、ストレージ110に、三次元データ122-1~三次元データ122-n3までのデータが格納されているものとする。また、入力装置400が操作されて、図2中の戻るボタン342が1回操作されたとする。図2に示す例では、戻るボタン342の1回操作に従って変更される単位は1個であるものとして説明する。
この場合、選択受付部146は、戻るボタン342が1回操作されたことに基づいて、最後に取得された三次元データ122-n3が選択されたと判定する。選択受付部146は、戻るボタン342が操作される度に、選択対象を1つずつ逆の順序で変更する。具体的には、戻るボタン342が1回操作されたあと、再度戻るボタン342が操作された場合、選択対象の三次元データ122は、三次元データ122-n3から三次元データ122-n2に変更される。
なお、図2中の進むボタン344が操作された場合は、選択受付部146は、進むボタン344が操作される度に、選択対象を一または複数の単位で、取得された順序に沿って変更する。
図9に示す例では、戻るボタン342が1回だけ操作されていることから、選択受付部146は、選択対象が三次元データ122-n3であることを管理部142および結合処理部144に通知する。
管理部142は、通知された選択対象の三次元データ122から最後に取得された三次元データ122までを削除対象データに設定する。図9に示す例では、三次元データ122-n3が、削除対象データに設定される。削除対象データが設定されたことで、三次元データ122-1~三次元データ122-n2が利用対象データであることが決まる。
結合処理部144は、選択受付部146から選択対象の通知を受けて、利用対象データに含まれる三次元データ122-1~三次元データ122-n2を結合対象として結合データ124を生成する。表示処理部145は、生成された結合データ124に基づいて三次元画像を生成してディスプレイ300に表示する。
図11は、削除対象データが図9に示す削除対象データに設定された後、測定が再開されたときの処理を説明するための図である。なお、図11に示す例では、座標変換処理部143の図示を省略している。
測定が再開されると、管理部142は、設定した削除対象データ(三次元データ122-n3)を削除する。そして、新たに三次元データ122がスキャナ200から送られてくると、管理部142は、得られた三次元データ122が三次元データ122-n2の後にくるように順々に格納していく。
そして、結合処理部144は、最初に取得された三次元データ122-1から利用対象データのうち最後に取得された三次元データ122-n2までの三次元データと、新たに取得された三次元データ122-n3’とを結合して結合データ124を生成する。表示処理部145は、生成された結合データ124から三次元画像を生成してディスプレイ300に表示する。
換言すると、表示処理部145は、削除対象データが設定された後、新たに三次元データ122が取得された場合、利用対象データと、新たに取得された三次元データ122-n3’とによって合成される三次元画像をディスプレイ300に表示する。
図12を参照して、表示領域32に表示される三次元画像3Diが変わる様子を説明する。図12は、測定を停止した後から測定を再開するまでの三次元画像3Diを示す図である。図12(A)、図12(B)、図12(C)、図12(D)の順に表示領域32に表示される三次元画像3Diは変わる。
図12(A)は、測定を停止したときに表示領域32に表示されている三次元画像3Diである。実線で示した画像が測定結果に基づいて生成された三次元画像3Diである。破線で示した画像は、実際の対象物の形状を示す。図12(A)においては、説明の都合上、実際の対象物の画像を破線で示しているものの、表示領域32に、破線で示した画像は表示されない。
つまり、図12(A)は、三次元データの連続スキャンの途中に何らかの原因(急動作や可動物体の写り込み等)によって、貼り合わせ処理に失敗し、連続スキャンの途中から三次元画像が、実際の形状とはかけ離れた状態で生成されてしまった状況を示している。ユーザ1は、ディスプレイ300に表示される三次元画像3Diを見て測定に失敗したことに気付き、三次元画像の表示が図12(A)の状態となったタイミングで測定を停止したものとする。
そして、図12(B)は、入力装置400を操作して、戻るボタン342を複数回操作し、逆の順序で、最後に取得した三次元データ122から順々に選択対象を変更していく様子を示している。戻るボタン342が操作される度に削除対象データが順々に増えることとなり、図12(B)中の矢印の方向に沿って順々に三次元画像が表示されなくなっていく。
ユーザ1は、表示領域32に表示される三次元画像3Diを確認することで、正常に測定できた範囲を特定することができ、三次元画像3Diに基づいて削除対象データ(あるいは、利用対象データ)を決める。たとえば、図12(C)に示した三次元画像3Diに含まれる三次元データ122が正常に測定できた三次元データ122であるとユーザ1が特定したとする。
ユーザ1は、受付部212を操作して測定を再開する。測定を再開すると、図12(D)に示すように、取得された三次元データ122に基づいて生成される三次元画像が順々に付け加えられていき、三次元画像3Diの表示範囲が順々に広がっていく。
このように、削除対象データに代えて新たに取得した三次元データ122に基づいて三次元画像3Diが生成されていく。すなわち、ユーザ1は、戻るボタン342を繰り返し押すのみという簡易な操作によって、スキャン失敗した不要データを削除し、その後、残された正常なデータに対して、その後のスキャンを継続することが可能となる。
[データ処理方法]
図8,図9,および図11を参照して、情報処理装置100が実行するデータ処理方法について説明する。情報処理装置100が実行するデータ処理方法は、以下のステップS1~ステップS5までの工程を含む。
ステップS1:スキャナ200によって取得された順序で三次元データ122を管理する工程(管理工程)
ステップS2:選択対象の三次元データ122を受け付ける工程(受付工程)
ステップS3:受け付けた選択対象の三次元データ122から最後に取得した三次元データ122までを削除対象データに設定する工程(設定工程)
ステップ4:ストレージ110の三次元データ格納領域に格納された三次元データ122のうち、設定された削除対象データを除く利用対象データを合成して生成される三次元画像をディスプレイ300に表示する工程(表示工程)
ステップS5:削除対象データが設定された後に、新たに三次元データ122が取得された場合に、設定された削除対象データを削除する工程(削除工程)
[測定画面の変形例]
図13は、変形例にかかる測定画面30aの一例である。測定画面30aは、表示領域32に代えて表示領域32aを、選択領域34に代えて選択領域34aを有し、スキャナ制御領域36aをさらに有する点で、測定画面30と異なる。
表示領域32aは、合成画像表示領域322aと、カメラ画像表示領域324aと、付加情報表示領域326aとを含む。合成画像表示領域322aは、測定画面30の表示領域32と共通し、三次元画像3Diを表示するための領域である。合成画像表示領域322a内の表示は、ユーザ1によるアイコン操作およびユーザ1によるスキャナ200の操作により更新される。
カメラ画像表示領域324aは、スキャナ200が備える撮像部が撮像した画像を表示するための領域である。たとえば、ユーザ1は、測定中にカメラ画像表示領域324aに表示される画像を確認することで、現在の測定範囲を確認することができる。
付加情報表示領域326aは、付加情報を表示する領域である。付加情報は、対象者2の情報を含む。対象者2の情報は、対象者2の年齢、対象者2の既往歴、対象者2に対する治療内容等を含む。
選択領域34aは、戻るボタン(1コマ)342a、戻るボタン(5コマ)342b、戻るボタン(10コマ)342c、確定ボタン343a、キャンセルボタン343b、進むボタン(1コマ)344a、進むボタン(5コマ)344b、進むボタン(10コマ)344c、スライダーバー345a、およびトリムボタン346aを含む。
戻るボタン(1コマ)342a、戻るボタン(5コマ)342b、戻るボタン(10コマ)342c、進むボタン(1コマ)344a、進むボタン(5コマ)344b、および進むボタン(10コマ)344cは、いずれも、三次元データを選択するための選択ツールである。
戻るボタン(1コマ)342a、戻るボタン(5コマ)342b、および戻るボタン(10コマ)342cは、いずれも、逆の順序に沿って順々に選択対象の三次元データを変更するため選択ツールである。
戻るボタン(1コマ)342a、戻るボタン(5コマ)342b、および戻るボタン(10コマ)342cは、互いに、1回の操作で選択対象を変更する単位が異なる。戻るボタン(1コマ)342aは、変更する単位が1個の選択ツールである。戻るボタン(5コマ)342bは、変更する単位が5個の選択ツールである。戻るボタン(10コマ)342cは、変更する単位が10個の選択ツールである。
進むボタン(1コマ)344a、進むボタン(5コマ)344b、および進むボタン(10コマ)344cは、いずれも、取得された順序に沿って選択対象の三次元データを変更するための選択ツールである。
進むボタン(1コマ)344a、進むボタン(5コマ)344b、および進むボタン(10コマ)344cは、互いに、1回の操作で選択対象を変更する単位が異なる。進むボタン(1コマ)344aは、変更する単位が1個の選択ツールである。進むボタン(5コマ)344bは、変更する単位が5個の選択ツールである。進むボタン(10コマ)344cは、変更する単位が10個の選択ツールである。
なお、図13に示す例では、1個、5個、10個の単位を例に挙げたが、1回の操作で変更可能な数は、これに限られない。また、変更する単位が互いに異なる3種類の選択ツールが用意されている例を示したが、1種類以上用意されていればよく、2種類の選択ツールが用意されていても、4種類以上の選択ツールが用意されていてもよい。
また、1回の操作で連続的に選択対象を変更していくような構成であってもよい。例えば、戻るボタンを1回操作すると、取得された順序とは逆の順序で順々に選択対象を連続的に自動で変更していき、停止ボタンを1回操作することで選択対象を確定するようにしてもよい。また、同様に、進むボタンを1回操作すると、取得した順序で連続的に自動で選択対象を変更していき、停止ボタンを操作することで選択対象を確定するようにしてもよい。
確定ボタン343aは、削除を確定するためのボタンである。確定ボタン343aが操作されると、情報処理装置100の管理部142は、削除範囲に含まれる三次元データ122を削除する。
キャンセルボタン343bは、設定した削除対象データをリセットするためのボタンである。キャンセルボタン343bが操作されると、情報処理装置100の管理部142は、削除対象データの設定をリセットする。すなわち、キャンセルボタン343bが操作されると、取得されたすべてのデータが利用対象データとなる。
スライダーバー345aは、選択対象を変更するための選択ツールの一例である。ユーザ1は、スライダーバー345a上のスライダー345bを移動させることで、取得された順序に沿ってまたは、取得された順序とは逆の順序に沿って、選択対象を変更する。たとえば、スライダー345bを紙面上の右方向に移動させると、取得された順序に沿って利用対象データを増やすことができる。一方、スライダー345bを紙面上の左方向に移動させると取得された順序とは逆の順序に沿って削除対象データを増やすことができる。
トリムボタン346aは、削除範囲を選択するための選択ツールである。図14は、トリム機能を説明するための図である。トリムボタン346aを選択すると、ポインターのデザインがハサミのデザインに変更される。
マウス420を操作してポインター346bを合成画像表示領域322aに表示された三次元画像3Di上で動かすことで、削除範囲を選択することができる。トリム機能を用いて削除範囲を選択する場合、複数の三次元データ122を結合した後の結合データ124に対して削除範囲が設定される。具体的には、三次元画像3Di上に設定された削除範囲に含まれる削除対象画像3Ddに対応する結合データ124が削除対象に設定される。ここで、結合データ124は、スキャン対象の歯牙を構成する複数の座標点または複数のテクスチャ面の各々の情報を含む。スキャン対象の歯牙を構成する複数の座標点または複数のテクスチャ面の各々が削除対象に設定される。
なお、従来のスキャナシステムで用いられる情報処理装置には、このようなトリム機能が搭載されているものがあった。しかし、トリム機能を用いて削除範囲を指定する場合、マウスを用いたドラッグ操作などの複雑な操作を必要とする。
変形例にかかる測定画面30aは、三次元データ122を選択して削除対象を設定するための各種ボタン(戻るボタン(1コマ)342aなど)と、トリム機能を用いて削除範囲を設定するためのトリムボタン346aとを含む。
三次元データ122を選択して削除対象を設定する方法は、簡単な操作によって削除対象を設定できるため、スキャンに失敗して測定を中断したときの編集方法として優れている。一方、トリム機能を用いた選択方法は、操作が複雑であるものの、任意の削除範囲を選択できるため、たとえば、測定を終えた後に微修正を加えたいときの編集方法として優れている場合もある。変形例にかかる測定画面30aは、各方法を選択するためのボタンを含むため、ユーザ1が状況に応じて任意の方法を選択できる。
スキャナ制御領域36aは、開始ボタン362aと、停止ボタン362bとを含む。開始ボタン362aが選択されると、測定の開始を受け付け、情報処理装置100は、スキャナ200に対して測定の開始を命令する。一方、停止ボタン362bが選択されると、測定の停止を受け付け、情報処理装置100は、スキャナ200に対して測定の停止を命令する。
すなわち、上記実施の形態においては、測定の開始および停止を受け付けるための入力部は、スキャナ200の筐体210に設けられた受付部212としたが、情報処理装置100が提供する入力装置400により選択可能なGUI(Graphical User Interface)上のアイコンであってもよい。
[削除領域の選択方法の変形例]
上記実施の形態においては、選択受付部146は、入力装置400が操作されることで出力される信号に基づいてユーザ操作を受け付ける。別の例として、選択受付部146は、スキャナに設けられた操作部に対する操作に基づいてスキャナから出力される信号に基づいてユーザ操作を受け付けてもよい。
図15は、変形例にかかるスキャナ200aの概略図である。スキャナ200aは、戻るボタン342Aおよび進むボタン344Aを物理的なボタンとして備える点で、スキャナ200と異なる。
戻るボタン342Aの機能は、上記実施の形態の測定画面30に設けられた戻るボタン342の機能に相当する。同様に進むボタン344Aの機能は、上記実施の形態の測定画面30に設けられた進むボタン344の機能に相当する。
スキャナ200aは、戻るボタン342Aが操作されると、情報処理装置100に向けて戻るボタン342Aが操作されたことを示す信号を送る。また、スキャナ200aは、進むボタン344Aが操作されると、情報処理装置100に向けて進むボタン344Aが操作されたことを示す信号を送る。
情報処理装置100は、戻るボタン342Aが操作されることを示す信号を受けると、上述した戻るボタン342が操作されたときと同じ処理を行う。また、情報処理装置100は、進むボタン344Aが操作されることを示す信号を受けると、上述した進むボタン344が操作されたときと同じ処理を行う。
なお、戻るボタン342Aと進むボタン344Aとが、ボタンの形態である例を説明しているが、これに限定されるものではなく、スキャナ上に設けられたその他の入力デバイスで置き換えても良い。例えば、スキャナ上にタッチパッドを設け、戻るボタン342相当の機能を左スワイプに、進むボタン344相当の機能を右スワイプに、スライドバーの操作と同様の機能を長押し等とスワイプ等とを組み合わせた操作にそれぞれ割り当ててタッチパッドを使用してもよい。また、トラックボールや十字キー、加速度センサ、音声入力デバイスを用いて同様の操作の受付を実現してもよい。
[スキャナの変形例]
上記実施の形態において、スキャナ200は、手持ち式であるとした。なお、スキャナは、対象物である被写体との間の位置関係を相対的に変更可能な構成であれば、手持ち式である必要はない。たとえば、スキャナシステムは、被写体を動かす移動機構を有し、スキャナの位置を固定し、被写体を動かすことで測定する位置を変更するようにしてもよい。なお、スキャナシステムは、スキャナと被写体と両方の位置を変更できるようなものであってもよい。
また、上記実施の形態において、スキャナ200は、三次元データ122を取得する三次元スキャナとした。なお、スキャナは、二次元データを取得するカメラであってもよい。
また、上記実施の形態において、スキャナ200は、口腔内の物体の形状に関するデータを取得する口腔内スキャナであるとして説明した。なお、スキャナは、口腔内の物体(たとえば、歯牙)の形状測定に限らず、外耳内の形状測定にも利用可能である。また、本開示の情報処理装置は、人の体の形状を測定するスキャナによって取得されたデータを処理するためにも利用可能である。
[削除対象データおよび利用対象データの表示態様]
上記実施の形態においては、削除対象データに設定された三次元データ122に対応する三次元画像は、表示されないものとした。なお、削除対象データに設定された三次元データ122に対応する三次元画像と、利用対象データに設定された三次元データ122に対応する三次元画像とを異なる表示態様で表示してもよい。たとえば、削除対象データに設定された三次元データ122に対応する三次元画像を破線で示し、利用対象データに設定された三次元データ122に対応する三次元画像を実線で示すようにしてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 ユーザ、2 対象者、3 対象物、3Di 三次元画像、10 スキャナシステム、30,30a 測定画面、32,32a 表示領域、34,34a 選択領域、36a スキャナ制御領域、100 情報処理装置、102 スキャナインターフェース、103 ディスプレイインターフェース、105 入力インターフェース、107 メディア読取装置、109 メモリ、110 ストレージ、114 設定用プログラム、122 三次元データ、124 結合データ、130 演算装置、141 データ受信部、142 管理部、143 座標変換処理部、144 結合処理部、145 表示処理部、146 選択受付部、200,200a スキャナ、210 筐体、212 受付部、220 プローブ、230 制御部、240 ケーブル、300 ディスプレイ、342,342A 戻るボタン、344,344A 進むボタン、400 入力装置、420 マウス、440 キーボード、550 リムーバブルディスク。
本発明に従えば、ユーザによって口腔内に挿入されるスキャナを歯列に沿って移動させることで取得される、口腔内における異なる位置の複数の三次元データを処理する情報処理装置が提供される。情報処理装置は、スキャナによって取得された順序で複数の三次元データを管理する管理部と、管理部に管理された複数の三次元データを結合させて生成される結合データが示す歯列を特定の方向から見た二次元画像を表示装置に表示する表示制御部と、表示装置に表示された二次元画像の生成に用いられた複数の三次元データに対して、最後に取得された三次元データから取得された順とは逆の順序に沿って、1以上の三次元データを選択する第1操作を受け付ける入力部とを含む。管理部は、入力部が第1操作を受け付けた場合に、選択された1以上の三次元データを削除対象三次元データに設定する。表示制御部は、管理部に管理された複数の三次元データのうち、削除対象三次元データを除く利用対象三次元データを結合させて生成される結合データが示す歯列を特定の方向から見た二次元画像を表示装置に表示する。
本発明に従えば、ユーザによって口腔内に挿入されるスキャナを歯列に沿って移動させることで取得される、口腔内における異なる位置の複数の三次元データをコンピュータが処理するデータ処理方法が提供される。データ処理方法は、コンピュータが実行する処理として、スキャナによって取得された順序で複数の三次元データを管理する工程と、管理された複数の三次元データを結合させて生成される結合データが示す歯列を特定の方向から見た二次元画像を表示装置に表示する工程と、表示装置に表示された二次元画像の生成に用いられた複数の三次元データに対して、最後に取得された三次元データから取得された順とは逆の順序に沿って、1以上の三次元データを選択する第1操作を受け付ける工程と、第1操作が受け付けられた場合に、選択された1以上の三次元データを削除対象三次元データに設定する工程と、第1操作が受け付けられた場合に、管理された複数の三次元データのうち、削除対象三次元データを除く利用対象三次元データを結合させて生成される結合データが示す歯列を特定の方向から見た二次元画像を表示装置に表示する工程とを含む。
本発明によれば、スキャナによって取得されたデータを編集する作業を簡便にすることができる。

Claims (4)

  1. ユーザによって口腔内に挿入されるスキャナを歯列に沿って移動させることで取得される、前記口腔内における異なる位置の複数の三次元データを処理する情報処理装置であって、
    前記スキャナによって取得された順序で複数の前記三次元データを管理する管理部と、
    前記管理部に管理された複数の前記三次元データを結合させて生成される結合データが示す歯列を特定の方向から見た二次元画像を表示装置に表示する表示制御部と、
    前記表示装置に表示された二次元画像の生成に用いられた複数の前記三次元データに対して、最後に取得された前記三次元データから前記取得された順とは逆の順序に沿って、1以上の前記三次元データを選択する第1操作を受け付ける入力部と、を備え、
    前記管理部は、前記入力部が前記第1操作を受け付けた場合に、選択された1以上の前記三次元データを削除対象三次元データに設定し、
    前記表示制御部は、前記管理部に管理された複数の前記三次元データのうち、前記削除対象三次元データを除く利用対象三次元データを結合させて生成される結合データが示す歯列を特定の方向から見た二次元画像を前記表示装置に表示する、情報処理装置。
  2. 前記入力部は、前記第1操作を受け付けた後に、前記管理部が管理する複数の前記三次元データから1以上の前記三次元データを選択する第2操作をさらに受け付け、
    前記管理部は、前記入力部が前記第2操作を受け付けた場合に、前記削除対象三次元データを、前記第1操作によって選択された1以上の前記三次元データから、前記第2操作によって選択された1以上の前記三次元データへ変更し、
    前記表示制御部は、前記管理部が前記削除対象三次元データを変更したことに伴い、前記管理部に管理された複数の前記三次元データのうち、変更後の前記削除対象三次元データを除く利用対象三次元データを結合させて生成される結合データが示す歯列を特定の方向から見た二次元画像を前記表示装置に表示する、請求項1に記載の情報処理装置。
  3. 前記管理部は、削除指示がなされた場合に、前記削除対象三次元データを削除する、請求項2に記載の情報処理装置。
  4. ユーザによって口腔内に挿入されるスキャナを歯列に沿って移動させることで取得される、前記口腔内における異なる位置の複数の三次元データをコンピュータが処理するデータ処理方法であって、
    前記データ処理方法は、前記コンピュータが実行する処理として、
    前記スキャナによって取得された順序で複数の前記三次元データを管理する工程と、
    管理された複数の前記三次元データを結合させて生成される結合データが示す歯列を特定の方向から見た二次元画像を表示装置に表示する工程と、
    前記表示装置に表示された二次元画像の生成に用いられた複数の前記三次元データに対して、最後に取得された前記三次元データから前記取得された順とは逆の順序に沿って、1以上の前記三次元データを選択する第1操作を受け付ける工程と、
    前記第1操作が受け付けられた場合に、選択された1以上の前記三次元データを削除対象三次元データに設定する工程と、
    前記第1操作が受け付けられた場合に、管理された複数の前記三次元データのうち、前記削除対象三次元データを除く利用対象三次元データを結合させて生成される結合データが示す歯列を特定の方向から見た二次元画像を前記表示装置に表示する工程とを含む、データ処理方法。
JP2022111191A 2020-01-15 2022-07-11 情報処理装置およびデータ処理方法 Active JP7430749B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022111191A JP7430749B2 (ja) 2020-01-15 2022-07-11 情報処理装置およびデータ処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020004243A JP7248599B2 (ja) 2020-01-15 2020-01-15 情報処理装置およびデータ処理方法
JP2022111191A JP7430749B2 (ja) 2020-01-15 2022-07-11 情報処理装置およびデータ処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020004243A Division JP7248599B2 (ja) 2020-01-15 2020-01-15 情報処理装置およびデータ処理方法

Publications (2)

Publication Number Publication Date
JP2022145688A true JP2022145688A (ja) 2022-10-04
JP7430749B2 JP7430749B2 (ja) 2024-02-13

Family

ID=74184440

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020004243A Active JP7248599B2 (ja) 2020-01-15 2020-01-15 情報処理装置およびデータ処理方法
JP2022111191A Active JP7430749B2 (ja) 2020-01-15 2022-07-11 情報処理装置およびデータ処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020004243A Active JP7248599B2 (ja) 2020-01-15 2020-01-15 情報処理装置およびデータ処理方法

Country Status (4)

Country Link
US (1) US11790547B2 (ja)
EP (1) EP3852119A1 (ja)
JP (2) JP7248599B2 (ja)
CN (1) CN113130048A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356156B (zh) * 2021-11-25 2024-05-14 武汉尺子科技有限公司 一种3d扫描界面的交互方法、设备及存储介质
JP2023082325A (ja) 2021-12-02 2023-06-14 株式会社モリタ製作所 データ処理装置、データ処理方法、データ処理プログラム、およびデータ処理システム
JP2023082326A (ja) 2021-12-02 2023-06-14 株式会社モリタ製作所 データ処理装置、データ処理方法、データ処理プログラム、およびデータ処理システム
JP7469351B2 (ja) 2022-03-25 2024-04-16 株式会社モリタ製作所 識別装置、識別方法、および識別プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239521A1 (en) * 2005-03-11 2006-10-26 Apteryx, Inc. System and method of capturing images
JP2009523547A (ja) * 2006-01-20 2009-06-25 スリーエム イノベイティブ プロパティズ カンパニー 3次元スキャンリカバリ
JP2012157683A (ja) * 2011-01-13 2012-08-23 Advance Co Ltd 歯科診療システム
WO2017111116A1 (ja) * 2015-12-24 2017-06-29 株式会社モリタ製作所 三次元計測方法及び三次元計測装置
JP2018509213A (ja) * 2015-03-06 2018-04-05 アライン テクノロジー, インコーポレイテッド 口腔内画像の自動選択及びロック
WO2018185972A1 (ja) * 2017-04-03 2018-10-11 三菱電機株式会社 マップデータ生成装置および方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4252915B2 (ja) * 2004-03-16 2009-04-08 株式会社バッファロー データ処理装置およびデータ処理方法
WO2009006303A2 (en) 2007-06-29 2009-01-08 3M Innovative Properties Company Video-assisted margin marking for dental models
JP2014183559A (ja) 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
EP2904988B1 (de) 2014-02-05 2020-04-01 Sirona Dental Systems GmbH Verfahren zur intraoralen dreidimensionalen Vermessung
JP6381787B2 (ja) 2014-08-27 2018-08-29 ケアストリーム ヘルス インク 3次元表面の自動再合成
WO2017072936A1 (ja) 2015-10-30 2017-05-04 株式会社日立製作所 プラント監視制御装置
US10507087B2 (en) * 2016-07-27 2019-12-17 Align Technology, Inc. Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth
DK3503839T3 (da) 2016-08-24 2020-12-21 Carestream Dental Tech Topco Ltd Fremgangsmåde og apparat til segmentering af hybrid maske
JP7076842B2 (ja) * 2017-08-16 2022-05-30 ガバジャ リミテッド マウス・ピースを製造するシステムおよび方法
CN111655191B (zh) * 2018-01-26 2022-04-08 阿莱恩技术有限公司 诊断性口内扫描和追踪
US11455727B2 (en) * 2019-05-02 2022-09-27 Align Technology, Inc. Method and apparatus for excessive materials removal from intraoral scans

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239521A1 (en) * 2005-03-11 2006-10-26 Apteryx, Inc. System and method of capturing images
JP2009523547A (ja) * 2006-01-20 2009-06-25 スリーエム イノベイティブ プロパティズ カンパニー 3次元スキャンリカバリ
JP2012157683A (ja) * 2011-01-13 2012-08-23 Advance Co Ltd 歯科診療システム
JP2018509213A (ja) * 2015-03-06 2018-04-05 アライン テクノロジー, インコーポレイテッド 口腔内画像の自動選択及びロック
WO2017111116A1 (ja) * 2015-12-24 2017-06-29 株式会社モリタ製作所 三次元計測方法及び三次元計測装置
WO2018185972A1 (ja) * 2017-04-03 2018-10-11 三菱電機株式会社 マップデータ生成装置および方法

Also Published As

Publication number Publication date
JP7248599B2 (ja) 2023-03-29
JP2021111254A (ja) 2021-08-02
JP7430749B2 (ja) 2024-02-13
CN113130048A (zh) 2021-07-16
US11790547B2 (en) 2023-10-17
US20210217189A1 (en) 2021-07-15
EP3852119A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
JP7248599B2 (ja) 情報処理装置およびデータ処理方法
JP6663718B2 (ja) 照明フレームが画像フレームに組み入れられる口腔内走査装置
US20170289523A1 (en) Dental intraoral scanner system
US20170091939A1 (en) Systems and Methods for See-Through Views of Patients
US20120062557A1 (en) Systems and methods for processing and displaying intra-oral measurement data
EP3689218B1 (en) Method and system for guiding an intra-oral scan
JP7108627B2 (ja) 手持ちスキャナを有する3dスキャナシステム
JP2024028512A (ja) プログラム、情報処理方法及び内視鏡システム
US20230386119A1 (en) Oral image processing device and oral image processing method
KR102441485B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
US20220409324A1 (en) Systems and methods for telestration with spatial memory
JP2023549689A (ja) 歯科治療システムのためのマジックミラーディスプレイ
WO2020037588A1 (en) Hybrid method of acquiring 3d data using intraoral scanner
US11571274B2 (en) Dental instrument, control method thereof, and three-dimensional measuring
JP7219243B2 (ja) 姿勢推定装置
US20240129447A1 (en) Data processing device and data processing method
KR102503831B1 (ko) 3차원 구강내 열화상 영상 생성 시스템 및 방법
US20230096570A1 (en) Electronic device and method for processing scanned image of three dimensional scanner
KR102493440B1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
US20240180397A1 (en) Data processing device, scanner, and method for operating same
US20220265351A1 (en) Systems and methods for performance of depth sensor and auxiliary sensor-based operations associated with a computer-assisted surgical system
KR20230014628A (ko) 이미지 처리 장치, 및 이미지 처리 방법
KR20220122486A (ko) 데이터 처리 장치 및 데이터 처리 방법
KR20230007909A (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
KR20230051418A (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240131

R150 Certificate of patent or registration of utility model

Ref document number: 7430749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150