EP3166476A1 - System and method for three-dimensional depth imaging - Google Patents

System and method for three-dimensional depth imaging

Info

Publication number
EP3166476A1
EP3166476A1 EP15742370.8A EP15742370A EP3166476A1 EP 3166476 A1 EP3166476 A1 EP 3166476A1 EP 15742370 A EP15742370 A EP 15742370A EP 3166476 A1 EP3166476 A1 EP 3166476A1
Authority
EP
European Patent Office
Prior art keywords
dimensional
subject
sequence
depth
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15742370.8A
Other languages
German (de)
French (fr)
Inventor
Julien PANSIOT
Edmond Boyer
Lionel REVERET
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut National de Recherche en Informatique et en Automatique INRIA
Original Assignee
Institut National de Recherche en Informatique et en Automatique INRIA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut National de Recherche en Informatique et en Automatique INRIA filed Critical Institut National de Recherche en Informatique et en Automatique INRIA
Publication of EP3166476A1 publication Critical patent/EP3166476A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/40—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4021—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis involving movement of the focal spot
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention relates to a system and an imaging method for constructing a three-dimensional representation in depth of a subject, such as all or part of an object or a body. It finds particular application in the field of medical imaging, particularly in the field of radiography of moving subjects. It can for example be applied in the case of a motion analysis in a context of postoperative rehabilitation, and more generally for the analysis of the internal dynamics of the joints of a patient.
  • radiographic imaging techniques allow the capture of images of the internal structure of a moving subject, but which remain two-dimensional images.
  • bi-planar beam devices are known for capturing motion from two different points of view.
  • the number of views is thus very limited, these devices generally require prior models and / or manual intervention, and are limited to the three-dimensional reconstruction of a few characteristic points by simple triangulation.
  • None of the known radiographic imaging systems or methods makes it possible to generate the three-dimensional and in-depth reconstruction of a moving subject, while limiting the dose of radioactivity undergone by the subject.
  • One of the aims of the invention is, in particular, to solve the aforementioned problems.
  • one particular object of the invention is to propose a system and a method for reconstructing three-dimensional images of a subject in motion, which is inexpensive, and which limits the dose of radioactivity undergone by the subject when the technique of X-ray imaging is used.
  • the subject of the invention is an imaging system intended to construct a three-dimensional representation at depth of a subject, such as all or part of an object or a body, comprising first imaging means comprising at least one fixed surface imaging device capable of enabling the acquisition of a sequence of several two-dimensional surface images of a subject, and a processing computer unit comprising a first reconstruction module able to constructing a sequence of three-dimensional surface representations of a subject from a series of simultaneous two-dimensional surface images taken in each two-dimensional surface image sequence acquired by the first imaging means.
  • the device also comprises second imaging means comprising at least one fixed depth imaging device capable of enabling the acquisition of a sequence of several two-dimensional images at depth of a subject.
  • the computing processing unit comprises a second reconstruction module capable of constructing a three-dimensional representation in depth of the subject from a sequence of three-dimensional surface representations of the subject constructed by the first reconstruction module and a sequence of two-dimensional depth images of the subject acquired by the fixed depth imaging device.
  • system further comprises one or more of the following features, taken in isolation or in any technically feasible combination:
  • the second reconstruction module comprises an initial pose determination submodule capable of determining, for each three-dimensional surface representation, an initial pose defining the position of each point of said three-dimensional surface representation with respect to the position of said point in a three-dimensional reference surface representation, and the second reconstruction module includes a processing sub-module adapted to reconstruct a three-dimensional representation at depth of the subject from the sequence of initial poses obtained by the sub-module of determination of initial pose and the sequence of two-dimensional images in depth of the subject obtained by the second imaging means;
  • the second reconstruction module comprises a pose resetting submodule able to readjust each initial pose with a sequence of two-dimensional depth-of-depth images of the subject obtained by the second imaging means, and to generate a recalibrated pose, and the processing sub-module is able to reconstruct a three-dimensional representation of the depth of the subject from a reordered poses sequence obtained by the pose registration sub-module and the two-dimensional image sequence at depth of the subject obtained by the second imaging means;
  • the first reconstruction module comprises a mesh submodule able to create a sequence of three-dimensional meshes of the subject from a series of simultaneous two-dimensional surface images taken in each sequence of two-dimensional surface images acquired by the first imaging means
  • the second reconstruction module is capable of constructing the three-dimensional representation in depth of the subject from a sequence of three-dimensional meshes of the subject constructed by the mesh sub-module and the two-dimensional image sequence in depth of the subject obtained by the second imaging means;
  • the processing computer unit comprises a first segmentation module capable of creating a sequence of two-dimensional surface silhouettes of a subject from a sequence of two-dimensional surface images of the subject acquired by the first subjects; imaging means, by segmenting each two-dimensional surface image of its background, and the first reconstruction module is able to construct the sequence of three-dimensional surface representations of a subject from a series of two-dimensional surface silhouette simultaneously taken in each sequence of two-dimensional surface images obtained by the first segmentation module;
  • the computer processing unit comprises a second segmentation module capable of creating a sequence of two-dimensional silhouettes in depth of a subject from a sequence of two-dimensional images at depth of the subject acquired by the fixed imaging device; depth, by segmenting each two-dimensional image in depth of its background, and the second reconstruction module is able to construct the three-dimensional representation in depth of the subject from the sequence of three-dimensional surface representations of the subject constructed by the first module of reconstruction and a sequence of two-dimensional images in depth of the subject;
  • the surface imaging device is a color imaging, "flight time” imaging or structured light surface sensor, and the depth imaging device is an X-ray imaging device or by ultrasound;
  • the invention also provides, according to a second aspect, an imaging method for constructing a three-dimensional representation at depth of a subject, such as all or part of an object or a body, comprising a first step of acquiring at least one sequence of several two-dimensional surface images of the subject by first imaging means comprising at least one fixed surface imaging device, a first reconstruction step, by a first reconstruction module of a computer processing unit, at least one sequence of three-dimensional representations of the subject's surface from a series of simultaneous two-dimensional surface images taken in each two-dimensional surface image sequence acquired by the first acquisition step .
  • the method also comprises a second step of acquiring at least one sequence of several two-dimensional images at depth of the subject, by second imaging means comprising at least one fixed device for deep imaging, and a second reconstruction step by a second reconstruction module of the computer processing unit, a three-dimensional representation in depth of the subject from the sequence of three-dimensional surface representations of the subject constructed in the first reconstruction step and the image sequence two-dimensional depth of the subject acquired by the second stage acquisition.
  • the method also comprises one or more of the following characteristics, taken individually or in any technically possible combination:
  • the second reconstruction step comprises, on the one hand, an initial laying determination step, by an initial laying determination sub-module of the second reconstruction module, making it possible to determine, for each three-dimensional surface representation, an initial pose defining the position of each point of said three-dimensional surface representation with respect to the position of said point in a three-dimensional reference surface representation, and secondly a processing step, by a processing sub-module of the second module of reconstruction, for reconstructing the three-dimensional representation at depth of the subject from the sequence of initial poses determined by the step of determining the initial pose and the sequence of two-dimensional images at depth of the subject acquired by the second acquisition step;
  • the three-dimensional reference surface representation is obtained from an external model, or from a combination of all or part of the three-dimensional surface representations of the three-dimensional surface representation sequence.
  • the second reconstruction step comprises a step of resetting the pose, by a recalibration sub-module of the second reconstruction module, to reset each initial pose with the sequence of two-dimensional images at depth of the subject obtained by the second step of acquisition, and generate a fixed pose, and the processing step reconstructs the three-dimensional representation in depth of the subject from the poses sequence recaled by the pose registration step and the two-dimensional image sequence at depth of the subject acquired by the second stage of acquisition;
  • the first reconstruction step comprises a mesh step, by a mesh sub-module of the first reconstruction module, to create a three-dimensional mesh of the subject from a series of simultaneous two-dimensional surface images taken in each sequence of two-dimensional surface images acquired by the first acquisition step, and the second reconstruction step reconstructs the three-dimensional representation in depth of the subject from the three-dimensional mesh sequence of the subject constructed in the mesh step and the sequence of the two-dimensional images in depth of the subject acquired by the second acquisition stage;
  • the first acquisition step comprises a first segmentation step, by a first segmentation module, for creating a sequence of two-dimensional surface silhouettes of the subject from each sequence of two-dimensional surface images of the subject previously acquired, by segmenting said two-dimensional surface images of their backgrounds, and the first reconstruction step reconstructing the sequence of three-dimensional surface representations of the subject from a series of simultaneous two-dimensional surface silhouettes taken in each sequence of two-dimensional surface silhouettes obtained by the first stage of segmentation;
  • the second acquisition step comprises a second segmentation step, by a second segmentation module, to create a sequence of two-dimensional silhouettes in depth of the subject from the two-dimensional image sequence at depth of the subject acquired by the second step of acquisition, by segmenting said two-dimensional images in depth of their backgrounds, and the second reconstruction step constructs the three-dimensional representation in depth of the subject from the sequence of three-dimensional surface representations of the subject constructed in the first reconstruction step , the sequence of two-dimensional depth images obtained by the second imaging means, and the sequence of two-dimensional silhouettes depth of the subject obtained by the second segmentation step;
  • the fixed surface imaging and depth imaging devices are calibrated in a common coordinate system
  • the first acquisition step is a step of acquisition by color imaging devices, "flight time” imaging or structured light-based surface sensors, and the second acquisition step is a step of acquisition by X-ray or ultrasound devices.
  • the simultaneous capture of the movement of the internal structure of the subject, such as the skeleton or part of the skeleton of a person or an animal, and the external surface of this subject opens possibilities of motion analysis. important, such as motion analysis in the case of postoperative rehabilitation, and more generally the analysis of the internal dynamics of a patient's joints.
  • At least one two-dimensional surface imaging device and at least one two-dimensional depth imaging device allows the acquisition of movement, rigid or not, a subject without the use of markers.
  • the set of acquisition devices remains static, which eliminates the need to use complex mobile systems that must be controlled extremely finely, and are expensive.
  • the system and method of the invention do not use models, such as an anatomical model of the subject, thus eliminating the problems of determining the model and its adjustment.
  • system and the method of the invention allow the reconstruction of the three-dimensional image in depth of a subject of unknown form.
  • the eventual movement of the subject is not considered as noise, but is instead used for reconstruction.
  • FIG. 1 schematic representation of an exemplary system and method according to the invention
  • Figure 2 schematic representation of an embodiment and implementation of a part of the system and the method of Figure 1 relating to the acquisition of surface;
  • Figure 3 schematic representation of an embodiment and implementation of the part of the system and the method of Figure 1 relating to the acquisition in depth.
  • FIGS. 1 to 3 The example described with reference to FIGS. 1 to 3 is based on the use of an X-ray image source for the acquisition of information on the internal structure of the subject, combined with a set of color cameras used for construct the three-dimensional representation of the subject's surface, all followed over a given period of time.
  • the system thus comprises first imaging means 18.
  • These imaging means 18 themselves comprise at least one fixed surface imaging device 3, such as a color camera 3, a "flight time” camera, or a structured light surface sensor.
  • the imaging means 18 include three fixed surface imaging devices 3.
  • Each camera 3 makes it possible to acquire a sequence of two-dimensional surface images 4 of the subject 2, in this case the hand 2 of a person, arranged in the acquisition volume, that is to say the observable volume by the cameras 3.
  • a processing computer unit makes it possible, by means of a first reconstruction module 5, to construct a series of three-dimensional surface representations 6 of the subject 2, starting from series of two-dimensional surface images 4 simultaneous, taken in each sequence of two-dimensional images of surface 4 acquired by the cameras 3.
  • the system also comprises second imaging means 19.
  • These imaging means 19 comprise at least one fixed depth imaging device 7, for example of the X-ray or ultrasound imaging device type.
  • the fixed depth imaging device 7 makes it possible to acquire a sequence of two-dimensional images at depth 8 of the subject 2.
  • the processing computer unit also makes it possible, by means of a second reconstruction module 9, to construct a three-dimensional representation in depth 1, starting on the one hand from an initial sequence of poses 17, in which each initial pose 17 is derived from a three-dimensional representation of surface 6, and secondly from a sequence of two-dimensional depth images 8 acquired by the fixed depth imaging device 7.
  • initial pose 17 will be explained in more detail with reference to FIG. 2, a little further.
  • the cameras 3 and the fixed depth imaging device 7 must preferably be calibrated, in a common coordinate system, prior to the acquisition of the images 4, 8.
  • the three-dimensional representation of surface 6 takes the form of a three-dimensional mesh 6, created by a mesh sub-module 5a of the first module of FIG. reconstruction 5, starting from the series of simultaneous two-dimensional surface images 4 taken in each sequence of two-dimensional surface images 4.
  • the two-dimensional surface images 4 are segmented, by means of a first segmentation module 10 of the computer unit of FIG. processing, so as to create sequences of two-dimensional surface silhouettes 1 1 which correspond to two-dimensional images of segmented surface 4 of their background.
  • each two-dimensional surface image 4 is segmented separately from the others.
  • either the first segmentation module 10 is implemented successively to segment each two-dimensional surface image 4, or several segmentation modules 10 are implemented in parallel to segment several two-dimensional images of surface 4 simultaneously.
  • a single segmentation module 10 sequentially segments all or part of the two-dimensional surface images 4, for example by using certain portions of some of the images for the segmentation of other images.
  • segmentation namely a combination of individual and successive segmentations for some of the two-dimensional surface images 4, of individual and parallel segmentation.
  • other two-dimensional images of surface 4 and of combined and parallel segmentation of still others two-dimensional surface images 4.
  • the three-dimensional meshes 6 can be obtained by an algorithm of the polyhedral visual envelope type.
  • the three-dimensional meshes 6 thus obtained are then compared to a reference mesh 21, or three-dimensional representation of reference surface 21, by an initial pose determination sub-module 9a of the second reconstruction module 9.
  • This reference mesh 21 may be, for example, the mesh 6 corresponding to the first series of simultaneous two-dimensional surface images 4 taken in each two-dimensional image sequence of surface 4, thus to the first mesh 6 of the mesh sequence 6.
  • this reference mesh 21 can be a combination, such as the average, of all or part of the meshes 6 of the mesh sequence 6.
  • this reference mesh 21 may also come from a model outside the system.
  • the initial pose determination sub-module 9a uses a robust algorithm of the "iterative closest point" or ICP type, with detection of aberrations.
  • a processing sub-module 9c of the reconstruction module 9 makes it possible to reconstruct the three-dimensional representation at depth 1 of the subject 2 from the sequence of initial poses 17 obtained by the sub-module. initial pose determination module 9a and the two-dimensional depth image sequence 8, 13 of the subject 2 obtained by the second imaging means 19.
  • a registration is carried out by a module 9b of the reconstruction module 9, the two-dimensional depth images 8 and the three-dimensional surface representation 6.
  • This registration generates a sequence of corrected poses 15, and the processing sub-module 9c then reconstructs the three-dimensional representation at depth 1 of the subject 2 from the set of reshaped poses thus obtained, and the two-dimensional image sequence. depth 8, 13 of the subject 2 obtained by the second imaging means 19.
  • This registration makes it possible to improve the three-dimensional surface representation 6, insofar as the three-dimensional meshes 6 comprise artifacts due to the method and to the limited number of cameras 3 used, which generate noise during the creation of this three-dimensional representation of surface 6.
  • the registration is implemented preferably not on the two-dimensional images in depth 8 but on segmented images 13 of these two-dimensional images in depth 8.
  • the two-dimensional depth images 8 are segmented, by means of a second segmentation module 12, so as to create sequences of silhouettes two-dimensional deep 13 which correspond to the segmented two-dimensional depth images 8 of their background light.
  • the registration is based on the assumption that if a three-dimensional representation was perfect, the reprojection of its volume in the plane of the two-dimensional image in depth would correspond exactly to the two-dimensional silhouette in depth.
  • a cost function penalizing the differences between the two-dimensional silhouettes in depth 13 and the reprojected model is used, with a gradient descent method, to iteratively refine the three-dimensional representation.
  • This registration step also makes it possible to compensate for a slight spatial and temporal misalignment between the three-dimensional surface reconstruction 6 and the deep-seated silhouettes 13.
  • This method is therefore used to iteratively reconstruct the three-dimensional representation at depth 1.
  • the present description is given by way of non-limiting example of the invention.
  • the number of cameras 3 and depth imaging devices 7 is not limiting of the invention. Indeed only one depth imaging device 7 is sufficient for the implementation of the invention.
  • only one surface imaging device 3 suffices, even if in this case the generation of a three-dimensional surface representation is more complicated.
  • the surface imaging device 3 acquires an image sequence 4, and each three-dimensional surface representation 6 of the corresponding sequence of three-dimensional representations of surface 6 is constructed from a only image 4.
  • N cameras 3 N sequences each including M images 4, and we create a corresponding sequence of M three-dimensional images of surface 6, each from N simultaneous images taken in each sequence of M images 4.
  • a depth imaging device 7 and eight surface imaging devices 3 are used, with 32 images per sequence.
  • the acquisition technique for surface images 4 is not necessarily a color imaging technique.
  • Other technologies such as a "flight time” camera, or a structured light surface sensor, can be used.
  • the acquisition technique for deep images 8 is not necessarily an X-ray imaging technique.
  • Other techniques, such as ultrasound imaging, can be used.

Abstract

The invention relates to an imaging system and method aimed at constructing a three-dimensional depth image of a patient, which is particularly useful in the field of medical imaging, in particular in the field of X-ray imaging of moving patients. The system includes first imaging means 18 comprising at least one stationary surface-imaging device 3 allowing the acquisition of a sequence of two-dimensional surface images 4 of a patient 2, and a computer processor including a first reconstruction module 5 for constructing a sequence of three-dimensional surface representations 6 of a patient 2 from a series of simultaneous two-dimensional surface images taken in each sequence of two-dimensional surface images 6 acquired by the first imaging means. Second imaging means 19 comprise at least one stationary depth-imaging device 7 allowing the acquisition of a sequence of several two-dimensional depth images 8 of a patient. The computer processor includes a second reconstruction module 9 for constructing a three-dimensional depth representation 1 of the patient from a sequence of three-dimensional surface representations of a patient constructed by the first reconstruction module and a sequence of two-dimensional depth images of the patient acquired by the stationary depth-imaging device.

Description

Système et procédé d'imagerie tridimensionnelle en profondeur  System and method for three-dimensional imaging in depth
La présente invention concerne un système et un procédé d'imagerie visant à construire une représentation tridimensionnelle en profondeur d'un sujet, tel que tout ou partie d'un objet ou d'un corps. Elle trouve notamment une application dans le domaine de l'imagerie médicale, en particulier dans le domaine de la radiographie de sujets en mouvement. Elle peut par exemple être appliquée dans le cas d'une analyse de mouvement dans un contexte de réhabilitation post-opératoire, et plus généralement pour l'analyse de la dynamique interne des articulations d'un patient. The present invention relates to a system and an imaging method for constructing a three-dimensional representation in depth of a subject, such as all or part of an object or a body. It finds particular application in the field of medical imaging, particularly in the field of radiography of moving subjects. It can for example be applied in the case of a motion analysis in a context of postoperative rehabilitation, and more generally for the analysis of the internal dynamics of the joints of a patient.
La capture du mouvement animal ou humain, qui permet une analyse fonctionnelle de ce mouvement, est devenue ces dernières années un sujet de plus en plus important au fil des améliorations des systèmes d'acquisition.  The capture of the animal or human movement, which allows a functional analysis of this movement, has become in recent years an increasingly important subject in the course of the improvements of the acquisition systems.
Il existe un certain nombre de solutions de capture et d'analyse du mouvement en trois dimensions, basées sur l'utilisation de repères visuels portés par le sujet dont on souhaite capturer le mouvement. Ces solutions permettent uniquement de reconstruire une information tridimensionnelle de surface.  There are a number of three-dimensional motion capture and analysis solutions based on the use of visual cues carried by the subject whose motion is to be captured. These solutions only make it possible to reconstruct a three-dimensional surface information.
Inversement, les techniques d'imagerie radiographique permettent la capture d'images de la structure interne d'un sujet en mouvement, mais qui restent des images bidimensionnelles.  Conversely, radiographic imaging techniques allow the capture of images of the internal structure of a moving subject, but which remain two-dimensional images.
Dans le domaine de l'imagerie radiographique, on connaît différentes techniques de tomographie permettant, en déplaçant une caméra à rayons X, d'obtenir un certain nombre d'images bidimensionnelles en profondeur d'un sujet, à partir desquelles on peut reconstruire une image tridimensionnelle en profondeur statique. Ces techniques présentent toutes l'inconvénient de nécessiter le déplacement du capteur à rayons X, l'acquisition d'un nombre relativement important d'images, et sont mal adaptées à l'acquisition d'images d'un sujet en mouvement.  In the field of radiographic imaging, various tomography techniques are known that make it possible, by moving an X-ray camera, to obtain a certain number of two-dimensional images at depth of a subject, from which an image can be reconstructed. three-dimensional in static depth. These techniques all have the disadvantage of requiring the displacement of the X-ray sensor, the acquisition of a relatively large number of images, and are poorly suited to acquiring images of a moving subject.
On connaît par exemple les dispositifs de type scanners tomographiques par ordinateur, très coûteux, qui impliquent une forte dose de radiation et qui requièrent une immobilité totale du sujet dans un environnement confiné.  For example, computer tomographic scanner type devices are very expensive, which involve a high dose of radiation and require total immobility of the subject in a confined environment.
On connaît également les dispositifs tomographiques à faisceau conique modifié autorisant un mouvement pré-étalonné isocentrique du sujet, procurant plus de liberté d'utilisation et impliquant une plus faible dose qu'avec un scanner tomographique par ordinateur, mais qui requièrent néanmoins là encore l'immobilité du sujet. C'est le cas par exemple de la méthode proposée dans la publication de J. H. Siewerdsen, D. J. Moseley, S. Burch, S. K. Bisland, A. Bogaards, B. C. Wilson, and D. A. Jaffray, « Volume CT with a flat-panel detector on a mobile, isocentric C-arm: pre-clinical investigation in guidance of minimally invasive surgery », Médical physics, 32(1 ):241-254, 2005. Also known are the modified cone-beam tomography devices that allow pre-calibrated isocentric movement of the subject, providing greater freedom of use and involving a lower dose than with a computer tomography scanner, but which nevertheless still require immobility of the subject. This is the case, for example, with the method proposed in the publication of JH Siewerdsen, DJ Moseley, S. Burch, SK Bisland, A. Bogaards, BC Wilson, and DA Jaffray, "Volume CT with a flat-panel detector on a mobile, isocentric C-arm: pre-clinical investigation in guidance of minimally invasive surgery ", Medical physics, 32 (1): 241-254, 2005.
On connaît également, de la publication de E. Y. Sidky, C.-M. Kao, and X. Pan, « Accurate image reconstruction from few-views and limited-angle data in divergent-beam et », Journal of X-ray Science and Technology, 14(2): 1 19-139, 2006, une méthode de reconstruction à partir d'un dispositif calibré d'imagerie par rayons X, basée sur l'hypothèse d'un nombre limité d'angles de vue et/ou de prises de vue.  Also known from the publication of E. Y. Sidky, C.-M. Kao, and X. Pan, "Accurate image reconstruction from few-views and limited-angle data in divergent-beam and", Journal of X-ray Science and Technology, 14 (2): 1 19-139, 2006, a method reconstruction from a calibrated X-ray imaging device, based on the assumption of a limited number of viewing angles and / or shots.
Enfin, on connaît des dispositifs à faisceaux bi-planaires permettant de capturer le mouvement de deux points de vue différents. Le nombre de vues étant ainsi très limité, ces dispositifs nécessitent généralement des modèles a priori et/ou une intervention manuelle, et sont limités à la reconstruction tridimensionnelle de quelques points caractéristiques par simple triangulation.  Finally, bi-planar beam devices are known for capturing motion from two different points of view. The number of views is thus very limited, these devices generally require prior models and / or manual intervention, and are limited to the three-dimensional reconstruction of a few characteristic points by simple triangulation.
Aucun des systèmes ou procédés d'imagerie radiographique connus ne permet de générer la reconstruction tridimensionnelle et en profondeur d'un sujet en mouvement, tout en limitant la dose de radioactivité subie par le sujet.  None of the known radiographic imaging systems or methods makes it possible to generate the three-dimensional and in-depth reconstruction of a moving subject, while limiting the dose of radioactivity undergone by the subject.
Un des buts de l'invention est donc notamment de résoudre les problèmes précités. Ainsi, l'invention a notamment pour objectif de proposer un système et un procédé permettant la reconstruction d'images tridimensionnelles d'un sujet en mouvement, qui soit peu coûteux, et qui limite la dose de radioactivité subie par le sujet lorsque la technique d'imagerie radiographique est utilisée.  One of the aims of the invention is, in particular, to solve the aforementioned problems. Thus, one particular object of the invention is to propose a system and a method for reconstructing three-dimensional images of a subject in motion, which is inexpensive, and which limits the dose of radioactivity undergone by the subject when the technique of X-ray imaging is used.
Ainsi, l'invention a pour objet, selon un premier aspect, un système d'imagerie destiné à construire une représentation tridimensionnelle en profondeur d'un sujet, tel que tout ou partie d'un objet ou d'un corps, comprenant des premiers moyens d'imagerie comportant au moins un dispositif fixe d'imagerie de surface apte à permettre l'acquisition d'une séquence de plusieurs images bidimensionnelles de surface d'un sujet, et une unité informatique de traitement comprenant un premier module de reconstruction apte à construire une séquence de représentations tridimensionnelles de surface d'un sujet à partir d'une série d'images bidimensionnelles de surface simultanées prises dans chaque séquence d'images bidimensionnelles de surface acquise par les premiers moyens d'imagerie.  Thus, according to a first aspect, the subject of the invention is an imaging system intended to construct a three-dimensional representation at depth of a subject, such as all or part of an object or a body, comprising first imaging means comprising at least one fixed surface imaging device capable of enabling the acquisition of a sequence of several two-dimensional surface images of a subject, and a processing computer unit comprising a first reconstruction module able to constructing a sequence of three-dimensional surface representations of a subject from a series of simultaneous two-dimensional surface images taken in each two-dimensional surface image sequence acquired by the first imaging means.
Le dispositif comprend également des deuxièmes moyens d'imagerie comportant au moins un dispositif fixe d'imagerie en profondeur apte à permettre l'acquisition d'une séquence de plusieurs images bidimensionnelles en profondeur d'un sujet.  The device also comprises second imaging means comprising at least one fixed depth imaging device capable of enabling the acquisition of a sequence of several two-dimensional images at depth of a subject.
L'unité informatique de traitement comprend un deuxième module de reconstruction apte à construire une représentation tridimensionnelle en profondeur du sujet à partir d'une séquence de représentations tridimensionnelles de surface du sujet construite par le premier module de reconstruction et d'une séquence d'images bidimensionnelles en profondeur du sujet acquises par le dispositif fixe d'imagerie en profondeur. The computing processing unit comprises a second reconstruction module capable of constructing a three-dimensional representation in depth of the subject from a sequence of three-dimensional surface representations of the subject constructed by the first reconstruction module and a sequence of two-dimensional depth images of the subject acquired by the fixed depth imaging device.
Suivant certains modes de réalisation, le système comprend en outre une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toutes les combinaisons techniquement possibles :  According to some embodiments, the system further comprises one or more of the following features, taken in isolation or in any technically feasible combination:
- le deuxième module de reconstruction comprend un sous-module de détermination de pose initiale apte à déterminer, pour chaque représentation tridimensionnelle de surface, une pose initiale définissant la position de chaque point de ladite représentation tridimensionnelle de surface par rapport à la position de ce dit point dans une représentation tridimensionnelle de surface de référence, et le deuxième module de reconstruction comprend un sous-module de traitement apte à reconstruire une représentation tridimensionnelle en profondeur du sujet à partir de la séquence de poses initiales obtenues par le sous-module de détermination de pose initiale et de la séquence d'images bidimensionnelles en profondeur du sujet obtenue par les deuxièmes moyens d'imagerie ;  the second reconstruction module comprises an initial pose determination submodule capable of determining, for each three-dimensional surface representation, an initial pose defining the position of each point of said three-dimensional surface representation with respect to the position of said point in a three-dimensional reference surface representation, and the second reconstruction module includes a processing sub-module adapted to reconstruct a three-dimensional representation at depth of the subject from the sequence of initial poses obtained by the sub-module of determination of initial pose and the sequence of two-dimensional images in depth of the subject obtained by the second imaging means;
- le deuxième module de reconstruction comprend un sous-module de recalage de pose apte à recaler chaque pose initiale avec une séquence d'images bidimensionnelles en profondeur du sujet obtenues par les deuxièmes moyens d'imagerie, et à générer une pose recalée, et le sous-module de traitement est apte à reconstruire une représentation tridimensionnelle en profondeur du sujet à partir d'une séquence de poses recalées obtenue par le sous-module de recalage de pose et de la séquence d'images bidimensionnelles en profondeur du sujet obtenue par les deuxièmes moyens d'imagerie ;  the second reconstruction module comprises a pose resetting submodule able to readjust each initial pose with a sequence of two-dimensional depth-of-depth images of the subject obtained by the second imaging means, and to generate a recalibrated pose, and the processing sub-module is able to reconstruct a three-dimensional representation of the depth of the subject from a reordered poses sequence obtained by the pose registration sub-module and the two-dimensional image sequence at depth of the subject obtained by the second imaging means;
- le premier module de reconstruction comprend un sous-module de maillage apte à créer une séquence de maillages tridimensionnels du sujet à partir d'une série d'images bidimensionnelles de surface simultanées prises dans chaque séquence d'images bidimensionnelles de surface acquise par les premiers moyens d'imagerie, et le deuxième module de reconstruction est apte à construire la représentation tridimensionnelle en profondeur du sujet à partir d'une séquence de maillages tridimensionnels du sujet construite par le sous-module de maillage et de la séquence d'images bidimensionnelles en profondeur du sujet obtenue par les deuxièmes moyens d'imagerie ;  the first reconstruction module comprises a mesh submodule able to create a sequence of three-dimensional meshes of the subject from a series of simultaneous two-dimensional surface images taken in each sequence of two-dimensional surface images acquired by the first imaging means, and the second reconstruction module is capable of constructing the three-dimensional representation in depth of the subject from a sequence of three-dimensional meshes of the subject constructed by the mesh sub-module and the two-dimensional image sequence in depth of the subject obtained by the second imaging means;
- l'unité informatique de traitement comprend un premier module de segmentation apte à créer une séquence de silhouettes bidimensionnelles de surface d'un sujet à partir d'une séquence d'images bidimensionnelles de surface du sujet acquise par les premiers moyens d'imagerie, en segmentant chaque image bidimensionnelles de surface de son arrière-plan, et le premier module de reconstruction est apte à construire la séquence de représentations tridimensionnelles de surface d'un sujet à partir d'une série de silhouette bidimensionnelles de surface simultanées prises dans chaque séquence d'images bidimensionnelles de surface obtenues par le premier module de segmentation ; the processing computer unit comprises a first segmentation module capable of creating a sequence of two-dimensional surface silhouettes of a subject from a sequence of two-dimensional surface images of the subject acquired by the first subjects; imaging means, by segmenting each two-dimensional surface image of its background, and the first reconstruction module is able to construct the sequence of three-dimensional surface representations of a subject from a series of two-dimensional surface silhouette simultaneously taken in each sequence of two-dimensional surface images obtained by the first segmentation module;
- l'unité de traitement informatique comprend un deuxième module de segmentation apte à créer une séquence de silhouettes bidimensionnelles en profondeur d'un sujet à partir d'une séquence d'images bidimensionnelles en profondeur du sujet acquise par le dispositif fixe d'imagerie en profondeur, en segmentant chaque image bidimensionnelle en profondeur de son arrière-plan, et le deuxième module de reconstruction est apte à construire la représentation tridimensionnelle en profondeur du sujet à partir de la séquence de représentations tridimensionnelles de surface du sujet construite par le premier module de reconstruction et d'une séquence d'images bidimensionnelles en profondeur du sujet ;  the computer processing unit comprises a second segmentation module capable of creating a sequence of two-dimensional silhouettes in depth of a subject from a sequence of two-dimensional images at depth of the subject acquired by the fixed imaging device; depth, by segmenting each two-dimensional image in depth of its background, and the second reconstruction module is able to construct the three-dimensional representation in depth of the subject from the sequence of three-dimensional surface representations of the subject constructed by the first module of reconstruction and a sequence of two-dimensional images in depth of the subject;
- le dispositif d'imagerie de surface est un dispositif d'imagerie couleur, d'imagerie « temps de vol » ou un capteur de surface par lumière structurée, et le dispositif d'imagerie en profondeur est un dispositif d'imagerie par rayons X ou par ultrasons ;  the surface imaging device is a color imaging, "flight time" imaging or structured light surface sensor, and the depth imaging device is an X-ray imaging device or by ultrasound;
L'invention a également pour objet, selon un deuxième aspect, un procédé d'imagerie destiné à construire une représentation tridimensionnelle en profondeur d'un sujet, tel que tout ou partie d'un objet ou d'un corps, comprenant une première étape d'acquisition d'au moins une séquence de plusieurs images bidimensionnelles de surface du sujet par des premiers moyens d'imagerie comportant au moins un dispositif fixe d'imagerie de surface, une première étape de reconstruction, par un premier module de reconstruction d'une unité de traitement informatique, d'au moins une séquence de représentations tridimensionnelles de surface du sujet à partir d'une série d'images bidimensionnelles de surface simultanées prises dans chaque séquence d'images bidimensionnelles de surface acquise par la première étape d'acquisition.  The invention also provides, according to a second aspect, an imaging method for constructing a three-dimensional representation at depth of a subject, such as all or part of an object or a body, comprising a first step of acquiring at least one sequence of several two-dimensional surface images of the subject by first imaging means comprising at least one fixed surface imaging device, a first reconstruction step, by a first reconstruction module of a computer processing unit, at least one sequence of three-dimensional representations of the subject's surface from a series of simultaneous two-dimensional surface images taken in each two-dimensional surface image sequence acquired by the first acquisition step .
Le procédé comprend également une deuxième étape d'acquisition d'au moins une séquence de plusieurs images bidimensionnelles en profondeur du sujet, par des deuxièmes moyens d'imagerie comportant au moins un dispositif fixe d'imagerie en profondeur, et une deuxième étape de reconstruction, par un deuxième module de reconstruction de l'unité de traitement informatique, d'une représentation tridimensionnelle en profondeur du sujet à partir de la séquence de représentations tridimensionnelles de surface du sujet construite à la première étape de reconstruction et de la séquence d'images bidimensionnelles en profondeur du sujet acquise par la deuxième étape d'acquisition. The method also comprises a second step of acquiring at least one sequence of several two-dimensional images at depth of the subject, by second imaging means comprising at least one fixed device for deep imaging, and a second reconstruction step by a second reconstruction module of the computer processing unit, a three-dimensional representation in depth of the subject from the sequence of three-dimensional surface representations of the subject constructed in the first reconstruction step and the image sequence two-dimensional depth of the subject acquired by the second stage acquisition.
Suivant certains modes de mise en œuvre, le procédé comprend en outre une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toutes les combinaisons techniquement possibles :  According to certain embodiments, the method also comprises one or more of the following characteristics, taken individually or in any technically possible combination:
- la deuxième étape de reconstruction comprend d'une part une étape de détermination de pose initiale, par un sous-module de détermination de pose initiale du deuxième module de reconstruction, permettant de déterminer, pour chaque représentation tridimensionnelle de surface, une pose initiale définissant la position de chaque point de ladite représentation tridimensionnelle de surface par rapport à la position de ce dit point dans une représentation tridimensionnelle de surface de référence, et d'autre part une étape de traitement, par un sous-module de traitement du deuxième module de reconstruction, pour reconstruire la représentation tridimensionnelle en profondeur du sujet à partir de la séquence de poses initiales déterminée par l'étape de détermination de pose initiale et de la séquence d'images bidimensionnelles en profondeur du sujet acquise par la deuxième étape d'acquisition ;  the second reconstruction step comprises, on the one hand, an initial laying determination step, by an initial laying determination sub-module of the second reconstruction module, making it possible to determine, for each three-dimensional surface representation, an initial pose defining the position of each point of said three-dimensional surface representation with respect to the position of said point in a three-dimensional reference surface representation, and secondly a processing step, by a processing sub-module of the second module of reconstruction, for reconstructing the three-dimensional representation at depth of the subject from the sequence of initial poses determined by the step of determining the initial pose and the sequence of two-dimensional images at depth of the subject acquired by the second acquisition step;
- la représentation tridimensionnelle de surface de référence est obtenue à partir d'un modèle externe, ou d'une combinaison de tout ou partie des représentations tridimensionnelles de surface de la séquence de représentations tridimensionnelle de surface.  the three-dimensional reference surface representation is obtained from an external model, or from a combination of all or part of the three-dimensional surface representations of the three-dimensional surface representation sequence.
- la deuxième étape de reconstruction comprend une étape de recalage de pose, par un sous-module de recalage du deuxième module de reconstruction, pour recaler chaque pose initiale avec la séquence d'images bidimensionnelles en profondeur du sujet obtenue par la deuxième étape d'acquisition, et générer une pose recalée, et l'étape de traitement reconstruit la représentation tridimensionnelle en profondeur du sujet à partir de la séquence de poses recalée par l'étape de recalage de pose et de la séquence d'images bidimensionnelles en profondeur du sujet acquise par la deuxième étape d'acquisition ;  the second reconstruction step comprises a step of resetting the pose, by a recalibration sub-module of the second reconstruction module, to reset each initial pose with the sequence of two-dimensional images at depth of the subject obtained by the second step of acquisition, and generate a fixed pose, and the processing step reconstructs the three-dimensional representation in depth of the subject from the poses sequence recaled by the pose registration step and the two-dimensional image sequence at depth of the subject acquired by the second stage of acquisition;
- la première étape de reconstruction comprend une étape de maillage, par un sous-module de maillage du premier module de reconstruction, pour créer un maillage tridimensionnel du sujet à partir d'une série d'images bidimensionnelles de surface simultanées prises dans chaque séquence d'images bidimensionnelles de surface acquise par la première étape d'acquisition, et la deuxième étape de reconstruction reconstruit la représentation tridimensionnelle en profondeur du sujet à partir de la séquence de maillage tridimensionnel du sujet construite à l'étape de maillage et de la séquence d'images bidimensionnelles en profondeur du sujet acquise par la deuxième étape d'acquisition ; the first reconstruction step comprises a mesh step, by a mesh sub-module of the first reconstruction module, to create a three-dimensional mesh of the subject from a series of simultaneous two-dimensional surface images taken in each sequence of two-dimensional surface images acquired by the first acquisition step, and the second reconstruction step reconstructs the three-dimensional representation in depth of the subject from the three-dimensional mesh sequence of the subject constructed in the mesh step and the sequence of the two-dimensional images in depth of the subject acquired by the second acquisition stage;
- la première étape d'acquisition comprend une première étape de segmentation, par un premier module de segmentation, pour créer une séquence de silhouettes bidimensionnelle de surface du sujet à partir de chaque séquence d'images bidimensionnelles de surface du sujet préalablement acquise, en segmentant lesdites images bidimensionnelles de surface de leurs arrière-plans, et la première étape de reconstruction reconstruit la séquence de représentations tridimensionnelles de surface du sujet à partir d'une série de silhouettes bidimensionnelles de surface simultanées prises dans chaque séquence de silhouettes bidimensionnelles de surface obtenue par la première étape de segmentation ;  the first acquisition step comprises a first segmentation step, by a first segmentation module, for creating a sequence of two-dimensional surface silhouettes of the subject from each sequence of two-dimensional surface images of the subject previously acquired, by segmenting said two-dimensional surface images of their backgrounds, and the first reconstruction step reconstructing the sequence of three-dimensional surface representations of the subject from a series of simultaneous two-dimensional surface silhouettes taken in each sequence of two-dimensional surface silhouettes obtained by the first stage of segmentation;
- la deuxième étape d'acquisition comprend une deuxième étape de segmentation, par un deuxième module de segmentation, pour créer une séquence de silhouettes bidimensionnelles en profondeur du sujet à partir de la séquence d'images bidimensionnelles en profondeur du sujet acquise par la deuxième étape d'acquisition, en segmentant lesdites images bidimensionnelles en profondeur de leurs arrière-plans, et la deuxième étape de reconstruction construit la représentation tridimensionnelle en profondeur du sujet à partir de la séquence de représentations tridimensionnelles de surface du sujet construite à la première étape de reconstruction, de la séquence d'images bidimensionnelles en profondeur obtenues par les deuxièmes moyens d'imagerie, et de la séquence de silhouettes bidimensionnelles en profondeur du sujet obtenue par la deuxième étape de segmentation ;  the second acquisition step comprises a second segmentation step, by a second segmentation module, to create a sequence of two-dimensional silhouettes in depth of the subject from the two-dimensional image sequence at depth of the subject acquired by the second step of acquisition, by segmenting said two-dimensional images in depth of their backgrounds, and the second reconstruction step constructs the three-dimensional representation in depth of the subject from the sequence of three-dimensional surface representations of the subject constructed in the first reconstruction step , the sequence of two-dimensional depth images obtained by the second imaging means, and the sequence of two-dimensional silhouettes depth of the subject obtained by the second segmentation step;
- préalablement aux première et deuxième étapes d'acquisition, les dispositifs fixes d'imagerie de surface et d'imagerie en profondeur sont calibrés dans un système de coordonnées commun ;  prior to the first and second acquisition steps, the fixed surface imaging and depth imaging devices are calibrated in a common coordinate system;
- la première étape d'acquisition est une étape d'acquisition par dispositifs d'imagerie couleur, d'imagerie « temps de vol » ou de type capteurs de surface par lumière structurée, et la deuxième étape d'acquisition est une étape d'acquisition par dispositifs à rayons X ou ultrasons.  the first acquisition step is a step of acquisition by color imaging devices, "flight time" imaging or structured light-based surface sensors, and the second acquisition step is a step of acquisition by X-ray or ultrasound devices.
Ainsi, la capture simultanée du mouvement de la structure interne du sujet, tel que le squelette ou une partie du squelette d'une personne ou d'un animal, et de la surface externe de ce sujet, ouvre des possibilités d'analyse de mouvement importantes, telle que l'analyse de mouvement dans le cas d'une réhabilitation post-opératoire, et plus généralement l'analyse de la dynamique interne des articulations d'un patient.  Thus, the simultaneous capture of the movement of the internal structure of the subject, such as the skeleton or part of the skeleton of a person or an animal, and the external surface of this subject, opens possibilities of motion analysis. important, such as motion analysis in the case of postoperative rehabilitation, and more generally the analysis of the internal dynamics of a patient's joints.
La combinaison d'au moins un dispositif d'imagerie bidimensionnelle de surface et d'au moins un dispositif d'imagerie bidimensionnelle en profondeur, tel qu'un dispositif d'imagerie par rayons X ou par ultrasons, permet l'acquisition du mouvement, rigide ou non, d'un sujet sans utilisation de marqueurs. The combination of at least one two-dimensional surface imaging device and at least one two-dimensional depth imaging device, such as a device X-ray imaging or ultrasound, allows the acquisition of movement, rigid or not, a subject without the use of markers.
L'ensemble des dispositifs d'acquisition reste statique, ce qui élimine la nécessité d'utiliser des systèmes mobiles complexes qui doivent être contrôlés de façon extrêmement fine, et qui sont coûteux.  The set of acquisition devices remains static, which eliminates the need to use complex mobile systems that must be controlled extremely finely, and are expensive.
Par ailleurs, le nombre d'images bidimensionnelles en profondeur nécessaire à la reconstruction est limité, ce qui réduit fortement la dose de radioactivité subie par le sujet lorsque la technique d'imagerie radiographique est utilisée.  In addition, the number of two-dimensional depth images required for reconstruction is limited, which greatly reduces the dose of radioactivity undergone by the subject when the radiographic imaging technique is used.
Le système et le procédé de l'invention n'utilisent pas de modèles, tels qu'un modèle anatomique du sujet, éliminant ainsi les problématiques de détermination du modèle et de son ajustement.  The system and method of the invention do not use models, such as an anatomical model of the subject, thus eliminating the problems of determining the model and its adjustment.
Aussi, le système et le procédé de l'invention permettent la reconstruction de l'image tridimensionnelle en profondeur d'un sujet de forme inconnue.  Also, the system and the method of the invention allow the reconstruction of the three-dimensional image in depth of a subject of unknown form.
Selon le système et le procédé de l'invention, le mouvement éventuel du sujet n'est pas considéré comme du bruit, mais est au contraire utilisé pour la reconstruction.  According to the system and method of the invention, the eventual movement of the subject is not considered as noise, but is instead used for reconstruction.
Les caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple, et non limitative, en référence aux figures annexées suivantes :  The characteristics and advantages of the invention will appear on reading the description which follows, given solely by way of example, and not by way of limitation, with reference to the following appended figures:
figure 1 : représentation schématique d'un exemple de système et de procédé selon l'invention ;  FIG. 1: schematic representation of an exemplary system and method according to the invention;
figure 2 : représentation schématique d'un mode de réalisation et de mise en œuvre d'une partie du système et du procédé de la figure 1 relative à l'acquisition de surface ;  Figure 2: schematic representation of an embodiment and implementation of a part of the system and the method of Figure 1 relating to the acquisition of surface;
figure 3 : représentation schématique d'un mode de réalisation et de mise en œuvre de la partie du système et du procédé de la figure 1 relative à l'acquisition en profondeur.  Figure 3: schematic representation of an embodiment and implementation of the part of the system and the method of Figure 1 relating to the acquisition in depth.
L'exemple décrit en référence aux figures 1 à 3 est basé sur l'utilisation d'une source d'image par rayons X pour l'acquisition d'informations sur la structure interne du sujet, combinée avec un ensemble de caméras couleurs utilisées pour construire la représentation tridimensionnelle de surface du sujet, le tout suivi sur une période de temps donnée.  The example described with reference to FIGS. 1 to 3 is based on the use of an X-ray image source for the acquisition of information on the internal structure of the subject, combined with a set of color cameras used for construct the three-dimensional representation of the subject's surface, all followed over a given period of time.
Le système comprend ainsi des premiers moyens d'imagerie 18. Ces moyens d'imagerie 18 comprennent eux-mêmes au moins un dispositif fixe d'imagerie de surface 3, tel qu'une caméra couleur 3, une caméra « temps de vol », ou un capteur de surface par lumière structurée. Dans l'exemple représenté à la figure 1 , les moyens d'imagerie 18 comprennent trois dispositifs d'imagerie fixes de surface 3. The system thus comprises first imaging means 18. These imaging means 18 themselves comprise at least one fixed surface imaging device 3, such as a color camera 3, a "flight time" camera, or a structured light surface sensor. In the example shown in FIG. 1, the imaging means 18 include three fixed surface imaging devices 3.
Chaque caméra 3 permet d'acquérir une séquence d'images bidimensionnelles de surface 4 du sujet 2, en l'occurrence la main 2 d'une personne, disposée dans le volume d'acquisition, c'est-à-dire le volume observable par les caméras 3.  Each camera 3 makes it possible to acquire a sequence of two-dimensional surface images 4 of the subject 2, in this case the hand 2 of a person, arranged in the acquisition volume, that is to say the observable volume by the cameras 3.
Une unité informatique de traitement, non représentée sur les figures, permet, au moyen d'un premier module de reconstruction 5, de construire une série de représentations tridimensionnelles de surface 6 du sujet 2, à partir de séries d'images bidimensionnelles de surface 4 simultanées, prises dans chaque séquence d'images bidimensionnelles de surface 4 acquise par les caméras 3.  A processing computer unit, not shown in the figures, makes it possible, by means of a first reconstruction module 5, to construct a series of three-dimensional surface representations 6 of the subject 2, starting from series of two-dimensional surface images 4 simultaneous, taken in each sequence of two-dimensional images of surface 4 acquired by the cameras 3.
Par ailleurs, le système comprend également des deuxièmes moyens d'imagerie 19. Ces moyens d'imagerie 19 comprennent au moins un dispositif fixe d'imagerie en profondeur 7, par exemple de type dispositif d'imagerie par rayons X ou par ultrasons.  Furthermore, the system also comprises second imaging means 19. These imaging means 19 comprise at least one fixed depth imaging device 7, for example of the X-ray or ultrasound imaging device type.
Le dispositif fixe d'imagerie en profondeur 7 permet d'acquérir une séquence d'images bidimensionnelles en profondeur 8 du sujet 2.  The fixed depth imaging device 7 makes it possible to acquire a sequence of two-dimensional images at depth 8 of the subject 2.
L'unité informatique de traitement permet par ailleurs, au moyen d'un deuxième module de reconstruction 9, de construire une représentation tridimensionnelle en profondeur 1 , à partir d'une part d'une séquence de poses initiales 17, dans laquelle chaque pose initiale 17 est dérivée d'une représentation tridimensionnelle de surface 6, et d'autre part d'une séquence d'images bidimensionnelles en profondeur 8 acquises par le dispositif fixe d'imagerie en profondeur 7.  The processing computer unit also makes it possible, by means of a second reconstruction module 9, to construct a three-dimensional representation in depth 1, starting on the one hand from an initial sequence of poses 17, in which each initial pose 17 is derived from a three-dimensional representation of surface 6, and secondly from a sequence of two-dimensional depth images 8 acquired by the fixed depth imaging device 7.
La notion de pose initiale 17 sera expliquée plus en détail en référence à la figure 2, un peu plus loin.  The notion of initial pose 17 will be explained in more detail with reference to FIG. 2, a little further.
Les caméras 3 et le dispositif fixe d'imagerie en profondeur 7 doivent de préférence être calibrés, dans un système de coordonnées commun, préalablement à l'acquisition des images 4, 8.  The cameras 3 and the fixed depth imaging device 7 must preferably be calibrated, in a common coordinate system, prior to the acquisition of the images 4, 8.
Dans un mode de réalisation et de mise en œuvre, dont quelques détails sont représentés à la figure 2, la représentation tridimensionnelle de surface 6 prend la forme d'un maillage tridimensionnel 6, créé par un sous-module de maillage 5a du premier module de reconstruction 5, à partir des séries d'images bidimensionnelles de surface 4 simultanées prises dans chaque séquence d'images bidimensionnelles de surface 4.  In one embodiment and implementation, some details of which are represented in FIG. 2, the three-dimensional representation of surface 6 takes the form of a three-dimensional mesh 6, created by a mesh sub-module 5a of the first module of FIG. reconstruction 5, starting from the series of simultaneous two-dimensional surface images 4 taken in each sequence of two-dimensional surface images 4.
De préférence, préalablement à la mise en œuvre du sous-module de maillage 5b pour l'obtention du maillage tridimensionnel 6, les images bidimensionnelles de surface 4 sont segmentées, au moyen d'un premier module de segmentation 10 de l'unité informatique de traitement, en sorte de créer des séquences de silhouettes bidimensionnelles de surface 1 1 qui correspondent aux images bidimensionnelles de surface 4 segmentées de leur arrière-plan. Preferably, prior to the implementation of the mesh sub-module 5b for obtaining the three-dimensional mesh 6, the two-dimensional surface images 4 are segmented, by means of a first segmentation module 10 of the computer unit of FIG. processing, so as to create sequences of two-dimensional surface silhouettes 1 1 which correspond to two-dimensional images of segmented surface 4 of their background.
Dans un mode de réalisation particulier, chaque image bidimensionnelle de surface 4 est segmentée séparément des autres. Dans ce cas, soit le premier module de segmentation 10 est mis en œuvre successivement pour segmenter chaque image bidimensionnelle de surface 4, soit plusieurs modules de segmentation 10 sont mis en œuvre en parallèle pour segmenter plusieurs images bidimensionnelles de surface 4 simultanément.  In a particular embodiment, each two-dimensional surface image 4 is segmented separately from the others. In this case, either the first segmentation module 10 is implemented successively to segment each two-dimensional surface image 4, or several segmentation modules 10 are implemented in parallel to segment several two-dimensional images of surface 4 simultaneously.
Dans un autre mode de réalisation particulier, un unique module de segmentation 10 segmente parallèlement tout ou partie des images bidimensionnelles de surface 4, par exemple en utilisant certaines parties de certaines des images pour la segmentation d'autres images.  In another particular embodiment, a single segmentation module 10 sequentially segments all or part of the two-dimensional surface images 4, for example by using certain portions of some of the images for the segmentation of other images.
D'une façon plus générale, il est possible d'utiliser une combinaison des modes de réalisation mentionnés ci-dessus pour la segmentation, à savoir une combinaison de segmentations individuelles et successives pour certaines des images bidimensionnelles de surface 4, de segmentation individuelles et parallèles d'autres images bidimensionnelles de surface 4, et de segmentation combinée et parallèle d'autres encore images bidimensionnelles de surface 4.  More generally, it is possible to use a combination of the above-mentioned embodiments for segmentation, namely a combination of individual and successive segmentations for some of the two-dimensional surface images 4, of individual and parallel segmentation. other two-dimensional images of surface 4, and of combined and parallel segmentation of still others two-dimensional surface images 4.
Les maillages tridimensionnels 6 peuvent être obtenus par un algorithme de type enveloppes visuelles polyédrales.  The three-dimensional meshes 6 can be obtained by an algorithm of the polyhedral visual envelope type.
Les maillages tridimensionnels 6 ainsi obtenus sont ensuite comparés à un maillage de référence 21 , ou représentation tridimensionnelle de surface de référence 21 , par un sous-module de détermination de pose initiale 9a du deuxième module de reconstruction 9.  The three-dimensional meshes 6 thus obtained are then compared to a reference mesh 21, or three-dimensional representation of reference surface 21, by an initial pose determination sub-module 9a of the second reconstruction module 9.
Ce maillage de référence 21 peut être par exemple le maillage 6 correspondant à la première série d'images bidimensionnelles de surface 4 simultanées prises dans chaque séquence d'images bidimensionnelles de surface 4, donc au premier maillage 6 de la séquence de maillages 6.  This reference mesh 21 may be, for example, the mesh 6 corresponding to the first series of simultaneous two-dimensional surface images 4 taken in each two-dimensional image sequence of surface 4, thus to the first mesh 6 of the mesh sequence 6.
Il peut aussi s'agir du maillage 6 correspondant à l'une quelconque des série d'images bidimensionnelles de surface 4 simultanées prises dans la séquence d'images bidimensionnelles de surface 4, donc à l'un quelconque des maillages 6 de la séquence de maillages 6.  It may also be the mesh 6 corresponding to any one of the series of simultaneous two-dimensional surface images 4 taken in the sequence of two-dimensional surface images 4, therefore to any one of the meshes 6 of the sequence of meshes 6.
Plus généralement, ce maillage de référence 21 peut être une combinaison, telle que la moyenne, de tout ou partie des maillages 6 de la séquence de maillages 6.  More generally, this reference mesh 21 can be a combination, such as the average, of all or part of the meshes 6 of the mesh sequence 6.
Alternativement, ce maillage de référence 21 peut aussi provenir d'un modèle extérieur au système. Plus précisément, le sous-module de détermination de pose initiale 9a utilise un algorithme robuste de type « itérative closest point » ou ICP, avec détection des aberrations. Alternatively, this reference mesh 21 may also come from a model outside the system. Specifically, the initial pose determination sub-module 9a uses a robust algorithm of the "iterative closest point" or ICP type, with detection of aberrations.
Ceci permet de déterminer comment les points de chaque maillage tridimensionnel 6 se positionnent, en translation et en rotation, par rapport à leur position, en translation et rotation, dans le maillage de référence 21.  This makes it possible to determine how the points of each three-dimensional mesh 6 are positioned, in translation and in rotation, with respect to their position, in translation and rotation, in the reference mesh 21.
On obtient ainsi, en sortie du sous-module de détermination de pose initiale 9a, une séquence de poses initiales 17.  Thus, at the output of the initial pose determination sub-module 9a, an initial sequence of poses 17 is obtained.
Comme on peut le voir sur la figure 3, ensuite, un sous-module de traitement 9c du module de reconstruction 9 permet de reconstruire la représentation tridimensionnelle en profondeur 1 du sujet 2 à partir de la séquence de poses initiales 17 obtenues par le sous-module de détermination de pose initiale 9a et de la séquence d'images bidimensionnelles en profondeur 8, 13 du sujet 2 obtenue par les deuxièmes moyens d'imagerie 19.  As can be seen in FIG. 3, then, a processing sub-module 9c of the reconstruction module 9 makes it possible to reconstruct the three-dimensional representation at depth 1 of the subject 2 from the sequence of initial poses 17 obtained by the sub-module. initial pose determination module 9a and the two-dimensional depth image sequence 8, 13 of the subject 2 obtained by the second imaging means 19.
Dans un mode de réalisation et de mise en œuvre, dont quelques détails sont représentés à la figure 3, préalablement à la reconstruction par le sous-module de traitement 9c, de la représentation tridimensionnelle en profondeur 1 , on effectue un recalage, par un module de recalage de pose 9b du module de reconstruction 9, des images bidimensionnelles en profondeur 8 et de la représentation tridimensionnelle de surface 6.  In one embodiment and implementation, some details of which are shown in FIG. 3, prior to the reconstruction by the processing sub-module 9c of the three-dimensional representation in depth 1, a registration is carried out by a module 9b of the reconstruction module 9, the two-dimensional depth images 8 and the three-dimensional surface representation 6.
Ce recalage génère une séquence de poses recalées 15, et le sous-module de traitement 9c reconstruit alors la représentation tridimensionnelle en profondeur 1 du sujet 2 à partir de la séquence de poses recalées 15 ainsi obtenues, et de la séquence d'images bidimensionnelles en profondeur 8, 13 du sujet 2 obtenue par les deuxièmes moyens d'imagerie 19.  This registration generates a sequence of corrected poses 15, and the processing sub-module 9c then reconstructs the three-dimensional representation at depth 1 of the subject 2 from the set of reshaped poses thus obtained, and the two-dimensional image sequence. depth 8, 13 of the subject 2 obtained by the second imaging means 19.
Ce recalage permet d'améliorer la représentation tridimensionnelle de surface 6, dans la mesure où les maillages tridimensionnels 6 comprennent des artefacts dus à la méthode et au nombre limité de caméras 3 utilisées, qui génèrent du bruit lors de la création de cette représentation tridimensionnelle de surface 6.  This registration makes it possible to improve the three-dimensional surface representation 6, insofar as the three-dimensional meshes 6 comprise artifacts due to the method and to the limited number of cameras 3 used, which generate noise during the creation of this three-dimensional representation of surface 6.
Dans ce but, on met en œuvre le recalage de préférence non pas sur les images bidimensionnelles en profondeur 8 mais sur des images segmentées 13 de ces images bidimensionnelles en profondeur 8.  For this purpose, the registration is implemented preferably not on the two-dimensional images in depth 8 but on segmented images 13 of these two-dimensional images in depth 8.
Ainsi, préalablement à la mise en œuvre d'un sous-module de recalage 12b, les images bidimensionnelles en profondeur 8 sont segmentées, au moyen d'un deuxième module de segmentation 12, en sorte de créer des séquences de silhouettes bidimensionnelles en profondeur 13 qui correspondent aux images bidimensionnelles en profondeur 8 segmentées de leur lumière d'arrière-plan. Thus, prior to the implementation of a resetting sub-module 12b, the two-dimensional depth images 8 are segmented, by means of a second segmentation module 12, so as to create sequences of silhouettes two-dimensional deep 13 which correspond to the segmented two-dimensional depth images 8 of their background light.
Dans le cas où l'on utilise plusieurs dispositifs fixes d'imagerie en profondeur 7, les considérations sur la mise en œuvre du premier module de segmentation 10 présentée plus haut en référence à la figure 1 , s'appliquent également à la mise en œuvre de ce deuxième module de segmentation 12.  In the case where several fixed depth imaging devices 7 are used, the considerations relating to the implementation of the first segmentation module 10 presented above with reference to FIG. 1, also apply to the implementation. of this second segmentation module 12.
Le recalage est basé sur l'hypothèse selon laquelle si une représentation tridimensionnelle était parfaite, la reprojection de son volume dans le plan de l'image bidimensionnelle en profondeur correspondrait exactement à la silhouette bidimensionnelle en profondeur.  The registration is based on the assumption that if a three-dimensional representation was perfect, the reprojection of its volume in the plane of the two-dimensional image in depth would correspond exactly to the two-dimensional silhouette in depth.
Une fonction de coût pénalisant les différences entre les silhouettes bidimensionnelles en profondeur 13 et le modèle reprojeté est utilisée, avec une méthode de descente de gradient, pour affiner de façon itérative la représentation tridimensionnelle.  A cost function penalizing the differences between the two-dimensional silhouettes in depth 13 and the reprojected model is used, with a gradient descent method, to iteratively refine the three-dimensional representation.
Cette étape de recalage permet aussi de compenser un léger désalignement spatial et temporel entre la reconstruction tridimensionnelle de surface 6 et les silhouettes en profondeur 13.  This registration step also makes it possible to compensate for a slight spatial and temporal misalignment between the three-dimensional surface reconstruction 6 and the deep-seated silhouettes 13.
Pour obtenir la représentation tridimensionnelle en profondeur 1 , par le module de reconstruction 9, en particulier par le sous-module de reconstruction ou traitement 9c, on peut utiliser la méthode décrite par S. Kaczmarz dans « Angenàherte auflosung von systemen linearer gleichungen », Bulletin International de l'Académie Polonaise des Sciences et des Lettres, Classe des Sciences Mathématiques et Naturelles, Série A, Sciences Mathématiques, pages 355-357, 1937 (aussi appelée la Technique de Reconstruction Algébrique ou ART).  To obtain the three-dimensional representation at depth 1, by the reconstruction module 9, in particular by the reconstruction or processing sub-module 9c, the method described by S. Kaczmarz in "Angenàherte auflosung von systemen linearer gleichungen", Bulletin International Academy of Sciences and Letters, Class of Mathematical and Natural Sciences, Series A, Mathematical Sciences, pages 355-357, 1937 (also called the Algebraic Reconstruction Technique or ART).
Cette méthode est donc utilisée pour reconstruire de façon itérative la représentation tridimensionnelle en profondeur 1.  This method is therefore used to iteratively reconstruct the three-dimensional representation at depth 1.
Il est ainsi nécessaire que l'acquisition de la ou des séquences d'images bidimensionnelles de surface 4 par les premiers moyens d'imagerie 18 et l'acquisition de la ou des séquences d'images bidimensionnelles en profondeur 8 par les deuxièmes moyens d'imagerie 19, soient simultanées.  It is thus necessary that the acquisition of the two-dimensional image sequence (s) 4 by the first imaging means 18 and the acquisition of the two-dimensional image sequence (s) in depth 8 by the second means of imaging. imaging 19, be simultaneous.
Dans la mesure où la quantité et la nature des données observées peuvent rendre le problème localement mal posé, on peut constater un bruit de haute fréquence dans le résultat. Aussi, sur la base de l'hypothèse selon laquelle les organismes vivants peuvent être modélisés par un ensemble relativement homogène de tissus, une adaptation tridimensionnelle de la méthode de Rudin et al. « Nonlinear total variation based noise removal algorithms » décrite dans Physica D:Nonlinear Phenomena, 60(1 ):259-268, 1992, est appliquée sur la représentation tridimensionnelle entre chaque itération. Since the amount and nature of the observed data may make the problem locally misplaced, high frequency noise can be seen in the result. Also, based on the assumption that living organisms can be modeled by a relatively homogeneous set of tissues, a three-dimensional adaptation of the method of Rudin et al. «Nonlinear total variation based noise removal algorithms "described in Physica D: Nonlinear Phenomena, 60 (1): 259-268, 1992, is applied to the three-dimensional representation between each iteration.
La présente description est donnée à titre d'exemple non limitatif de l'invention. Ainsi, le nombre de caméras 3 et de dispositifs d'imagerie en profondeur 7, n'est pas limitatif de l'invention. En effet un seul dispositif d'imagerie en profondeur 7 suffit pour la mise en œuvre de l'invention. Egalement, un seul dispositif d'imagerie de surface 3 suffit, même si dans ce cas la génération d'une représentation tridimensionnelle de surface est plus compliquée. Dans ce cas, en effet, le dispositif d'imagerie de surface 3 acquière une séquence d'images 4, et l'on construit chaque représentation tridimensionnelle de surface 6 de la séquence correspondante de représentations tridimensionnelles de surface 6, à partir d'une seule image 4. Pour généraliser, on acquière, avec N caméras 3, N séquences comprenant chacune M images 4, et l'on créé une séquence correspondante de M images tridimensionnelles de surface 6, chacune à partir de N images simultanées prises dans chaque séquence de M images 4.  The present description is given by way of non-limiting example of the invention. Thus, the number of cameras 3 and depth imaging devices 7 is not limiting of the invention. Indeed only one depth imaging device 7 is sufficient for the implementation of the invention. Also, only one surface imaging device 3 suffices, even if in this case the generation of a three-dimensional surface representation is more complicated. In this case, in fact, the surface imaging device 3 acquires an image sequence 4, and each three-dimensional surface representation 6 of the corresponding sequence of three-dimensional representations of surface 6 is constructed from a only image 4. To generalize, we acquire, with N cameras 3, N sequences each including M images 4, and we create a corresponding sequence of M three-dimensional images of surface 6, each from N simultaneous images taken in each sequence of M images 4.
Dans un mode de réalisation préféré, on utilise un dispositif d'imagerie en profondeur 7 et huit dispositifs d'imagerie de surface 3, avec 32 images par séquence.  In a preferred embodiment, a depth imaging device 7 and eight surface imaging devices 3 are used, with 32 images per sequence.
Par ailleurs, la technique d'acquisition pour les images de surface 4 n'est pas nécessairement une technique d'imagerie couleur. D'autres technologies, telles qu'une caméra « temps de vol », ou un capteur de surface par lumière structurée, peuvent être utilisées.  Moreover, the acquisition technique for surface images 4 is not necessarily a color imaging technique. Other technologies, such as a "flight time" camera, or a structured light surface sensor, can be used.
De même, la technique d'acquisition pour les images en profondeur 8 n'est pas nécessairement une technique d'imagerie par rayons X. D'autres techniques, telles que l'imagerie par ultrasons, peuvent être utilisées.  Similarly, the acquisition technique for deep images 8 is not necessarily an X-ray imaging technique. Other techniques, such as ultrasound imaging, can be used.

Claims

REVENDICATIONS
1 . - Système d'imagerie destiné à construire une représentation tridimensionnelle en profondeur (1 ) d'un sujet (2), tel que tout ou partie d'un objet ou d'un corps, comprenant des premiers moyens d'imagerie (18) comportant au moins un dispositif fixe d'imagerie de surface (3) apte à permettre l'acquisition d'une séquence de plusieurs images bidimensionnelles de surface (4, 1 1 ) d'un sujet (2), et une unité informatique de traitement comprenant un premier module de reconstruction (5) apte à construire une séquence de représentations tridimensionnelles de surface (6) d'un sujet (2) à partir d'une série d'images bidimensionnelles de surface (4, 1 1 ) simultanées prises dans chaque séquence d'images bidimensionnelles de surface (6) acquise par les premiers moyens d'imagerie (18),  1. An imaging system for constructing a three-dimensional depth representation (1) of a subject (2), such as all or part of an object or body, comprising first imaging means (18) comprising at least one fixed surface imaging device (3) capable of enabling the acquisition of a sequence of several two-dimensional surface images (4, 1 1) of a subject (2), and a computer processing unit comprising a first reconstruction module (5) capable of constructing a sequence of three-dimensional surface representations (6) of a subject (2) from a series of simultaneous two-dimensional surface images (4, 1 1) taken in each a sequence of two-dimensional surface images (6) acquired by the first imaging means (18),
caractérisé en ce qu'il comprend également des deuxièmes moyens d'imagerie (19) comportant au moins un dispositif fixe d'imagerie en profondeur (7) apte à permettre l'acquisition d'une séquence de plusieurs images bidimensionnelles en profondeur (8, 13) d'un sujet (2), et en ce que l'unité informatique de traitement comprend un deuxième module de reconstruction (9) apte à construire une représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir d'une séquence de représentations tridimensionnelles de surface (6) du sujet (2) construite par le premier module de reconstruction (5) et d'une séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) acquises par le dispositif fixe d'imagerie en profondeur (7). characterized in that it also comprises second imaging means (19) comprising at least one fixed depth imaging device (7) capable of enabling the acquisition of a sequence of several two-dimensional images at depth (8, 13) of a subject (2), and in that the computing processing unit comprises a second reconstruction module (9) adapted to construct a three-dimensional representation at depth (1) of the subject (2) from a sequence of three-dimensional surface representations (6) of the subject (2) constructed by the first reconstruction module (5) and a sequence of two-dimensional depth images (8, 13) of the subject (2) acquired by the fixed device depth imaging (7).
2. - Système selon la revendication 1 , caractérisé en ce que le deuxième module de reconstruction (9) comprend un sous-module de détermination de pose initiale (9a) apte à déterminer, pour chaque représentation tridimensionnelle de surface (6), une pose initiale (17) définissant la position de chaque point de ladite représentation tridimensionnelle de surface (6) par rapport à la position de ce dit point dans une représentation tridimensionnelle de surface de référence (21 ), et en ce que le deuxième module de reconstruction (9) comprend un sous-module de traitement (9c) apte à reconstruire une représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir de la séquence de poses initiales (17) obtenues par le sous-module de détermination de pose initiale (9a) et de la séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) obtenue par les deuxièmes moyens d'imagerie (19). 2. - System according to claim 1, characterized in that the second reconstruction module (9) comprises an initial pose determining sub-module (9a) capable of determining, for each three-dimensional representation of surface (6), a pose initial (17) defining the position of each point of said three-dimensional surface representation (6) with respect to the position of said point in a three-dimensional reference surface representation (21), and in that the second reconstruction module ( 9) comprises a processing sub-module (9c) able to reconstruct a three-dimensional representation in depth (1) of the subject (2) from the sequence of initial poses (17) obtained by the initial pose determination submodule (9a) and the two-dimensional image sequence in depth (8, 13) of the subject (2) obtained by the second imaging means (19).
3. - Système selon la revendication 2, caractérisé en ce que le deuxième module de reconstruction (9) comprend un sous-module de recalage de pose (9b) apte à recaler chaque pose initiale (17) avec une séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) obtenues par les deuxièmes moyens d'imagerie (19), et à générer une pose recalée (15), et en ce que le sous-module de traitement (9c) est apte à reconstruire une représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir d'une séquence de poses recalées (15) obtenue par le sous-module de recalage de pose (9b) et de la séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) obtenue par les deuxièmes moyens d'imagerie (19). 3. - System according to claim 2, characterized in that the second reconstruction module (9) comprises a setting sub-module pose (9b) able to reset each initial pose (17) with a sequence of two-dimensional depth images (8, 13) of the subject (2) obtained by the second imaging means (19), and generating a recalibrated pose (15), and in that that the processing sub-module (9c) is able to reconstruct a three-dimensional representation in depth (1) of the subject (2) from a set sequence of poses (15) obtained by the pose resetting sub-module ( 9b) and the two-dimensional depth image sequence (8, 13) of the subject (2) obtained by the second imaging means (19).
4. - Système selon l'une quelconque des revendications 1 à 3, caractérisé en ce que le premier module de reconstruction (5) comprend un sous-module de maillage (5a) apte à créer une séquence de maillages tridimensionnels (6) du sujet (2) à partir d'une série d'images bidimensionnelles de surface (4, 1 1 ) simultanées prises dans chaque séquence d'images bidimensionnelles de surface (4, 1 1 ) acquise par les premiers moyens d'imagerie (18), et en ce que le deuxième module de reconstruction (9) est apte à construire la représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir d'une séquence de maillages tridimensionnels (6) du sujet (2) construite par le sous-module de maillage (5a) et de la séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) obtenue par les deuxièmes moyens d'imagerie (19). 4. - System according to any one of claims 1 to 3, characterized in that the first reconstruction module (5) comprises a mesh sub-module (5a) adapted to create a sequence of three-dimensional meshes (6) of the subject (2) from a series of simultaneous two-dimensional surface images (4, 1 1) taken in each two-dimensional image sequence (4, 1 1) acquired by the first imaging means (18), and in that the second reconstruction module (9) is adapted to construct the three-dimensional representation at depth (1) of the subject (2) from a sequence of three-dimensional meshes (6) of the subject (2) constructed by the sub meshing module (5a) and the two-dimensional image sequence in depth (8, 13) of the subject (2) obtained by the second imaging means (19).
5. - Système selon l'une quelconque des revendications 1 à 4, caractérisé en ce que l'unité informatique de traitement comprend un premier module de segmentation (10) apte à créer une séquence de silhouettes bidimensionnelles de surface (1 1 ) d'un sujet (2) à partir d'une séquence d'images bidimensionnelles de surface (4) du sujet (2) acquise par les premiers moyens d'imagerie (18), en segmentant chaque image bidimensionnelles de surface (4) de son arrière-plan, et en ce que le premier module de reconstruction (5) est apte à construire la séquence de représentations tridimensionnelles de surface (6) d'un sujet (2) à partir d'une série de silhouette bidimensionnelles de surface (4, 1 1 ) simultanées prises dans chaque séquence d'images bidimensionnelles de surface (6) obtenues par le premier module de segmentation (10), 5. - System according to any one of claims 1 to 4, characterized in that the computing processing unit comprises a first segmentation module (10) capable of creating a sequence of two-dimensional surface silhouettes (1 1) of a subject (2) from a sequence of two-dimensional surface images (4) of the subject (2) acquired by the first imaging means (18), by segmenting each two-dimensional surface image (4) of its rear -plan, and in that the first reconstruction module (5) is able to construct the sequence of three-dimensional surface representations (6) of a subject (2) from a series of two-dimensional surface silhouette (4, 1 1) taken in each sequence of two-dimensional surface images (6) obtained by the first segmentation module (10),
6. - Système selon la revendication 5, caractérisé en ce que l'unité de traitement informatique comprend un deuxième module de segmentation (12) apte à créer une séquence de silhouettes bidimensionnelles en profondeur (13) d'un sujet (2) à partir d'une séquence d'images bidimensionnelles en profondeur (8) du sujet (2) acquise par le dispositif fixe d'imagerie en profondeur (7), en segmentant chaque image bidimensionnelle en profondeur (8) de son arrière-plan, le deuxième module de reconstruction (9) est apte à construire la représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir de la séquence de représentations tridimensionnelles de surface (6) du sujet (2) construite par le premier module de reconstruction (5) et d'une séquence d'images bidimensionnelles en profondeur (13) du sujet (2). 6. - System according to claim 5, characterized in that the computer processing unit comprises a second segmentation module (12) adapted to create a sequence of two-dimensional silhouettes depth (13) of a subject (2) from a sequence of two-dimensional depth images (8) of the subject (2) acquired by the fixed depth imaging device (7), segmenting each image two-dimensional depth (8) of its background, the second reconstruction module (9) is able to construct the three-dimensional representation in depth (1) of the subject (2) from the sequence of three-dimensional surface representations (6) the subject (2) constructed by the first reconstruction module (5) and a two-dimensional depth image sequence (13) of the subject (2).
7. - Système selon l'une quelconque des revendications 1 à 6, caractérisé en ce que le dispositif d'imagerie de surface (3) est un dispositif d'imagerie couleur, d'imagerie « temps de vol » ou un capteur de surface par lumière structurée, et le dispositif d'imagerie en profondeur (7) est un dispositif d'imagerie par rayons X ou par ultrasons. 7. - System according to any one of claims 1 to 6, characterized in that the surface imaging device (3) is a color imaging device, imaging "flight time" or a surface sensor by structured light, and the depth imaging device (7) is an X-ray or ultrasound imaging device.
8. - Procédé d'imagerie destiné à construire une représentation tridimensionnelle en profondeur (1 ) d'un sujet (2), tel que tout ou partie d'un objet ou d'un corps, comprenant une première étape d'acquisition d'au moins une séquence de plusieurs images bidimensionnelles de surface (4, 1 1 ) du sujet (2) par des premiers moyens d'imagerie (18) comportant au moins un dispositif fixe d'imagerie de surface (3), une première étape de reconstruction, par un premier module de reconstruction (5) d'une unité de traitement informatique, d'au moins une séquence de représentations tridimensionnelles de surface (6) du sujet (2) à partir d'une série d'images bidimensionnelles de surface (4, 1 1 ) simultanées prises dans chaque séquence d'images bidimensionnelles de surface (4, 1 1 ) acquise par la première étape d'acquisition, caractérisé en ce qu'il comprend également une deuxième étape d'acquisition d'au moins une séquence de plusieurs images bidimensionnelles en profondeur (8, 13) du sujet (2), par des deuxièmes moyens d'imagerie (19) comportant au moins un dispositif fixe d'imagerie en profondeur (7), et une deuxième étape de reconstruction, par un deuxième module de reconstruction (9) de l'unité de traitement informatique, d'une représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir de la séquence de représentations tridimensionnelles de surface (6) du sujet (2) construite à la première étape de reconstruction et de la séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) acquise par la deuxième étape d'acquisition. 8. - Imaging method for constructing a three-dimensional representation in depth (1) of a subject (2), such as all or part of an object or a body, comprising a first step of acquiring at least one sequence of several two-dimensional surface images (4, 1 1) of the subject (2) by first imaging means (18) comprising at least one fixed surface imaging device (3), a first step of reconstruction, by a first reconstruction module (5) of a computer processing unit, of at least one sequence of three-dimensional surface representations (6) of the subject (2) from a series of two-dimensional surface images (4, 1 1) taken in each sequence of two-dimensional surface images (4, 1 1) acquired by the first acquisition step, characterized in that it also comprises a second acquisition step of at least a sequence of several two-dimensional images in deep ur (8, 13) of the subject (2), by second imaging means (19) comprising at least one fixed depth imaging device (7), and a second reconstruction step, by a second reconstruction module (9) of the computer processing unit, a three-dimensional representation in depth (1) of the subject (2) from the sequence of three-dimensional surface representations (6) of the subject (2) constructed in the first step of reconstruction and the sequence of two-dimensional depth images (8, 13) of the subject (2) acquired by the second acquisition step.
9. - Procédé selon la revendication 8, caractérisé en ce que la deuxième étape de reconstruction comprend d'une part une étape de détermination de pose initiale, par un sous-module de détermination de pose initiale (9a) du deuxième module de reconstruction (9), permettant de déterminer, pour chaque représentation tridimensionnelle de surface (6), une pose initiale (17) définissant la position de chaque point de ladite représentation tridimensionnelle de surface (6) par rapport à la position de ce dit point dans une représentation tridimensionnelle de surface de référence (21 ), et d'autre part une étape de traitement, par un sous-module de traitement (9c) du deuxième module de reconstruction (9), pour reconstruire la représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir de la séquence de poses initiales (17) déterminée par l'étape de détermination de pose initiale et de la séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) acquise par la deuxième étape d'acquisition. 9. - Method according to claim 8, characterized in that the second reconstruction step comprises on the one hand an initial laying determination step, by an initial laying determination sub-module (9a) of the second reconstruction module ( 9), making it possible to determine, for each representation three-dimensional surface (6), an initial pose (17) defining the position of each point of said three-dimensional surface representation (6) with respect to the position of said point in a three-dimensional reference surface representation (21), and on the other hand a processing step, by a processing sub-module (9c) of the second reconstruction module (9), to reconstruct the three-dimensional representation in depth (1) of the subject (2) from the sequence of poses initials (17) determined by the step of determining the initial pose and the sequence of two-dimensional depth images (8, 13) of the subject (2) acquired by the second acquisition step.
10. - Procédé selon la revendication 9, caractérisé en ce que la représentation tridimensionnelle de surface de référence (21 ) est obtenue à partir d'un modèle externe, ou d'une combinaison de tout ou partie des représentations tridimensionnelles de surface (6) de la séquence de représentations tridimensionnelle de surface (6). 10. - Method according to claim 9, characterized in that the three-dimensional representation of reference surface (21) is obtained from an external model, or a combination of all or part of the three-dimensional representations of surface (6) of the three-dimensional representation sequence of surface (6).
1 1. - Procédé selon l'une quelconque des revendications 9 et 10, caractérisé en ce que la deuxième étape de reconstruction comprend une étape de recalage de pose, par un sous-module de recalage (9b) du deuxième module de reconstruction (9), pour recaler chaque pose initiale (17) avec la séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) obtenue par la deuxième étape d'acquisition, et générer une pose recalée (15), et en ce que l'étape de traitement reconstruit la représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir de la séquence de poses recalée (15) par l'étape de recalage de pose et de la séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) acquise par la deuxième étape d'acquisition. 1 1. - Method according to any one of claims 9 and 10, characterized in that the second reconstruction step comprises a step of registration of setting, by a submodule of registration (9b) of the second reconstruction module (9 ), to readjust each initial pose (17) with the two-dimensional depth image sequence (8, 13) of the subject (2) obtained by the second acquisition step, and to generate a recalibrated pose (15), and in that the processing step reconstructs the three-dimensional depth representation (1) of the subject (2) from the recalibrated posture sequence (15) by the pose registration step and the two-dimensional depth image sequence ( 8, 13) of the subject (2) acquired by the second acquisition step.
12. - Procédé selon l'une quelconque des revendications 8 à 1 1 , caractérisé en ce que la première étape de reconstruction comprend une étape de maillage, par un sous- module de maillage (5a) du premier module de reconstruction (5), pour créer un maillage tridimensionnel (6) du sujet (2) à partir d'une série d'images bidimensionnelles de surface (4, 1 1 ) simultanées prises dans chaque séquence d'images bidimensionnelles de surface (4, 1 1 ) acquise par la première étape d'acquisition et en ce que la deuxième étape de reconstruction reconstruit la représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir de la séquence de maillage tridimensionnel (6) du sujet (2) construite à l'étape de maillage et de la séquence d'images bidimensionnelles en profondeur (8, 13) du sujet (2) acquise par la deuxième étape d'acquisition. 12. - Method according to any one of claims 8 to 1 1, characterized in that the first step of reconstruction comprises a mesh step, by a mesh sub-module (5a) of the first reconstruction module (5), for creating a three-dimensional mesh (6) of the subject (2) from a series of simultaneous two-dimensional surface images (4, 1 1) taken in each two-dimensional image sequence of surface (4, 1 1) acquired by the first step of acquisition and in that the second reconstruction step reconstructs the three-dimensional representation in depth (1) of the subject (2) from the three-dimensional mesh sequence (6) of the subject (2) constructed in step mesh and the sequence of two-dimensional depth images (8, 13) of the subject (2) acquired by the second acquisition step.
13. - Procédé selon l'une quelconque des revendications 8 à 12, caractérisé en ce que la première étape d'acquisition comprend une première étape de segmentation, par un premier module de segmentation (10), pour créer une séquence de silhouettes bidimensionnelle de surface (1 1 ) du sujet (2) à partir de chaque séquence d'images bidimensionnelles de surface (4) du sujet (2) préalablement acquise, en segmentant lesdites images bidimensionnelles de surface (4) de leurs arrière-plans, et en ce que la première étape de reconstruction reconstruit la séquence de représentations tridimensionnelles de surface (6) du sujet (2) à partir d'une série de silhouettes bidimensionnelles de surface (1 1 ) simultanées prises dans chaque séquence de silhouettes bidimensionnelles de surface (1 1 ) obtenue par la première étape de segmentation. 13. - Method according to any one of claims 8 to 12, characterized in that that the first acquisition step comprises a first segmentation step, by a first segmentation module (10), to create a two-dimensional surface pattern sequence (1 1) of the subject (2) from each image sequence two-dimensional surface (4) of the previously acquired subject (2), by segmenting said two-dimensional surface images (4) of their backgrounds, and in that the first reconstruction step reconstructs the sequence of three-dimensional surface representations (6) the subject (2) from a series of simultaneous two-dimensional surface silhouettes (1 1) taken in each sequence of two-dimensional surface silhouettes (1 1) obtained by the first segmentation step.
14. - Procédé selon l'une quelconque des revendications 8 à 13, caractérisé en ce que la deuxième étape d'acquisition comprend une deuxième étape de segmentation, par un deuxième module de segmentation (12), pour créer une séquence de silhouettes bidimensionnelles en profondeur (13) du sujet (2) à partir de la séquence d'images bidimensionnelles en profondeur (8) du sujet (2) acquise par la deuxième étape d'acquisition, en segmentant lesdites images bidimensionnelles en profondeur (8) de leurs arrière-plans, et en ce que la deuxième étape de reconstruction construit la représentation tridimensionnelle en profondeur (1 ) du sujet (2) à partir de la séquence de représentations tridimensionnelles de surface (6) du sujet (2) construite à la première étape de reconstruction, de la séquence d'images bidimensionnelles en profondeur (8) obtenues par les deuxièmes moyens d'imagerie (19), et de la séquence de silhouettes bidimensionnelles en profondeur (13) du sujet (2) obtenue par la deuxième étape de segmentation. 14. - Method according to any one of claims 8 to 13, characterized in that the second acquisition step comprises a second segmentation step, by a second segmentation module (12), to create a sequence of two-dimensional silhouettes in depth (13) of the subject (2) from the two-dimensional depth image sequence (8) of the subject (2) acquired by the second acquisition step, by segmenting said two-dimensional depth images (8) from their rear -plans, and in that the second reconstruction step constructs the three-dimensional representation in depth (1) of the subject (2) from the sequence of three-dimensional surface representations (6) of the subject (2) constructed in the first step of reconstruction, of the two-dimensional depth image sequence (8) obtained by the second imaging means (19), and the sequence of two-dimensional depth silhouettes (13) of the subject (2) obtained by the second segmentation step.
15. - Procédé selon l'une quelconque des revendications 8 à 14, caractérisé en ce que, préalablement aux première et deuxième étapes d'acquisition, les dispositifs fixes d'imagerie de surface (3) et d'imagerie en profondeur (7) sont calibrés dans un système de coordonnées commun. 15. - Method according to any one of claims 8 to 14, characterized in that, prior to the first and second acquisition steps, the fixed devices for surface imaging (3) and depth imaging (7) are calibrated in a common coordinate system.
16. - Procédé selon l'une quelconque des revendications 7 à 15, caractérisé en ce que la première étape d'acquisition est une étape d'acquisition par dispositifs d'imagerie couleur, d'imagerie « temps de vol » ou de type capteurs de surface par lumière structurée, et la deuxième étape d'acquisition est une étape d'acquisition par dispositifs à rayons X ou ultrasons. 16. - Method according to any one of claims 7 to 15, characterized in that the first step of acquisition is a step of acquisition by color imaging devices, imaging "flight time" or sensor type structured light surface, and the second acquisition step is an acquisition step by X-ray or ultrasonic devices.
EP15742370.8A 2014-07-07 2015-07-06 System and method for three-dimensional depth imaging Withdrawn EP3166476A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1456536A FR3023155A1 (en) 2014-07-07 2014-07-07 SYSTEM AND METHOD FOR THREE DIMENSIONAL IMAGING IN DEPTH
PCT/FR2015/051861 WO2016005688A1 (en) 2014-07-07 2015-07-06 System and method for three-dimensional depth imaging

Publications (1)

Publication Number Publication Date
EP3166476A1 true EP3166476A1 (en) 2017-05-17

Family

ID=51570668

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15742370.8A Withdrawn EP3166476A1 (en) 2014-07-07 2015-07-06 System and method for three-dimensional depth imaging

Country Status (4)

Country Link
US (1) US20170206679A1 (en)
EP (1) EP3166476A1 (en)
FR (1) FR3023155A1 (en)
WO (1) WO2016005688A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7320352B2 (en) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 3D model transmission method, 3D model reception method, 3D model transmission device, and 3D model reception device
US10937182B2 (en) * 2017-05-31 2021-03-02 Google Llc Non-rigid alignment for volumetric performance capture

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004186824A (en) * 2002-11-29 2004-07-02 Jikei Univ School Of Medicine Time-spatial multiplex image apparatus and method therefor
US8918162B2 (en) * 2007-04-17 2014-12-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
FR2964030B1 (en) * 2010-08-25 2012-09-28 Axs Ingenierie METHOD AND DEVICE FOR DYNAMIC DETERMINATION OF THE POSITION AND ORIENTATION OF BONE ELEMENTS OF THE RACHIS

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2016005688A1 *

Also Published As

Publication number Publication date
WO2016005688A1 (en) 2016-01-14
US20170206679A1 (en) 2017-07-20
FR3023155A1 (en) 2016-01-08

Similar Documents

Publication Publication Date Title
US11170258B2 (en) Reducing noise in an image
FR2914175A1 (en) IMAGE ACQUISITION AND PROCESSING CHAIN FOR DOUBLE-ENERGY RADIOGRAPHY USING PORTABLE FLAT PANEL SENSOR
FR2875694A1 (en) SYSTEMS, METHODS AND APPARATUSES FOR DOUBLE DETECTION OF BREAST IMAGES
FR2872659A1 (en) METHOD AND APPARATUS FOR DIRECT RECONSTRUCTION IN TOMOSYNTHESIS IMAGING
FR2937530A1 (en) MEASURING INTRINSIC GEOMETRIC SIZES WITH AN ANATOMIC SYSTEM
CN111540025B (en) Predicting images for image processing
JP3987024B2 (en) Method and system for enhancing tomosynthesis images using lateral filtering
KR20190103816A (en) Method and apparatus for correcting the computed tomographic image
FR2842931A1 (en) IMPROVEMENT OF A METHOD FOR DISPLAYING TEMPORAL VARIATIONS IN IMAGES OVERLAPPED IN SPACE.
KR20170088681A (en) Tomography apparatus and method for reconstructing a tomography image thereof
FR2924254A1 (en) METHOD FOR PROCESSING IMAGES IN INTERVENTIONAL RADIOSCOPY
JP2021013725A (en) Medical apparatus
KR20150095140A (en) Computer tomography apparatus and method for reconstructing a computer tomography image thereof
EP4161437B1 (en) Taking an optical impression of a patient's dental arch
JP2006187607A (en) Three-dimensional medical x-ray radiographing method and arrangement
CA3077228A1 (en) Radiographic imaging method, radiographic image processing device, and radiographic imaging device
WO2016005688A1 (en) System and method for three-dimensional depth imaging
FR2792749A1 (en) METHOD OF LOCATING AND THREE-DIMENSIONAL REPRESENTATION OF ELEMENTS OF INTEREST OF AN ORGAN
KR20170032818A (en) Tomography apparatus and controlling method for the same
FR2965651A1 (en) Method for processing two-dimensional projection images of vessels of patient, involves obtaining two-dimensional projection images of object by using medical imaging system displaced along path
US20180130212A1 (en) Edge detection on images with correlated noise
JP2016198504A (en) Image generation device, x-ray computer tomography device and image generation method
US10984564B2 (en) Image noise estimation using alternating negation
US20220207794A1 (en) Method of metal artefact reduction in x-ray dental volume tomography
US11317887B2 (en) Computed tomography reconstruction of moving bodies

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20170105

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20200217

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200630