EP3930563A1 - Verfahren zur evaluierung von hautläsionen unter verwendung künstlicher intelligenz - Google Patents

Verfahren zur evaluierung von hautläsionen unter verwendung künstlicher intelligenz

Info

Publication number
EP3930563A1
EP3930563A1 EP19808968.2A EP19808968A EP3930563A1 EP 3930563 A1 EP3930563 A1 EP 3930563A1 EP 19808968 A EP19808968 A EP 19808968A EP 3930563 A1 EP3930563 A1 EP 3930563A1
Authority
EP
European Patent Office
Prior art keywords
skin lesion
neural network
image
skin
artificial neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19808968.2A
Other languages
English (en)
French (fr)
Inventor
Andreas Mayer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FotoFinder Systems GmbH
Original Assignee
FotoFinder Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FotoFinder Systems GmbH filed Critical FotoFinder Systems GmbH
Publication of EP3930563A1 publication Critical patent/EP3930563A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Definitions

  • the invention relates to a method for generating images to aid in the characterization of skin lesions of a human body.
  • the invention relates to a method for evaluating skin lesions or images of the skin lesions using artificial intelligence.
  • One method known in the art for detecting skin lesions i. of skin changes and skin damage, dermatoscopy or reflected light microscopy is a non-invasive examination method in which the skin areas to be examined can be analyzed with a microscope under illumination with polarized light down to deeper skin layers. An assessment or diagnosis is made by the attending physician by means of visual assessment of the respective skin lesion. This can then be confirmed with an additional histological examination of the skin area, for which, however, a surgical procedure to take a tissue sample is necessary.
  • the present invention is based on the object of overcoming or at least significantly reducing the aforementioned disadvantages of the prior art.
  • the invention also addresses further problems or proposes the solution to further problems, as can be seen from the following description.
  • the invention relates to a method for displaying at least one image of a skin lesion and associated information to support the characterization of the skin lesion, comprising the steps: Acquisition of an image, in particular a detailed image, of a skin lesion in a skin area to be examined by means of optical devices designed for this purpose Detection means, in particular a video dermatoscope, and provision of image data based thereon, analysis of the skin lesion by electronic processing of the image data provided by means of an artificial neural network, which is designed for the detection and / or classification of skin lesions, and output of at least one image of the detected skin lesion and one this associated information based on the analysis by means of the artificial neural network, the information associated with the mapping being a reproduction of a recognized predefined class of Ha utlesion and / or an associated, preferably numerical risk value or factor of the skin lesion.
  • the method according to the invention provides a pre-characterization of a skin lesion to be examined, which enables the treating physician to efficiently and reliably analyze the respective skin lesion or which significantly simplifies this for the physician.
  • a pre-characterization of a skin lesion to be examined which enables the treating physician to efficiently and reliably analyze the respective skin lesion or which significantly simplifies this for the physician.
  • an efficient and reliable assessment by the attending physician in particular in the case of a large number of skin lesions to be examined, is supported.
  • the method is preferably carried out at least partially with an appropriately designed software program.
  • This can be stored and / or executed on a storage medium or data carrier, for example contained in an analysis unit described in more detail below.
  • the artificial neural network is preferably designed to recognize predefined classes or types of skin lesions.
  • the artificial neural network is designed to recognize and / or differentiate at least between non-melanoma and melanocytic skin lesions.
  • the artificial neural network is preferably designed as classes for the detection of at least a plurality of the following types of skin lesions: pigmentary nevus (melanocytic nevus), dermatofibroma, malignant melanoma, actinic keratosis and Bowen's disease, basal cell carcinoma (basalioma), seborrheic keratosis, solar lentigo and, / or squamous cell carcinoma.
  • the detected classes or types of skin lesions can be output or reproduced according to preferably graded determined probability.
  • the artificial neural network can output not only a most likely class or a most likely type of the skin lesion, but also the two or three classes or types with the ascertained subsequent probability.
  • the artificial neural network allows at least two, preferably three or optionally more of the most likely existing class or
  • Types of skin lesion to be analyzed are output.
  • Such an output or reproduction can be, for example: basal cell carcinoma, squamous cell carcinoma, angioma, the individual classes or types preferably being output in descending probability.
  • a Output or reproduction of this type enables, in particular, a more efficient analysis in the case of skin lesions which do not seem to be clearly distinguishable from one another and can be more precisely delimited in an efficient manner by the information provided.
  • the artificial neural network is for the detection of predefined risk classes, in particular with regard to a
  • a respective risk class can reflect a respective degree of progression of a skin lesion.
  • the artificial neural network can be designed to recognize at least two, preferably at least three different degrees of progress and thus associated risk classes of a respective skin lesion. These can be differentiated, for example, as a light, medium and high risk class.
  • a higher risk class can include degrees of progression of skin lesions, which are to be classified as riskier for humans or which require prompt treatment and / or a surgical intervention.
  • the artificial neural network is more preferably formed between a multiplicity of different ones
  • the respective assignment to corresponding risk classes can be carried out by the artificial neural network itself and / or by a calculation following the processing by the artificial neural network.
  • a respective risk class can also comprise several skin lesion types which can be distinguished or recognized by the artificial neural network.
  • a higher risk class can include the types of skin lesions which are to be classified as more risky for humans. These are especially classes that have a timely
  • Need treatment and / or surgery Need treatment and / or surgery. Less risky types, in particular types of skin lesions that do not require prompt treatment and / or surgical intervention, can be classified as less risky and thus assigned to a low or lower risk class.
  • the classification of a recognized skin lesion type into a lower or higher risk class can take place by means of the artificial neural network and / or in a further processing or calculation step of the method.
  • several risk classes and these comprehensive skin lesion types can be stored in a predefined and / or adaptable look-up table. After detection of a specific skin lesion type and / or progress of the respective type by the artificial neural network, the respective associated risk class can be determined and / or calculated and then output.
  • an output and / or calculation of a preferably numerical risk value of the respective skin lesion takes place.
  • the numerical value is preferably between 0.1 and 1.
  • a value between 0.1 and 0.2 can be lower, a value between 0.2 and 0.49 as medium and a value between 0.5 and 1.0 be defined as a high risk score.
  • the risk value can be calculated by means of the artificial neural network and / or in a further processing or calculation step of the method.
  • At least one image of the detected skin lesion is output or displayed, the skin lesion is analyzed and / or the information assigned to the image is displayed in real time.
  • the imaging of the detected skin lesion is preferably a live or video image of the skin lesion detected or recorded by the detection means. This can for example be recorded or recorded by means of a video dermatoscope and output by means of associated output means, for example a display or monitor of an analysis unit connected to the recording means, such as a computer, PC, tablet or smartphone.
  • the image data provided by the acquisition means preferably include a plurality of individual images of the skin lesion to be examined. These can be provided, for example, as part of a continuous video stream through a video dermatoscope.
  • the individual images provided are preferably each analyzed individually by means of the artificial neural network. Based on this, a respective detection and / or classification of the skin lesion to be examined can then take place by the artificial neural network.
  • the data or information determined in this way can then be offset to form an overall evaluation result, which is then output as belonging to the output image of the skin lesion.
  • an average value of previously recorded individual results or individual classifications of the skin lesion to be analyzed can be formed and then output.
  • the artificial neural network is preferably a folding neural network known per se, a so-called convolutional neural network (CNN).
  • CNN convolutional neural network
  • the artificial neural network preferably has at least one hidden layer, more preferably between 1 and 100, most preferably between 1 and 20 hidden layers. In a preferred embodiment, the artificial neural network has between 2 and 10,000, preferably between 2 and 1,000
  • the artificial neural network is preferably designed to recognize a predefined classification based on knowledge trained by means of monitored learning.
  • a large number of skin lesions of different types, different configurations and / or different progresses according to a respective diagnosis, preferably as image data for training, are provided to the artificial neural network in a manner known per se by trained learning.
  • Such learning can be carried out in a manner known per se in a subsequent validation process with regard to the
  • Detection accuracy of the trained artificial neural network can be checked.
  • an artificial neural network that has already been trained with a large amount of data can be used and with a small change in parameters to the respective Type of use can be adjusted.
  • the learning and validation of the artificial neural network can take place, for example, with Python Tensorflow and / or Python Keras.
  • the image processing, provision and / or assignment can be done using OpenCV2.4.
  • the artificial neural network can also be designed to further improve previously learned knowledge during the ongoing analysis of the skin lesions from the supplied image data.
  • the artificial neural network is preferably designed to be self-learning and its knowledge is continuously expanded or improved during its ongoing use in the analysis of skin lesions.
  • information provided by the attending physician can be taken into account with regard to a respective diagnosis for a detected skin lesion.
  • the method comprises the further step of acquiring an overview image of a human body region having a plurality of skin lesions, preferably a so-called “clinical image”, and / or the further step of preferably automatically assigning a recorded detailed image of a skin lesion to a corresponding skin lesion in a recorded overview recording.
  • Overview recording can be, for example, a view or representation of a human body part region or body region such as a human back view.
  • a detailed recording is understood to mean a recording of an individual skin lesion, preferably from close proximity to the skin surface.
  • Detection means In addition to means for a respective detailed recording, these can include additional means, for example a preferably high-resolution digital photo or video camera for recording the overview recording.
  • additional means for example a preferably high-resolution digital photo or video camera for recording the overview recording.
  • the assignment of a recorded detail image to a respective overview image can be carried out manually with the aid of a corresponding input means or automatically by means of electronic image processing. In particular, this can be made possible by a comparison algorithm, which the respective recordings compares with each other and, if the image data match is recognized, makes a corresponding assignment.
  • a known feature corn recognition based on an OpenCV library can be used.
  • the method has the further step of comparing a newly acquired image, in particular a detailed image, of a skin lesion with previously acquired images. Based on this, an assignment can then be made as a repeat exposure (follow-up exposure) to an existing exposure or a new recording as an initial exposure of a skin lesion.
  • the respective image can be compared with existing detailed images and an associated overview image. For example, a corresponding algorithm compares a recorded detailed image with existing detailed images in the database of the respective patient. If the image evaluation recognizes matches with existing recordings, this new recording can be marked as a follow-up recording and / or assigned to the lesion in the overview image as a new recording.
  • the method has the step of analyzing one or more skin lesions by electronically processing a captured overview image by means of the artificial neural network in order to identify and / or classify the respective skin lesion.
  • the artificial neural network can be designed to recognize and / or classify a large number of skin lesions in a recorded overview image.
  • the analysis of the skin lesions in an overview image can take place in parallel or in the background to a respective analysis of a detailed image of a skin lesion.
  • the method comprises the step of outputting information when a detailed image of a respective skin lesion of an assigned overview image has not yet been recorded, in particular if a predefined classification and / or a predefined one based on the analysis of the overview image by the artificial neural network Risk value or risk factor has been determined. For example, a warning notice can be output or a skin lesion can be highlighted graphically on a display of the overview image. Based on this, the attending physician can record a detailed image of the respective skin lesion for a more precise assessment.
  • the method comprises the step of a preferably regular check of the currentness of a respective detailed image of a skin lesion for an assigned overview image. If a predefined, preferably absolute, time value of a detailed recording is exceeded, for example for predefined months or years, and / or if there are major deviations from the actuality or recorded values of different detailed recordings, for example from a respective stored recording date, information, for example a warning or a graphic highlighting of a skin lesion can be output on a representation of the overview image. Reference can be made to detailed recordings that are long ago and / or that the treating doctor has no longer taken or updated. This can be done in particular for skin lesions for which a predefined classification and / or a predefined risk factor was determined based on the analysis of the overview image by the artificial neural network.
  • the artificial neural network is designed to further improve previously learned knowledge in the analysis of the skin lesions in a respective overview recording from the supplied image data. This is preferably done continuously and can take place in parallel or in the background to an analysis of a respective detailed image of a skin lesion.
  • information provided by the attending physician can be taken into account with regard to a respective diagnosis for a detected skin lesion.
  • the recorded recordings of skin lesions are stored in a storage unit, for example an internal or external storage unit of an analysis unit. These can then be carried out, preferably periodically, by means of the artificial neural network analysis carried out. Even older recordings can be analyzed with new findings from the artificial neural network. If there is a discrepancy between the classifications of a skin lesion and the information or diagnoses stored in this regard, a corresponding message can be output.
  • the respective images, representations and / or information can be output with output means, for example a display or monitor of an analysis unit connected to the detection means, such as a computer, PC, tablet or smartphone.
  • output means for example a display or monitor of an analysis unit connected to the detection means, such as a computer, PC, tablet or smartphone.
  • the present invention relates to a diagnostic method for the automatic characterization or evaluation of skin lesions to be presented, comprising the following steps:
  • Analysis of the skin lesion by electronic processing of the provided image data by means of an artificial neural network which is designed for the detection and / or classification of skin lesions, and output of at least one image of the detected skin lesion and information assigned to it based on the analysis by means of the artificial neural network, wherein the information assigned to the image comprises a reproduction of a recognized predefined class of the skin lesion and / or an associated, preferably numerical, risk factor of the skin lesion.
  • the method thus enables an automatic diagnosis of a skin lesion to be examined based on the analysis of an artificial neural network.
  • the method can also have further features which were described in connection with the method for representation described above. To avoid repetition, reference is made to the above description of the method for illustration. In particular, the features described above also apply as disclosed and claimable for the diagnostic method according to the invention and vice versa.
  • the present invention relates to a device for performing a method, in particular a method as described above, having optical acquisition means, in particular a video dermatoscope, for acquiring a recording, in particular a detailed recording, of a skin lesion in a skin area to be examined, and providing it thereon based image data, an analysis unit for electronic processing of the provided image data by means of an artificial neural network, which is designed for the detection and / or classification of skin lesions, and output means for outputting at least one image of the detected skin lesion and information associated therewith based on the analysis by means of the artificial neural network.
  • optical acquisition means in particular a video dermatoscope
  • an analysis unit for electronic processing of the provided image data by means of an artificial neural network, which is designed for the detection and / or classification of skin lesions
  • output means for outputting at least one image of the detected skin lesion and information associated therewith based on the analysis by means of the artificial neural network.
  • the analysis unit can be formed, for example, by a computer, such as a PC, tablet or smartphone, or comprise these.
  • the analysis unit preferably comprises at least one internal or external storage unit.
  • the artificial neural network and the data required for operating the network can be stored on this in a manner known per se.
  • the analysis unit is also preferably designed to store and execute a software program. This can preferably be configured to carry out the method according to the invention.
  • the analysis unit can also have at least one interface for connecting the recording means and / or external or additional output means.
  • the analysis unit can also have a communication interface for connection to an external data server and / or the Internet.
  • the analysis unit can also be designed to carry out the electronic processing at least partially with the help of and / or based on information provided by external servers and / or database means.
  • FIG. 1 shows a schematic representation of a preferred embodiment of the device according to the invention
  • FIG. 2 shows a flow diagram of a preferred embodiment of the method according to the invention
  • FIG. 3 shows a flowchart of a preferred embodiment of the assignment of a recorded detail image to a recorded overview image
  • Fig. 1 shows a preferred embodiment of a device according to the invention.
  • the device has optical acquisition means 2 which are designed to acquire an image, in particular a detailed image of a skin lesion 13 of a patient P.
  • the acquisition means 2 preferably provide digital image data or a signal representing them based on the acquired image.
  • the detection means 2 preferably comprise a video dermatoscope known per se. This can be used to record detailed images of a Skin lesion can be operated in micrograph mode.
  • the acquisition means 2 can also comprise a preferably high-resolution digital image or video camera 3. This can be designed to record detailed recordings and / or an overview record of a skin area of a patient.
  • the device also has an analysis unit 1 for electronic processing of the provided image data by means of an artificial neural network.
  • the analysis unit here has a processor and / or memory unit 7.
  • the artificial neural network can be stored on this or it can be used to analyze the image data.
  • the artificial neural network is for
  • the artificial neural network can access data stored in the storage unit 7 and / or an external server or an external storage unit 5. This can be connected to the processor and / or memory unit 7 by means of a communication interface 6 of the analysis unit 1.
  • the communication interface 6 can also be designed to connect the acquisition means 2, 3 to the analysis unit 1.
  • the communication interface 6 can enable wireless and / or wired communication with the detection means 2, 3 and / or the external server or an external storage unit 5.
  • the analysis unit 1 is preferably designed to include or provide software that is particularly suitable for performing the method according to the invention. This can be stored and / or executable on the processor and / or memory unit 7.
  • the analysis unit 1 also preferably has a user interface for controlling the analysis unit 1 and / or software running on it. This can include input means known per se, such as a keyboard, mouse and / or a touchscreen.
  • the device also has output means 4 which are connected to the analysis unit 1 in a wireless or wired manner or which are included in the analysis unit 1.
  • the output means 4 are preferably designed for the graphic display of information.
  • the output means 4 can have a Include screen and / or a touch display.
  • the output title 4 can also be designed to provide acoustic signals or warning notices.
  • the output means are designed in particular to provide an image of a detected skin lesion with at least one associated item of information based on the analysis by means of the artificial neural network.
  • the analysis unit 1 is preferably designed to provide the output of the at least one image of the detected skin lesion, the analysis of the skin lesion and / or the display of the information assigned to the image in real time.
  • a flow diagram of a preferred embodiment of the method according to the invention shows a flow diagram of a preferred embodiment of the method according to the invention.
  • a first step S1 a detailed recording of a skin lesion is recorded with the recording means 2.
  • These then provide a single image or a video image comprising a plurality of single images (S2).
  • a quality control takes place, in particular whether the image quality of the recorded image, for example with regard to image sharpness and illumination, is sufficient for an assessment by the artificial neural network. If the image quality is not sufficient, for example due to a blurring of the image, steps S1-S3 are repeated. If the image quality is sufficient, the associated image data is electronically processed as part of the analysis by the artificial neural network.
  • This can include a first step of pre-characterization S4. In this it is first determined whether it is a skin lesion or not. If it is not a skin lesion, a corresponding output can take place and / or steps S1 to S4 can be repeated.
  • the skin lesion is then precisely identified and / or classified by the artificial neural network.
  • a certain class or type of skin lesion can be recognized here.
  • a specific progression of the skin lesion can also be recognized by the artificial neural network.
  • the artificial neural network then provides an output signal corresponding to the recognition or classification for further processing.
  • the artificial neural network can be designed to determine or calculate a risk factor based on the recognized / classified skin lesion. If the skin lesion by the analysis was rated as suspicious, a corresponding output can be made to a user.
  • the determination or calculation of the risk factor can alternatively take place in a subsequent calculation step. Based on the data provided with regard to a type of skin lesion and / or a progression of the skin lesion, the latter can make an assignment to a predefined risk factor or a classification into a predefined value range. A corresponding software algorithm can be provided for this.
  • an image of the detected skin lesion is output together with at least one additional item of information, based on the data provided by the artificial neural network.
  • This can be at least one pre-characterization parameter or classification information 14 and / or at least one determined risk factor 15, 16.
  • the method for analyzing the respective image of the skin lesion is preferably carried out in real time.
  • the method can in particular be carried out by a corresponding software program executed on the analysis unit described above.
  • the results of the aforementioned steps can be graphically displayed to a user with output means, for example a display and / or output unit.
  • FIG. 3 shows a flowchart of a preferred embodiment of the assignment of a recorded detail recording to a recorded overview recording.
  • One or more overview recordings can be provided with the detection means 3 and preferably shows a larger skin or body area of a patient, such as an upper body in a back or front view.
  • the overview exposure can also be a full-body exposure in a back or front view.
  • the overview recording preferably shows a large number of skin lesions and enables an assignment of recorded detail recordings for the purpose of better retrievability, for example in the case of repeated recordings.
  • steps S1 'to S3' shown detailed recordings of a skin lesion are recorded, a corresponding image or video image is provided and a subsequent quality control, in particular with regard to image sharpness and illumination, is carried out analogously to steps S1 to S3 described above.
  • a subsequent step S7 the image data provided from the detailed recording is compared with the image data from at least one previously acquired overview image.
  • a corresponding and known algorithm compares the corresponding image data and, if a match is found, automatically assigns the individual image to the overview image. If no match is found, the image can be saved as a new recording and / or a further detailed recording (S1'-S3 ') can be recorded. The corresponding assignment then takes place in a further step S8.
  • the assignment can be output directly or displayed to a user as a suggestion for explicit confirmation.
  • the result of the assignment can then be displayed.
  • the detailed recording can be arranged at a corresponding point in the overview recording and / or a marking can be set in the overview image and a link to the detailed recording can be set on it.
  • a user can then, for example, open the assigned detailed image by clicking on the corresponding point in an overview image.
  • FIGS. 4a-4c show a preferred representation by means of output means 4 of a device according to the invention or corresponding screenshots of a graphic surface 9 of a software program which is designed to carry out the method according to the invention.
  • the output or graphical surface 9 includes an image 12 of the detected skin lesion 13.
  • a live image ie a real-time image of a video recording, for example recorded with a video dermatoscope, is preferably displayed.
  • the output or graphical surface 9 preferably comprises navigation and / or control means 10 with which, for example, different views and / or magnification levels of the image 12 can be selected.
  • the output or graphical surface 9 also includes information or a plurality of pieces of information 14, 15, 16 which is assigned to the respective imaged skin lesion 13 and which is based on the recognition and / or classification of the artificial neuronal Network based.
  • the information 14, 15, 16 is preferably provided at least partially in real time.
  • the information output can in particular include (pre) classification information.
  • These can include an indicator or parameter representation 14a, which indicates whether the analyzed skin anomaly or the detected skin area is a
  • the classification information can include an indicator or a parameter representation 14b, 14c which indicates whether the analyzed skin lesion is melanocytic or non-melanocytic.
  • the information output can include a respectively recognized class or types of the skin lesion to be analyzed.
  • the skin lesion can be output whether the skin lesion is a melanoma, nevus, basal cell carcinoma, etc.
  • the information can also comprise two or three of the classes or types of the skin lesion to be analyzed recognized by the artificial neural network with the highest probability, preferably in descending probability.
  • the information output can also include a representation of a risk factor 15 which indicates how health-relevant or risky the analyzed skin lesion is to be classified. This can be output in numerical and / or graphic form 15a. As an alternative or in addition, a corresponding graphical representation can take place in a predefined comparison scale 15b. This can at least be divided into low, medium and high risk.
  • the aforementioned information is preferably output in real time based on the detected skin lesion and the analysis of the artificial neural network.
  • the information output can additionally have a mean value and / or an average risk factor in numerical and / or graphic form 16. This can be based on several individual analyzes of a recorded skin lesion, for example if several individual images of a specific skin lesion are recorded and analyzed.
  • 4b shows the assignment to a newly acquired detailed exposure 12 to an overview exposure 17 that has already been acquired.
  • an automatic assignment of the detailed exposure 12 to an overview exposure 17 of the patient P is carried out by means of a corresponding image comparison.
  • the result of the assignment can be displayed in a separate window or area of the graphical user interface.
  • a corresponding correspondence can be highlighted from a large number of lesions 19a,... 19n recognized in an overview image 17 (19a).
  • an indicator 18 in the overview recording 17 the corresponding position on the body or in the overview recording can be displayed.
  • the result of the automatic assignment can preferably be adjusted manually by the user, for example if the automatic assignment is not correct.
  • a reference image or the last detailed image 12 erf recorded for the corresponding lesion in the overview image can be displayed adjacent to a preferably live display of the recorded skin lesion 13 in FIG.
  • the newly acquired detail recording 12 can be recognized as a repeat recording or follow-up recording and stored accordingly. In this way, image history data for a respective lesion or position can be recorded in an overview image.
  • FIG. 4c shows a preferred representation in the output according to the invention of a large number of images of detected skin lesions and the information assigned in each case.
  • a lesion history can be displayed for each of the detected skin lesions, which consists of a large number of detailed recordings 21a,..., 21n that were recorded at a time interval, for example during respective examinations.
  • Associated information such as a risk factor, for example, can also be displayed for each of the detailed images and / or an association with an overview image 17 can be provided by means of a position indicator 20.
  • the display can also include a subdivision of the respective lesions into risk classes such as high, medium or low.
  • the respective lesions for which a high risk factor was determined (22a,... 2n) can be shown separately or highlighted for a user.
  • the others Risk classes such as medium (23a .23n) and low (24a, ..., 24n) can also be shown.
  • the method of presentation enables the attending physician to regularly check the particularly risky lesions more closely.
  • the artificial neural network can be designed to analyze the respective skin lesions in the existing image inventory of a patient in parallel or in the background to a respective examination of detailed recordings. This can in particular also take place based on the captured overview recordings. Changes in lesions can be recognized and / or checked in the overview image.
  • a check can be made as to whether the user continues to view a respective lesion using a reflected light microscope, i.e. by recording detailed recordings. If this is not the case, the method or the device can be designed to point out possible abnormalities to the user and / or to recommend that a suspicious lesion be included in the examination with the reflected light microscope.

Abstract

Die vorliegende Erfindung beschreibt ein Verfahren zur Darstellung wenigstens einer Abbildung einer Hautläsion und zugehöriger Information zur Unterstützung bei der Charakterisierung der Hautläsion, aufweisend die Schritte Erfassung einer Aufnahme, insbesondere einer Detailaufnahme, einer Hautläsion (13) in einem zu untersuchenden Hautbereich mittels hierfür ausgebildeter optischer Erfassungsmittel (2), insbesondere einem Videodermatoskop, und Bereitstellung von darauf basierenden Bilddaten, Analyse der Hautläsion durch elektronische Verarbeitung der bereitgestellten Bilddaten mittels eines künstlichen neuronalen Netzwerks, welches zur Erkennung und/oder Klassifizierung von Hautläsionen ausgebildet ist, und Ausgabe wenigstens einer Abbildung (12) der erfassten Hautläsion (13) und einer dieser zugeordneten Information (14, 15, 16) basierend auf der Analyse mittels des künstlichen neuronalen Netzwerks, wobei die der Abbildung (12) zugeordnete Information (14, 15, 16) eine Wiedergabe einer erkannten vordefinierten Klasse der Hautläsion (14) und/oder eines zugehörigen vorzugsweise numerischen Risikowerts (15, 16) der Hautläsion umfasst.

Description

Verfahren zur Evaluierung von Hautläsionen unter Verwendung künstlicher
Intelligenz
Die Erfindung betrifft ein Verfahren zur Erzeugung von Abbildungen zur Unterstützung bei der Charakterisierung von Hautläsionen eines menschlichen Körpers. Insbesondere betrifft die Erfindung ein Verfahren zur Evaluierung von Hautläsionen bzw. Abbildungen der Hautläsionen unter Verwendung von künstlicher Intelligenz.
Ein aus dem Stand der Technik bekanntes Verfahren zur Erfassung von Hautläsionen, d.h. von Hautveränderungen und Hautschädigungen, ist die Dermatoskopie bzw. die Auflichtmikroskopie, ein nichtinvasives Untersuchungsverfahren bei dem die zu untersuchenden Hautbereiche mit einem Mikroskop unter Beleuchtung mit polarisiertem Licht bis in tiefere Hautschichten analysiert werden können. Eine Einschätzung bzw. Diagnose erfolgt hierbei durch den behandelnden Arzt mittels visueller Begutachtung der jeweiligen Hautläsion. Diese kann dann mit einer zusätzlichen histologischen Untersuchung des Hautbereichs bestätigt werden, für welche jedoch ein chirurgischer Eingriff zur Entnahme einer Gewebeprobe notwendig ist.
Ebenso ist es bekannt, eine Aufnahme der jeweiligen Hautläsion beispielsweise mit einem an sich bekannten Videodermatoskop zu erstellen und diese für eine Evaluierung durch den jeweiligen behandelnden Arzt in entsprechenden Ausgabemitteln vergrößert und/oder wenigstens teilweise verändert, beispielsweise unter Hervorhebung spezifischer Spektralbereiche, darzustellen. Mit einer Erhöhung der Anzahl der Aufnahmen steigt jedoch der zeitliche Aufwand für eine detaillierte Begutachtung. Insbesondere bei der Evaluierung einer Vielzahl von erfassten Abbildungen unterschiedlicher oder gleicher Hautläsionen, beispielsweise im Rahmen von Nachfolgeuntersuchungen mittels derer die Veränderung einer jeweiligen Hautläsion untersucht und überwacht werden kann, ist eine zuverlässige und zeiteffiziente Charakterisierung aller Aufnahmen durch den behandelnden Arzt nicht mehr möglich.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde die vorgenannten Nachteile des Standes der Technik zu überwinden oder wenigstens deutlich abzuschwächen.
Insbesondere soll ein optimiertes Verfahren zur Erfassung und Unterstützung bei der Beurteilung einer Hautläsion bereitgestellt werden, welches eine effiziente und zuverlässige Erkennung von bösartigem Hautgewebe durch den behandelnden Arzt ermöglicht. Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Die Unteransprüche stellen vorteilhafte Weiterbildungen der vorliegenden
Erfindung dar. Die Erfindung adressiert zudem weitere Probleme bzw. schlägt die Lösung zu weiteren Problemen vor, wie aus der nachfolgenden Beschreibung hervorgeht. In einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Darstellung wenigstens einer Abbildung einer Hautläsion und zugehöriger Information zur Unterstützung bei der Charakterisierung der Hautläsion, aufweisend die Schritte: Erfassung einer Aufnahme, insbesondere einer Detailaufnahme, einer Hautläsion in einem zu untersuchenden Hautbereich mittels hierfür ausgebildeter optischer Erfassungsmittel, insbesondere einem Videodermatoskop, und Bereitstellung von darauf basierenden Bilddaten, Analyse der Hautläsion durch elektronische Verarbeitung der bereitgestellten Bilddaten mittels eines künstlichen neuronalen Netzwerks, welches zur Erkennung und/oder Klassifizierung von Hautläsionen ausgebildet ist, und Ausgabe wenigstens einer Abbildung der erfassten Hautläsion und einer dieser zugeordneten Information basierend auf der Analyse mittels des künstlichen neuronalen Netzwerks, wobei die der Abbildung zugeordnete Information eine Wiedergabe einer erkannten vordefinierten Klasse der Hautläsion und/oder eines zugehörigen vorzugsweise numerischen Risikowerts bzw. -faktors der Hautläsion umfasst.
Das erfindungsgemäße Verfahren stellt eine Vorcharakterisierung einer zu untersuchenden Hautläsion bereit, welche dem behandelnden Arzt eine effiziente und sichere Analyse der jeweiligen Hautläsion ermöglicht bzw. diese für den Arzt deutlich vereinfacht. Insbesondere durch die gleichzeitige Darstellung einer Abbildung der jeweiligen Hautläsion in Kombination mit Informationen hinsichtlich einer durch das künstliche neuronale Netzwerk erkannten Klasse der Hautläsion und/oder eines zugehörigen Risikowerts wird eine effiziente und sichere Bewertung durch den behandelnden Arzt, insbesondere bei einer Vielzahl von zu untersuchenden Hautläsionen, unterstützt.
Das Verfahren wird vorzugsweise wenigstens teilweise mit einem entsprechend ausgebildeten Softwareprogramm ausgeführt. Dieses kann auf einem Speichermedium bzw. Datenträger, beispielsweise enthalten in einer unten näher beschriebenen Analyseeinheit, gespeichert sein und/oder ausgeführt werden.
Das künstliche neuronale Netzwerk ist vorzugsweise zur Erkennung vordefinierter Klassen bzw. Typen von Hautläsionen ausgebildet. Insbesondere ist das künstliche neuronale Netzwerk zur Erkennung und/oder zur Unterscheidung wenigstens zwischen nicht-melanozytären und melanozytären Hautläsionen ausgebildet. Das künstliche neuronale Netzwerk ist vorzugsweise zur Erkennung wenigstens einer Mehrzahl folgender Typen von Hautläsionen als Klassen ausgebildet: Pigmentnävus (melanozytärer Nävus), Dermatofibrom, Malignes Melanom, Aktinische Keratose und Morbus Bowen, Basalzellkarzinom (Basaliom), seborrhoische Keratose, Lentigo Solaris, Angiom, und/oder Plattenepithelkarzinom.
In einer bevorzugten Ausführungsform kann zusätzlich zur und/oder basierend auf der Analyse des künstlichen neuronalen Netzwerks eine Ausgabe bzw. Wiedergabe der erkannten Klassen bzw. Typen von Hautläsionen nach vorzugsweise abgestufter ermittelter Wahrscheinlichkeit erfolgen. Beispielsweise kann das künstliche neuronale Netzwerk nicht nur eine wahrscheinlichste Klasse bzw. einen wahrscheinlichsten Typen der Hautläsion ausgeben, sondern auch die zwei oder drei Klassen bzw. Typen mit ermittelter nachfolgender Wahrscheinlichkeit. Insbesondere können durch das künstliche neuronale Netzwerk wenigstens zwei, vorzugsweise drei oder optional auch mehr der am wahrscheinlichsten vorliegenden Klasse bzw.
Typen der zu analysierenden Hautläsion ausgegeben werden. Eine derartige Ausgabe bzw. Wiedergabe kann beispielsweise sein: Basalzellkarzinom, Plattenepithelkarzinom, Angiom, wobei die einzelnen Klassen bzw. Typen vorzugsweise in absteigender Wahrscheinlichkeit ausgegeben werden. Eine derartige Ausgabe bzw. Wiedergabe ermöglicht insbesondere eine effizientere Analyse bei Hautläsionen, welche nicht klar voneinander abgrenzbar scheinen und durch die bereitgestellte Information auf effiziente Weise näher eingrenzbar sind.
In einer bevorzugten Ausführungsform ist das künstliche neuronale Netzwerk zur Erkennung von vordefinierten Risikoklassen insbesondere hinsichtlich einer
Malignität der Hautläsion ausbildet. Hierbei kann eine jeweilige Risikoklasse einen jeweiligen Fortschrittsgrad einer Hautläsion wiederspiegeln. Beispielsweise kann das künstliche neuronale Netzwerk ausgebildet sein, wenigstens zwei, vorzugsweise wenigstens drei unterschiedliche Fortschrittsgrade und damit diesen zugeordnete Risikoklassen einer jeweiligen Hautläsion zu erkennen. Diese können beispielsweise als leichte, mittlere und hohe Risikoklasse unterschieden werden. Hierbei kann eine höhere Risikoklasse Fortschrittsgrade von Hautläsionen umfassen, welche als für den Menschen riskanter einzustufen bzw. welche eine zeitnahe Behandlung und/oder einen chirurgischen Eingriff benötigen. Weiter bevorzugt ist das künstliche neuronale Netzwerk ausgebildet, zwischen einer Vielzahl von unterschiedlichen
Fortschrittsgraden eines Hautläsionstyps zu unterscheiden. Die jeweilige Zuordnung in entsprechende Risikoklassen kann durch das künstliche neuronale Netzwerk selbst und/oder eine der Verarbeitung durch das künstliche neuronale Netzwerk nachgelagerte Berechnung erfolgen.
In einer weiteren bevorzugten Ausführungsform kann eine jeweilige Risikoklasse auch mehrere Hautläsionstypen umfassen, welche durch das künstliche neuronale Netzwerk unterscheidbar bzw. erkennbar sind. Hierbei kann eine höhere Risikoklasse die Typen von Hautläsionen umfassen, welche als für den Menschen riskanter einzustufen sind. Dies sind insbesondere Klassen, welche eine zeitnahe
Behandlung und/oder einen chirurgischen Eingriff benötigen. Weniger riskante Typen, insbesondere Typen von Hautläsionen, die keine zeitnahe Behandlung und/oder einen chirurgischen Eingriff benötigen, können als weniger riskant eingestuft und somit einer niedrigen bzw. niedrigeren Risikoklasse zugeordnet werden.
Die Einstufung eines erkannten Hautläsionstyps in eine niedrigere oder höhere Risikoklasse kann mittels des künstlichen neuronalen Netzwerks und/oder in einem weiteren Verarbeitungs- oder Berechnungsschritt des Verfahrens erfolgen. Beispielsweise können mehrere Risikoklassen und diese umfassende Hautläsionstypen in einer vordefinierten und/oder adaptierbaren Look-up Tabelle hinterlegt sein. Nach Erkennung eines bestimmten Hautläsionstyps und/oder Fortschritts des jeweiligen Typs durch das künstliche neuronale Netzwerk kann die jeweils zugehörige Risikoklasse bestimmt und/oder berechnet und anschließend ausgegeben werden.
In einer bevorzugten Ausführungsform erfolgt basierend auf einer jeweiligen erkannten oder berechneten Risikoklasse von Hautläsionstypen und/oder basierend auf einem jeweiligen erkannten Fortschrittsgrad der Hautläsion eine Ausgabe und/oder Berechnung eines vorzugsweise numerischen Risikowerts der jeweiligen Hautläsion. Der numerische Wert liegt vorzugsweise zwischen 0,1 und 1. Hierbei kann ein Wert zwischen 0,1 und 0,2 als niedriger, ein Wert zwischen 0,2 und 0,49 als mittlerer und ein Wert zwischen 0,5 und 1 ,0 als hoher Risikowert definiert sein. Die Berechnung des Risikowerts kann mittels des künstlichen neuronalen Netzwerks und/oder in einem weiteren Verarbeitungs- oder Berechnungsschritt des Verfahrens erfolgen.
In einer bevorzugten Ausführungsform erfolgt die Ausgabe bzw. Darstellung wenigstens einer Abbildung der erfassten Hautläsion, die Analyse der Hautläsion und/oder die Darstellung der der Abbildung zugeordneten Information in Echtzeit. Weiterhin bevorzugt ist die Abbildung der erfassten Hautläsion ein Live- bzw. Videobild der durch die Erfassungsmittel erfassten bzw. aufgezeichneten Hautläsion. Dieses kann beispielsweise mittels eines Videodermatoskops erfasst bzw. aufgenommen werden und mittels zugehöriger Ausgabemittel, beispielsweise einem Display oder Monitor einer mit den Erfassungsmitteln verbundenen Analyseeinheit, wie beispielsweise einem Computer, PC, Tablet oder Smartphone, ausgegeben werden. Durch die Bereitstellung in Echtzeit, d.h. ohne wesentliche zeitliche Verzögerung, wird neben einer vereinfachten Positionierung der Erfassungsmittel auf der jeweiligen Hautläsion eine deutlich vereinfachte Charakterisierung der Läsion durch den behandelnden Arzt aufgrund der vorzugsweise instantan bereitgestellten und zur gezeigten Läsion zugehörigen Information ermöglicht. Die durch die Erfassungsmitel bereitgestellten Bilddaten umfassen vorzugsweise eine Vielzahl von Einzelbildern der zu untersuchenden Hautläsion. Diese können beispielsweise im Rahmen eines kontinuierlichen Videostreams durch ein Videodermatoskop bereitgestellt werden. Die bereitgestellten Einzelbilder werden vorzugsweise jeweils einzeln mittels des künstlichen neuronalen Netzwerks analysiert. Basierend hierauf kann dann eine jeweilige Erkennung und/oder Klassifizierung der zu untersuchenden Hautläsion durch das künstliche neuronale Netzwerk erfolgen. Die hierbei ermitelten Daten bzw. Informationen können dann zu einem Gesamtbewertungsergebnis verrechnet werden, welches dann als zur ausgegebenen Abbildung der Hautläsion zugehörig ausgegeben wird. Hierbei kann insbesondere ein Mitelwert von zuvor erfassten Einzelergebnissen bzw. Einzelklassifikationen der zu analysierenden Hautläsion gebildet und anschließend ausgegeben werden. Das künstliche neuronale Netzwerk ist vorzugsweise ein an sich bekanntes faltendes neuronales Netzwerk, ein sogenanntes Convolutional Neural Network (CNN). Das künstliche neuronale Netzwerk weist vorzugsweise wenigstens eine verdeckte Schicht, mehr bevorzugt zwischen 1 und 100, am bevorzugtesten zwischen 1 und 20 verdeckte Schichten auf. In einer bevorzugten Ausführungsform weist das künstliche neuronale Netzwerk zwischen 2 und 10.000, vorzugsweise zwischen 2 und 1.000
Neuronen pro Schicht auf.
Das künstliche neuronale Netzwerk ist vorzugsweise ausgebildet, basierend auf mittels überwachten Lernens antrainierten Kenntnissen eine vordefinierte Klassifizierung zu erkennen. Hierbei wird dem künstlichen neuronalen Netzwerk in an sich bekannter Weise durch antrainiertes Lernen eine große Vielzahl von Hautläsionen unterschiedlichen Typs, unterschiedlicher Ausbildung und/oder unterschiedlichen Fortschrits entsprechend einem jeweiliger Diagnose vorzugsweise als Bilddaten zum Anlernen bereitgestellt. Ein derartiges Anlernen kann in an sich bekannter Weise in einem nachfolgenden Validierungsprozess hinsichtlich der
Erkennungsgenauigkeit des antrainierten künstlichen neuronalen Netzwerks überprüft werden. Zudem kann mittels an sich bekannten Transferlernens ein bereits mit einem großen Datenbestand angelerntes künstliches neuronales Netzwerk verwendet werden und unter geringer Parameteränderung auf die jeweilige Verwendungsart angepasst werden. Das Anlernen und Validieren des künstlichen neuronalen Netzwerks kann beispielsweise mit Python Tensorflow und/oder Python Keras erfolgen. Die Bildverarbeitung, Bereitstellung und/oder Zuordnung kann mittels OpenCV2.4 erfolgen.
Das künstliche neuronale Netzwerk kann zudem ausgebildet sein, zuvor angelernte Kenntnisse bei der fortlaufenden Analyse der Hautläsionen aus den zugeführten Bilddaten weiter zu verbessern. Das bedeutet, dass das künstliche neuronale Netzwerk vorzugsweise selbstlernend ausgebildet ist und seine Kenntnisse während des fortlaufenden Einsatzes in der Analyse von Hautläsionen stetig erweitert bzw. verbessert. Hierbei können beispielsweise vom behandelnden Arzt bereitgestellte Informationen hinsichtlich einer jeweiligen Diagnose zu einer erfassten Hautläsion berücksichtigt werden. In einer bevorzugten Ausführungsform umfasst das Verfahren den weiteren Schritt der Erfassung einer Übersichtsaufnahme einer menschlichen Körperregion aufweisend eine Vielzahl von Hautläsionen, vorzugsweise ein sogenanntes „klinisches Bild“, und/oder den weiteren Schritt einer vorzugsweise automatischen Zuordnung einer erfassten Detailaufnahme einer Hautläsion zu einer entsprechenden Hautläsion in einer erfassten Übersichtsaufnahme. Die
Übersichtsaufnahme kann beispielsweise eine Ansicht bzw. Darstellung einer menschlichen Körperteilregion oder Körperregion wie beispielsweise eine menschliche Rückenansicht sein. Unter Detailaufnahme wird vorliegend eine Erfassung einer einzelnen Hautläsion, vorzugsweise aus nächster Nähe zur Hautoberfläche verstanden.
Die Erfassung der Übersichtsaufnahme erfolgt vorzugsweise mit den
Erfassungsmitteln. Diese können neben Mitteln für eine jeweilige Detailaufnahme zusätzliche Mittel, beispielsweise eine vorzugsweise hochauflösende digitale Foto- oder Videokamera zur Erfassung der Übersichtsaufnahme umfassen. Die Zuordnung einer erfassten Detailaufnahme zu einer jeweiligen Übersichtsaufnahme kann mit Hilfe eines entsprechenden Eingabemittels manuell oder mittels einer elektronischen Bildverarbeitung automatisch erfolgen. Insbesondere kann dies durch einen Vergieichsalgorithmus ermöglicht werden, welcher die jeweiligen Aufnahmen miteinander vergleicht und bei erkannter Übereinstimmung der Bilddaten eine entsprechende Zuordnung vornimmt. Hierbei kann beispielsweise eine an sich bekannte Merkmaiserkennung basierend auf einer OpenCV Library verwendet werden.
In einer bevorzugten Ausführungsform weist das Verfahren den weiteren Schritt eines Vergleichs einer neu erfassten Aufnahme, insbesondere einer Detailaufnahme, einer Hautläsion mit bereits zuvor erfassten Aufnahmen auf. Basierend hierauf kann anschließend eine Zuordnung als Wiederholungsaufnahme (Follow-up Aufnahme) zu einer bestehenden Aufnahme oder eine Neuanlage als Erstaufnahme einer Hautläsion erfolgen. Für die Zuordnung kann die jeweilige Aufnahme mit bestehenden Detailaufnahmen und einem jeweils zugehörigen Übersichtsbild verglichen werden. Beispielsweise vergleicht ein entsprechender Algorithmus eine erfasste Detailaufnahme mit bereits vorhandenen Detailaufnahmen in der Datenbank des jeweiligen Patienten. Erkennt die Bildauswertung Übereinstimmungen mit bereits bestehenden Aufnahmen, so kann diese neue Aufnahme als Follow-up Aufnahme gekennzeichnet und/oder der Läsion im Übersichtsbild als neue Aufnahme zugeordnet werden.
In einer bevorzugten Ausführungsform weist das Verfahren den Schritt einer Analyse einer oder mehrerer Hautläsionen durch elektronische Verarbeitung einer erfassten Übersichtsaufnahme mittels des künstlichen neuronalen Netzwerks zur Erkennung und/oder Klassifizierung der jeweiligen Hautläsion auf. Insbesondere kann das künstliche neuronale Netzwerk hierbei ausgebildet sein, eine Erkennung und/oder Klassifizierung einer Vielzahl von Hautläsionen in einer erfassten Übersichtsaufnahme durchzuführen. Die Analyse der Hautläsionen in einer Übersichtsaufnahme kann hierbei parallel bzw. im Hintergrund zu einer jeweiligen Analyse einer Detailaufnahme einer Hautläsion erfolgen.
In einer bevorzugten Ausführungsform umfasst das Verfahren der Schritt einer Ausgabe einer Information bei noch nicht erfolgter Erfassung einer Detailaufnahme einer jeweiligen Hautläsion einer zugeordneten Übersichtsaufnahme, insbesondere falls basierend auf der Analyse der Übersichtsaufnahme durch das künstliche neuronale Netzwerk eine vordefinierte Klassifikation und/oder ein vordefinierter Risikowert bzw. Risikofaktor ermittelt wurde. Beispielsweise kann eine Ausgabe eines Warnhinweises oder eine graphische Hervorhebung einer Hautläsion auf einer Darstellung des Übersichtsbilds erfolgen. Basierend darauf kann der behandelnde Arzt eine Detailaufnahme der jeweiligen Hautläsion zur genaueren Beurteilung erfassen.
In einer bevorzugten Ausführungsform umfasst das Verfahren den Schritt einer vorzugsweise regelmäßigen Überprüfung der Aktualität einer jeweiligen Detailaufnahme einer Hautläsion zu einer zugeordneten Übersichtsaufnahme. Bei einer Überschreitung eines vordefinierten vorzugsweise absoluten Zeitwerts einer Detailaufnahme, beispielsweise für vordefinierte Monate oder Jahre, und/oder bei größeren Abweichungen von Aktualitäts- bzw. Erfassungswerten unterschiedlicher Detailaufnahmen, beispielsweise von einem jeweiligem hinterlegten Erfassungsdatum, kann dann eine Information, beispielsweise ein Warnhinweis oder eine graphische Hervorhebung einer Hautläsion auf einer Darstellung des Übersichtsbilds ausgegeben werden. Hierbei kann auf längere zurückliegende und/oder vom behandelnden Arzt nicht mehr neu angefertigte bzw. aktualisierte Detailaufnahmen hingewiesen werden. Dies kann insbesondere für Hautläsionen erfolgen, für welche basierend auf der Analyse der Übersichtsaufnahme durch das künstliche neuronale Netzwerk eine vordefinierte Klassifikation und/oder ein vordefinierter Risikofaktor ermittelt wurde.
In einer bevorzugten Ausführungsform ist das künstliche neuronale Netzwerk ausgebildet, zuvor angelernte Kenntnisse bei der Analyse der Hautläsionen in einer jeweiligen Übersichtsaufnahme aus den zugeführten Bilddaten weiter zu verbessern. Dies erfolgt vorzugsweise fortlaufend und kann parallel bzw. im Hintergrund zu einer Analyse einer jeweiligen Detailaufnahme einer Hautläsion erfolgen. Hierbei können beispielsweise vom behandelnden Arzt bereitgestellte Informationen hinsichtlich einer jeweiligen Diagnose zu einer erfassten Hautläsion berücksichtigt werden.
In einer bevorzugten Ausführungsform werden die erfassten Aufnahmen von Hautläsionen in einer Speichereinheit, beispielsweise einer internen oder externen Speichereinheit einer Analyseeinheit gespeichert. Diese können dann mittels des künstlichen neuronalen Netzwerks im Rahmen einer vorzugsweise periodisch durchgeführten Analyse analysiert werden. Hierbei können selbst ältere Aufnahmen mit neuen Erkenntnissen des künstlichen neuronalen Netzwerks analysiert werden. Bei Abweichung von hierbei erkannten Klassifizierungen einer Hautläsion mit diesbezüglich hinterlegten Informationen oder Diagnosen, kann eine Ausgabe eines entsprechenden Hinweises erfolgen.
Die jeweiligen Abbildungen, Darstellungen und/oder Informationen können mit Ausgabemitteln beispielsweise einem Display oder Monitor einer mit den Erfassungsmitteln verbundenen Analyseeinheit, wie beispielsweise einem Computer, PC, Tablet oder Smartphone, ausgegeben werden.
In einem weiteren Aspekt betrifft die vorliegende Erfindung ein Diagnostizierverfahren zur vorzuweisen automatischen Charakterisierung bzw. Bewertung von Hautläsionen, aufweisend die folgenden Schritte:
Erfassung einer Aufnahme, insbesondere einer Detailaufnahme, einer Hautläsion in einem zu untersuchenden Hautbereich mittels hierfür ausgebildeter optischer Erfassungsmittel, insbesondere einem Videodermatoskop, und Bereitstellung von darauf basierenden Bilddaten,
Analyse der Hautläsion durch elektronische Verarbeitung der bereitgestellten Bilddaten mittels eines künstlichen neuronalen Netzwerks, welches zur Erkennung und/oder Klassifizierung von Hautläsionen ausgebildet ist, und Ausgabe wenigstens einer Abbildung der erfassten Hautläsion und einer dieser zugeordneten Information basierend auf der Analyse mittels des künstlichen neuronalen Netzwerks, wobei die der Abbildung zugeordnete Information eine Wiedergabe einer erkannten vordefinierten Klasse der Hautläsion und/oder eines zugehörigen vorzugsweise numerischen Risikofaktors der Hautläsion umfasst. Das Verfahren ermöglicht somit eine automatische Diagnose einer zu untersuchenden Hautläsion basierend auf der Analyse eines künstlichen neuronalen Netzwerks.
Das Verfahren kann zudem weitere Merkmale aufweisen, welche im Zusammenhang mit dem oben beschriebenen Verfahren zur Darstellung beschrieben wurden. Zur Vermeidung von Wiederholungen wird auf die obige Beschreibung des Verfahrens zur Darstellung verwiesen. Insbesondere sollen die oben beschriebenen Merkmale auch als für das erfindungsgemäße Diagnostizierverfahren offenbart und beanspruchbar gelten und umgekehrt.
In einem weiteren Aspekt betrifft die vorliegende Erfindung eine Vorrichtung zur Durchführung eines Verfahrens, insbesondere einem Verfahren wie oben beschrieben, aufweisend optische Erfassungsmittel, insbesondere ein Videodermatoskop, zur Erfassung einer Aufnahme, insbesondere einer Detailaufnahme, einer Hautläsion in einem zu untersuchenden Hautbereich, und Bereitstellung darauf basierender Bilddaten, eine Analyseeinheit zur elektronischen Verarbeitung der bereitgestellten Bilddaten mittels eines künstlichen neuronalen Netzwerks, welches zur Erkennung und/oder Klassifizierung von Hautläsionen ausgebildet ist, und Ausgabemittel zur Ausgabe wenigstens einer Abbildung der erfassten Hautläsion und einer dieser zugeordneten Information basierend auf der Analyse mittels des künstlichen neuronalen Netzwerks.
Die Analyseeinheit kann beispielsweise durch einen Rechner, wie beispielsweise einen PC, Tablet oder Smartphone, gebildet sein oder diese(n) umfassen. Die Analyseeinheit umfasst vorzugsweise wenigstens eine interne oder externe Speichereinheit. Auf dieser können das künstliche neuronale Netzwerk und die für den Betrieb des Netzwerks benötigten Daten in an sich bekannter Weise gespeichert sein. Die Analyseeinheit ist zudem vorzugsweise zur Speicherung und Ausführung eines Softwareprogramms ausgebildet. Dieses kann vorzugsweise zur Durchführung des erfindungsgemäßen Verfahrens konfiguriert sein. Die Analyseeinheit kann zudem wenigstens eine Schnittstelle für die Anbindung der Erfassungsmittel und/oder externer oder zusätzlicher Ausgabemittel aufweisen. Die Analyseeinheit kann zudem eine Kommunikationsschnittstelle zur Anbindung an einen externen Datenserver und/oder das Internet aufweisen. Die Analyseeinheit kann weiterhin ausgebiidet sein, die elektronische Verarbeitung wenigstens teilweise mit Hilfe und/oder basierend auf Informationen bereitgestellt durch externe Server und/oder Datenbankmittel durchzuführen.
Zur Vermeidung von Wiederholungen wird auf die obige Beschreibung des erfindungsgemäßen Verfahrens verwiesen. Insbesondere sollen die oben beschriebenen Merkmale des Verfahrens auch als für die erfindungsgemäße Vorrichtung offenbart und beanspruchbar gelten und umgekehrt.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnungen, diese zeigen in:
Fig. 1 eine schematische Darstellung einer bevorzugten Ausführungsform der erfindungsgemäßen Vorrichtung;
Fig. 2 ein Flussdiagramm einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 3 ein Flussdiagramm einer bevorzugten Ausführungsform der Zuordnung einer erfassten Detailaufnahme zu einer erfassten Übersichtsaufnahme;
Fig. 4a eine bevorzugte Darstellung bei der erfindungsgemäßen Ausgabe der
Abbildung einer Hautläsion mit zugeordneten Informationen;
Fig. 4b eine bevorzugte Darstellung bei der erfindungsgemäßen Ausgabe der
Abbildung einer Hautläsion und einer Zuordnung zu einer Übersichtsaufnahme; und
Fig. 4c eine bevorzugte Darstellung bei der erfindungsgemäßen Ausgabe einer
Vielzahl von Abbildungen von erfassten Hautläsionen und den jeweils zugeordneten Informationen.
Fig. 1 zeigt eine bevorzugte Ausführungsform einer erfindungsgemäßen Vorrichtung. Die Vorrichtung weist optische Erfassungsmittel 2 auf, welche zur Erfassung einer Aufnahme, insbesondere einer Detailaufnahme einer Hautläsion 13 eines Patienten P ausgebildet sind. Die Erfassungsmittel 2 stellen vorzugsweise digitale Bilddaten bzw. ein diese repräsentierendes Signal basierend auf der erfassten Aufnahme bereit. Die Erfassungsmittel 2 umfassen vorzugsweise ein an sich bekanntes Videodermatoskop. Dieser kann zur Aufnahme von Detailaufnahmen einer Hautläsion im Mikroaufnahmemodus betrieben werden. Die Erfassungsmittel 2 können auch eine vorzugsweise hochauflösende digitale Bild- oder Videokamera 3 umfassen. Diese kann zur Erfassung von Detailaufnahmen und/oder einer Übersichtsaufname eines Hautbereichs eines Patienten ausgebildet sein.
Die Vorrichtung weist zudem eine Analyseeinheit 1 zur elektronischen Verarbeitung der bereitgestellten Bilddaten mittels eines künstlichen neuronalen Netzwerks auf. Die Analyseeinheit weist hierbei eine Prozessor und/oder Speichereinheit 7 auf. Auf dieser kann das künstliche neuronale Netzwerk gespeichert sein, bzw. zur Analyse der Bilddaten ausgeführt werden. Das künstliche neuronale Netzwerk ist zur
Erkennung und/oder Klassifizierung von Hautläsionen ausgebildet bzw. eingerichtet. Hierbei kann das künstliche neuronale Netzwerk auf in der Speichereinheit 7 hinterlegte Daten und/oder auf einen externen Server oder eine externe Speichereinheit 5 zugreifen. Diese kann mittels einer Kommunikationsschnittstelle 6 der Analyseeinheit 1 mit der Prozessor und/oder Speichereinheit 7 verbunden sein.
Die Kommunikationsschnittstelle 6 kann zudem zur Anbindung der Erfassungsmittel 2,3 an die Analyseeinheit 1 ausgebildet sein. Die Kommunikationsschnittstelle 6 kann eine drahtlose und/oder drahtgebundene Kommunikation mit den Erfassungsmitteln 2,3 und/oder dem externen Server oder einer externen Speichereinheit 5 ermöglichen.
Die Analyseeinheit 1 ist vorzugsweise ausgebildet, eine insbesondere zur Durchführung des erfindungsgemäßen Verfahrens geeignete Software zu umfassen bzw. bereitzustellen. Diese kann auf der Prozessor und/oder Speichereinheit 7 gespeichert und/oder ausführbar sein. Die Analyseeinheit 1 weist zudem vorzugsweise eine Benutzerschnittstelle zur Steuerung der Analyseeinheit 1 und/oder einer darauf ausgeführten Software auf. Diese kann an sich bekannte Eingabemittel wie beispielsweise eine Tastatur, Maus und/oder einen Touchscreen umfassen.
Die Vorrichtung weist zudem Ausgabemittel 4 auf, welche mit der Analyseeinheit 1 drahtlos oder drahtgebunden verbunden sind oder von der Analyseeinheit 1 umfasst sind. Die Ausgabemittel 4 sind vorzugsweise zur graphischen Wiedergabe von Informationen ausgebildet. Insbesondere können die Ausgabemittel 4 einen Bildschirm und/oder ein Touch-Display umfassen. Die Ausgabemitel 4 können zudem zur Bereitstellung von akustischen Signalen oder Warnhinweisen ausgebildet sein. Die Ausgabemittel sind insbesondere ausgebildet, eine Abbildung einer erfassten Hautläsion mit wenigstens einer zugeordneten Information basierend auf der Analyse mitels des künstlichen neuronalen Netzwerks bereitzustellen. Die Analyseeinheit 1 ist hierbei vorzugsweise ausgebildet, die Ausgabe der wenigstens einen Abbildung der erfassten Hautläsion, die Analyse der Hautläsion und/oder die Darstellung der der Abbildung zugeordneten Information in Echtzeit bereitzustellen.
Fig. 2 zeigt ein Flussdiagramm einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. Hierbei erfolgt in einem ersten Schritt S1 die Erfassung einer Detailaufnahme einer Hautläsion mit den Erfassungsmiteln 2. Diese stellen dann ein Einzelbild oder ein Videobild aufweisend mehrere Einzelbilder bereit (S2). In einem nächsten Schrit S3 erfolgt eine Qualitätskontrolle, insbesondere, ob die Bildqualität der erfassten Aufnahme, beispielsweise hinsichtlich Bildschärfe und Ausleuchtung, ausreichend für eine Beurteilung durch das künstliche neuronale Netzwerk ist. Sollte die Bildqualität nicht ausreichend sein, beispielsweise durch eine Unschärfe des Bilds, werden die Schrite S1-S3 wiederholt. Wenn die Bildqualität ausreichend ist, erfolgt die elektronische Verarbeitung der zugehörigen Bilddaten im Rahmen der Analyse durch das künstliche neuronale Netzwerk. Diese kann einen ersten Schritt der Vorcharakterisierung S4 umfassen. In diesem wird zunächst ermittelt, ob es sich um eine Hautläsion handelt oder nicht. Falls es sich um keine Hautläsion handelt, kann eine entsprechende Ausgabe erfolgen und/oder die Schritte S1 bis S4 wiederholt werden.
In einem weiteren Schrit S5 erfolgt dann eine genaue Erkennung und/oder Klassifizierung der Hautläsion durch das künstliche neuronale Netzwerk. Hierbei kann beispielsweise eine bestimmte Klasse bzw. Typ der Hautläsion erkannt werden. Auch kann ein spezifischer Fortschrit der Hautläsion durch das künstliche neuronale Netzwerk erkannt werden. Das künstliche neuronale Netzwerk stellt dann ein der Erkennung bzw. Klassifizierung entsprechendes Ausgangssignal zur Weiterverarbeitung bereit. Des Weiteren kann das künstliche neuronale Netzwerk ausgebildet sein, basierend auf der erkannten/klassifizierten Hautläsion einen Risikofaktor zu ermiteln bzw. zu berechnen. Wenn die Hautläsion durch die Analyse als auffällig bewertet wurde, kann eine entsprechende Ausgabe an einen Benutzer erfolgen.
Die Ermittlung bzw. Berechnung des Risikofaktors kann alternativ durch einen nachgeordneten Berechnungsschritt erfolgen. Dieser kann basierend auf den bereitgestellten Daten hinsichtlich eines Typs der Hautläsion und/oder eines Fortschritts der Hautläsion eine Zuordnung zu einem vordefinierten Risikofaktor bzw. eine Einteilung in einen vordefinierten Wertebereich vornehmen. Hierfür kann ein entsprechender Softwarealgorithmus bereitgestellt sein.
In einem weiteren Schritt S6 erfolgt dann eine Ausgabe einer Abbildung der erfassten Hautläsion zusammen mit wenigstens einer weiteren Information, basierend auf den durch das künstliche neuronale Netzwerk bereitgestellten Daten. Diese kann wenigstens einen Vorcharakterisierungsparameter bzw. Klassifizierungsinformation 14 und/oder wenigstens ein ermittelter Risikofaktor 15,16 sein.
Das Verfahren zur Analyse der jeweiligen Aufnahme der Hautläsion erfolgt vorzugsweise in Echtzeit. Das Verfahren kann insbesondere durch ein entsprechendes Softwareprogramm, ausgeführt auf der zuvor beschriebenen Analyseeinheit durchgeführt werden. Die Ergebnisse der vorgenannten Schritte können einem Benutzer mit Ausgabemitteln, beispielsweise einer Anzeige- und/oder Ausgabeeinheit graphisch angezeigt werden.
Fig. 3 zeigt ein Flussdiagramm einer bevorzugten Ausführungsform der Zuordnung einer erfassten Detailaufnahme zu einer erfassten Übersichtsaufnahme. Eine oder mehrere Übersichtsaufnahmen können hierbei mit den Erfassungsmitteln 3 bereitgestellt werden und zeigt vorzugsweise einen größeren Haut- bzw. Körperbereich eines Patienten, wie beispielsweise einen Oberkörper in Rücken - oder Frontalansicht. Die Übersichtsaufnahme kann auch eine Ganzkörperaufnahme in Rücken- oder Frontalansicht sein. Die Übersichtsaufnahme zeigt vorzugsweise eine Vielzahl von Hautläsionen und ermöglicht eine Zuordnung von erfassten Detailaufnahmen zum Zwecke der besseren Wiederauffindbarkeit, beispielsweise bei Wiederholungsaufnahmen. in den gezeigten Schritten S1‘ bis S3‘ erfolgt die Erfassung von Detaiiaufnahmen einer Hautläsion, die Bereitstellung eines entsprechenden Bild oder Videobilds und eine anschließende Qualitätskontrolle, insbesondere hinsichtlich Bildschärfe und Ausleuchtung, analog zu den vorher beschriebenen Schritten S1 bis S3. In einem anschließenden Schritt S7 erfolgt ein Abbildungsvergleich der bereitgestellten Bilddaten der Detailaufnahme mit den Bilddaten von wenigstens einem zuvor erfassten Übersichtsbild. Ein entsprechender und an sich bekannter Algorithmus vergleicht dabei die entsprechenden Bilddaten und nimmt bei einer aufgefundenen Übereinstimmung eine automatische Zuordnung des Einzelbilds zum Übersichtsbild vor. Falls keine Übereinstimmung aufgefunden wird, kann das Bild als Neuaufnahme gespeichert werden und/oder eine Erfassung eines weiteren Detailaufnahme (S1‘- S3‘) erfolgen. Die entsprechende Zuordnung erfolgt dann in einem weiteren Schritt S8. Hierbei kann die Zuordnung direkt ausgegeben werden oder einem Benutzer als Vorschlag zur expliziten Bestätigung angezeigt werden. In einem weiteren Schritt S9 kann dann eine Anzeige des Ergebnisses der Zuordnung erfolgen. Hierbei kann beispielsweise eine Anordnung der Detailaufnahme an entsprechender Stelle in der Übersichtsaufnahme vorgenommen werden und/oder eine Markierung im Übersichtsbild und daran eine Verknüpfung zur Detailaufnahme gesetzt werden. Ein Benutzer kann dann beispielsweise mit einem Klick auf die entsprechende Stelle in einer Übersichtsaufnahme die zugeordnete Detailaufnahme öffnen.
Fig. 4a-4c zeigen eine bevorzugte Darstellung mittels Ausgabemitteln 4 einer erfindungsgemäßen Vorrichtung bzw. entsprechende Screenshots einer graphischen Oberfläche 9 eines Softwareprogramms, welches zur Ausführung des erfindungsgemäßen Verfahrens ausgebildet ist.
Die Ausgabe bzw. graphische Oberfläche 9 umfasst dabei eine Abbildung 12 der erfassten Hautläsion 13. Hierbei wird vorzugsweise ein Live-Bild, d.h. eine Echtzeitabbildung einer Videoaufnahme, beispielsweise erfasst mit einem Videodermatoskop, dargestellt. Die Ausgabe bzw. graphische Oberfläche 9 umfasst vorzugsweise Navigations- und/oder Steuerungsmittel 10, mit welchen beispielsweise verschiedene Ansichten und/oder Vergrößerungsstufen der Abbildung 12 ausgewählt werden können. Ebenfalls umfasst die Ausgabe bzw. graphische Oberfläche 9 vorzugsweise Informationen zum untersuchten Patienten 11. Die Ausgabe bzw. graphische Oberfläche 9 umfasst zudem eine Information oder mehrere Informationen 14,15,16, welche zur jeweiligen abgebildeten Hautläsion 13 zugeordnet ist, und welche auf der Erkennung und/oder Klassifizierung des künstlichen neuronalen Netzwerks basieren. Die Information 14,15,16 wird hierbei vorzugsweise wenigstens teilweise in Echtzeit bereitgestellt.
Die ausgegebene Information kann insbesondere (Vor-)Klassifizierungsinformationen umfassen. Diese können einen Indikator bzw. Parameterdarstellung 14a umfassen, welche angibt, ob die analysierte Hautanomalie bzw. der erfasste Hautbereich eine
Hautläsion 13 ist bzw. aufweist. Des Weiteren können die Klassifizierungsinformationen einen Indikator bzw. eine Parameterdarstellung 14b, 14c umfassen, welcher angibt, ob die analysierte Hautläsion melanozytär oder nicht-melanozytär ist. Des Weiteren kann die ausgegebene Information eine jeweilig erkannte Klasse bzw. Typen der zu analysierenden Hautläsion umfassen.
Beispielsweise kann ausgeben werden, ob es sich bei der Hautläsion um ein Melanom, Nävus, Basalzellkarzinom etc. handelt. Die Information kann auch zwei oder drei der mit der höchsten Wahrscheinlichkeit durch das künstliche neuronale Netzwerk erkannten Klasse bzw. Typen der zu analysierenden Hautläsion, vorzugsweise in absteigender Wahrscheinlichkeit, umfassen.
Die ausgegebene Information kann zudem eine Wiedergabe eines Risikofaktors 15 umfassen, welcher angibt, wie gesundheitsrelevant bzw. riskant die analysierte Hautläsion einzustufen ist. Dieser kann in numerischer und/oder graphischer Form 15a ausgegeben werden. Alternativ oder zusätzlich kann eine entsprechende graphische Wiedergabe in einer vordefinierten Vergleichsskala 15b erfolgen. Diese kann wenigstens in niedrig, mittel und hohes Risiko unterteilt sein. Die Ausgabe der vorgenannten Informationen erfolgt vorzugsweise in Echtzeit basierend auf der erfassten Hautläsion und der Analyse des künstlichen neuronalen Netzwerks. Die ausgegebene Information kann zusätzlich einen Mittelwert und/oder einen durchschnittlichen Risikofaktor in numerischer und/oder graphischer Form 16 aufweisen. Dieser kann auf mehreren Einzelanalysen einer erfassten Hautläsion basieren, beispielsweise falls mehrere Einzelbilder einer spezifischen Hautläsion erfasst und analysiert werden. Fig. 4b zeigt die Zuordnung zu einer neu erfassten Detailaufnahme 12 zu einer bereits erfassten Übersichtsaufnahme 17. Hierbei wird wie zuvor mit Verweis auf Fig. 3 beschrieben, durch einen entsprechenden Bildvergleich eine automatische Zuordnung der Detailaufnahme 12 zu einer Übersichtsaufnahme 17 des Patienten P vorgenommen. Das Ergebnis der Zuordnung kann in einem separaten Fenster bzw. Bereich der graphischen Oberfläche dargestellt werden. Insbesondere kann aus einer Vielzahl von in einer Übersichtsaufnahme 17 erkannten Läsionen 19a,...19n eine entsprechende Übereinstimmung hervorgehoben werden (19a). Zudem kann mittels eines Indikators 18 in der Übersichtsaufnahme 17 die entsprechende Position am Körper bzw. in der Übersichtsaufnahme angezeigt werden. Das Ergebnis der automatischen Zuordnung kann vorzugsweise vom Benutzer manuell angepasst werden, beispielsweise falls die automatische Zuordnung nicht korrekt ist.
Benachbart zu einer vorzugsweise Live-Darstellung der erfassten Hautläsion 13 in Abbildung 12 kann eine Referenz- bzw. die letzte für die entsprechende Läsion im Übersichtsbild erfasste Detailaufnahme 12‘ angezeigt werden. Die neu erfasste Detailaufnahme 12 kann hierbei als Wiederholungsaufnahme bzw. Follow-up- Aufnahme erkannt und entsprechend abgespeichert werden. Hierdurch können Bildhistoriendaten für eine jeweilige Läsion bzw. Position in einer Übersichtsaufnahme erfasst werden.
Fig. 4c zeigt eine bevorzugte Darstellung bei der erfindungsgemäßen Ausgabe einer Vielzahl von Abbildungen von erfassten Hautläsionen und den jeweils zugeordneten Informationen. Hierbei kann für jede der erfassten Hautläsionen eine Läsionshistorie dargestellt werden, welche aus einer Vielzahl von Detailaufnahmen 21a,...,21 n besteht, die in zeitlichem Abstand, beispielsweise bei jeweiligen Untersuchungen, erfasst wurden. Für jede der Detailaufnahmen kann zudem eine zugeordnete Information wie beispielsweise ein Risikofaktor dargestellt und/oder eine Zuordnung zu einer Übersichtsaufnahme 17 mittels eines Positionsindikators 20 bereitgestellt werden. Die Darstellung kann zudem eine Unterteilung der jeweiligen Läsionen in Risikoklassen wie hoch, mittel oder niedrig umfassen. Hierbei können die die jeweilige Läsionen, für welche ein hoher Risikofaktor ermittelt wurde (22a,...2n), gesondert darstellen oder für einen Benutzer hervorgehoben werden. Die weiteren Risikoklassen wie mittel (23a .23n) und niedrig (24a,..., 24n) können ebenfalls dargestellt sein.
Die Darstellungsweise ermöglicht es einem behandelnden Arzt die besonders riskanten Läsionen regelmäßig näher zu überprüfen. Zudem kann das künstliche neuronale Netzwerk ausgebildet sein, die jeweiligen Hautläsionen im bestehenden Bildbestand eines Patienten parallel oder im Hintergrund zu einer jeweiligen Untersuchung von Detailaufnahmen zu analysieren. Dies kann insbesondere auch basierend auf den erfassten Übersichtsaufnahmen erfolgen. Hierbei können Veränderungen von Läsionen in der Übersichtsaufnahme erkannt und/oder überprüft werden. Zudem kann eine Überprüfung erfolgen, ob der Benutzer eine jeweilige Läsion weiterhin auflichtmikroskopisch, d.h. mittels Erfassung von Detailaufnahmen, untersucht. Ist dies nicht der Fall, kann das Verfahren bzw. die Vorrichtung ausgebildet sein, mögliche Auffälligkeiten dem Benutzer aufzeigen und/oder zu empfehlen eine auffällige Läsion in die auflichtmikroskopische Untersuchung wieder mit aufzunehmen.
Die oben beschriebenen Ausführungsformen sind lediglich beispielhaft, wobei die Erfindung keineswegs auf die in den Figuren gezeigten Ausführungsformen beschränkt ist.
Bezugszeichenliste
1 Analyseeinheit
2 Erfassungsmittel
3 Erfassungsmittel für Übersichtsaufnahme
4 Ausgabemittel
5 externer Server/Datenspeicher
6 Kommunikationsschnittstelle
7 Prozessor/Speichereinheit
8 Benutzerschnittstelle
9 Graphische Oberfläche
10 Navigations-/Steuerungsmittel
11 Patienteninformation
12,12' Abbildung Hautläsion (Detailaufnahme)
13,13' Hautläsion
14a-c (Vor-)Klassifizierungsinformation
15a numerische Wiedergabe Risikowert
15b graphische Wiedergabe Risikowert
16 durchschnittlicher Risikowert
17 Abbildung Übersichtsbild (Übersichtsaufnahme)
18 Indikator automatische Zuordnung
19a Darstellung zugeordnete Hautläsion
19b,...,n Darstellung alternativ zuordenbarer Hautläsionen
20 Positionsindikator
21a . n Läsionshistorie
22a, ...,n Läsionsübersicht hohes Risiko
23a, ...,n Läsionsübersicht mittleres Risiko
24a, ...,n Läsionsübersicht geringes Risiko
P Patient/Hautbereich
S1 ,S1‘ Erfassung Aufnahme
S2,S2‘ BildA/ideobild
S3,S3‘ Qualitätskontrolle
54 Vorcharakterisierungsschritt
55 Erkennung und/oder Klassifizierung
56 Ausgabe Bewertung
57 Abbildungsvergleich
58 Abbildungszuordnung
59 Ausgabe Zuordnungsergebnis

Claims

Ansprüche
1. Verfahren zur Darstellung wenigstens einer Abbildung einer Hautläsion und zugehöriger Information zur Unterstützung bei der Charakterisierung der Hautläsion, aufweisend die Schritte:
Erfassung einer Aufnahme, insbesondere einer Detailaufnahme, einer Hautläsion (13) in einem zu untersuchenden Hautbereich mittels hierfür ausgebildeter optischer Erfassungsmittel (2), insbesondere einem Videodermatoskop, und Bereitstellung von darauf basierenden Bilddaten,
Analyse der Hautläsion durch elektronische Verarbeitung der bereitgestellten Bilddaten mittels eines künstlichen neuronalen Netzwerks, welches zur Erkennung und/oder Klassifizierung von Hautläsionen ausgebildet ist, und
Ausgabe wenigstens einer Abbildung (12) der erfassten Hautläsion (13) und einer dieser zugeordneten Information (14,15,16) basierend auf der Analyse mittels des künstlichen neuronalen Netzwerks,
wobei die der Abbildung (12) zugeordnete Information (14,15,16) eine Wiedergabe einer erkannten vordefinierten Klasse der Hautläsion (14) und/oder eines zugehörigen vorzugsweise numerischen Risikowert (15,16) der Hautläsion umfasst.
2. Verfahren nach Anspruch 1 , wobei das künstliche neuronale Netzwerk zur Erkennung vordefinierter Klassen von Hautläsionen ausgebildet ist, insbesondere von nicht-melanozytären und melanozytären Hautläsionen, und/oder der Klassen Pigmentnävus, Dermatofibrom, Malignes Melanom, Aktinische Keratose und Morbus Bowen, Basalzellkarzinom (Basaliom), seborrhoische Keratose, Lentigo Solaris, Angiom, und/oder Plattenepithelkarzinom.
3. Verfahren nach Anspruch 1 oder 2, wobei das künstliche neuronale Netzwerk zur Erkennung von vordefinierten Risikoklassen insbesondere hinsichtlich einer Malignität der Hautläsion (13) ausbildet ist, und/oder wobei die Analyse der Hautläsion (13) eine Berechnung eines auf einer erkannten Risikoklasse der Hautläsion basierenden Risikowerts (15,16) umfasst.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Ausgabe der wenigstens einen Abbildung (12) der erfassten Hautläsion (13), die Analyse der Hautläsion und/oder die Darstellung der der Abbildung zugeordneten Information (14,15,16) in Echtzeit erfolgt.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bilddaten wenigstens zwei, vorzugsweise eine Vielzahl von Einzelbilder der Hautläsion (13) umfassen, welche jeweils einzeln mittels des künstlichen neuronalen Netzwerks analysiert werden, und wobei zur Ausgabe der der Abbildung zugeordneten Information ein Gesamtbewertungsergebnis (16) der Einzelbilder, insbesondere hinsichtlich einer Erkennung und/oder Klassifizierung, berechnet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das künstliche neuronale Netzwerk ausgebildet ist, basierend auf vorzugsweise mittels überwachten Lernens antrainierten Kenntnissen eine vordefinierte Klassifizierung zu erkennen und/oder wobei das künstliche neuronale Netzwerk ausgebildet ist, zuvor angelernte Kenntnisse bei der Analyse der Hautläsion aus den zugeführten Bilddaten weiter zu verbessern.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das künstliche neuronale Netzwerk ein faltendes neuronales Netzwerk (CNN) ist und/oder wobei das künstliche neuronale Netzwerk wenigstens eine verdeckte Schicht aufweist.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren die folgenden weiteren Schritte aufweist:
Erfassung einer Übersichtsaufnahme (17) einer menschlichen Körperregion aufweisend eine Vielzahl von Hautläsionen, und/oder automatische Zuordnung einer Detailaufnahme (12) einer Hautläsion zu einer entsprechenden Hautläsion in einer erfassten Übersichtsaufnahme (17) vorzugsweise mittels elektronischer Datenverarbeitung.
9. Verfahren nach Anspruch 8, wobei das Verfahren den weiteren Schritt eines Vergleichs einer neu erfassten Aufnahme einer Hautläsion (12) mit bereits zuvor erfassten Aufnahmen (12‘) umfasst und basierend darauf eine Zuordnung als Wiederholungsaufnahme oder Neuanlage als Erstaufnahme einer Hautläsion erfolgt.
10. Verfahren nach Anspruch 8 oder 9, wobei das Verfahren den Schritt der Analyse einer oder mehrerer Hautläsionen (13) durch elektronische Verarbeitung der erfassten Übersichtsaufnahme (17) mittels des künstlichen neuronalen Netzwerks zur Erkennung und/oder Klassifizierung der jeweiligen Hautläsion aufweist.
11. Verfahren nach Anspruch 10, wobei das Verfahren eine Anzeige einer Information bei noch nicht erfolgter Erfassung einer Detailaufnahme einer jeweiligen Hautläsion umfasst, für welche basierend auf der Analyse der Übersichtsaufnahme durch das künstliche neuronale Netzwerk eine vordefinierte Klassifikation und/oder ein vordefinierter Risikowert ermittelt wurde.
12. Verfahren nach Anspruch 10 oder 11 , wobei das Verfahren eine Überprüfung der Aktualität einer jeweiligen Detailaufnahme zu einer Übersichtsaufnahme (17) vornimmt und bei einer Überschreitung eines vordefinierten Zeitwerts und/oder bei Abweichungen von Aktualitätswerten von Detailaufnahmen (12,12‘) eine Information ausgibt, insbesondere für Hautläsionen, für welche basierend auf der Analyse der Übersichtsaufnahme durch das künstliche neuronale Netzwerk eine vordefinierte Klassifikation und/oder ein vordefinierter Risikowert ermittelt wurde
13. Verfahren nach einem der Ansprüche 8 bis 12, wobei das künstliche neuronale Netzwerk ausgebildet ist, zuvor angelernte Kenntnisse bei der Analyse der Hautläsionen in der Übersichtsaufnahme (17) aus den zugeführten Bilddaten weiter zu verbessern.
14. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erfassten Aufnahmen in einer Speichereinheit (7) gespeichert werden und eine vorzugsweise periodische Analyse der gespeicherten Aufnahmen mittels des künstlichen neuronalen Netzwerks durchgeführt wird.
15. Verfahren nach einem der vorhergehenden Ansprüche, wobei die jeweilige Abbildung und/oder Information durch Ausgabemittel (4), insbesondere einem Display oder Monitor einer mit den Erfassungsmitteln verbundenen Analyseeinheit (1 ), wie beispielsweise einem Computer, PC, Tablet oder Smartphone, ausgegeben wird.
16. Diagnostizierverfahren zur Charakterisierung von Hautläsionen nach einem der vorhergehenden Ansprüche, wobei zur Charakterisierung der Hautläsion eine erkannte vordefinierte Klasse der Hautläsion (14) und/oder ein zugehöriger vorzugsweise numerischer Risikowert (15,16) ausgegeben wird.
17. Vorrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 16, aufweisend
optische Erfassungsmittel (2), insbesondere ein Videodermatoskop (2), zur Erfassung einer Aufnahme, insbesondere einer Detailaufnahme, einer Hautläsion (13) in einem zu untersuchenden Hautbereich, und Bereitstellung darauf basierender Bilddaten,
eine Analyseeinheit (1 ) zur elektronischen Verarbeitung der bereitgestellten Bilddaten mittels eines künstlichen neuronalen Netzwerks, welches zur Erkennung und/oder Klassifizierung von Hautläsionen ausgebildet ist, und
Ausgabemittel (4) zur Ausgabe wenigstens einer Abbildung (12) der erfassten Hautläsion (13) und einer dieser zugeordneten Information (14,15,16) basierend auf der Analyse mittels des künstlichen neuronalen Netzwerks.
EP19808968.2A 2019-02-28 2019-10-28 Verfahren zur evaluierung von hautläsionen unter verwendung künstlicher intelligenz Pending EP3930563A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019105152 2019-02-28
PCT/DE2019/200121 WO2020173516A1 (de) 2019-02-28 2019-10-28 Verfahren zur evaluierung von hautläsionen unter verwendung künstlicher intelligenz

Publications (1)

Publication Number Publication Date
EP3930563A1 true EP3930563A1 (de) 2022-01-05

Family

ID=68655237

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19808968.2A Pending EP3930563A1 (de) 2019-02-28 2019-10-28 Verfahren zur evaluierung von hautläsionen unter verwendung künstlicher intelligenz

Country Status (3)

Country Link
US (1) US20220133215A1 (de)
EP (1) EP3930563A1 (de)
WO (1) WO2020173516A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210118133A1 (en) * 2019-10-16 2021-04-22 Jason Troy Benkert System, method, apparatus and computer program product for the detection and classification of different types of skin lesions
US11950847B1 (en) 2020-03-24 2024-04-09 Al Optics Inc. Portable medical diagnostics device with integrated artificial intelligence capabilities
WO2022087132A1 (en) * 2020-10-20 2022-04-28 Skinio, Llc Skin abnormality monitoring systems and methods
WO2023096503A1 (en) * 2021-11-25 2023-06-01 Kahu.Ai Limited Methods and systems for automatic risk assessment of a skin lesion from multiple images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206587A1 (en) * 2009-12-04 2012-08-16 Orscan Technologies Ltd System and method for scanning a human body
US20140313303A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Longitudinal dermoscopic study employing smartphone-based image registration
US10223788B2 (en) * 2016-08-31 2019-03-05 International Business Machines Corporation Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
US10354383B2 (en) * 2016-12-30 2019-07-16 Skinio, Llc Skin abnormality monitoring systems and methods
US20220240783A1 (en) * 2017-03-02 2022-08-04 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis

Also Published As

Publication number Publication date
US20220133215A1 (en) 2022-05-05
WO2020173516A1 (de) 2020-09-03

Similar Documents

Publication Publication Date Title
WO2020173516A1 (de) Verfahren zur evaluierung von hautläsionen unter verwendung künstlicher intelligenz
DE10021431C2 (de) Verfahren und Einrichtung zur Klassifizierung von optisch beobachtbaren Haut- oder Schleimhaut-Veränderungen
DE102008040804B4 (de) Verfahren, Operationsmikroskop und Analysesystem zur quantitativen Darstellung des Blutflusses
EP3301642B1 (de) Automatisierte bildprüfung in der röntgenbildgebung
DE102019113493A1 (de) Abgestimmte medizinische ultraschallbildgebung
WO2006032261A1 (de) Verfahren und vorrichtung zur retinalen gefässanalyse anhand digitaler bilder
EP3540632B1 (de) Verfahren zum klassifizieren von gewebeproben
WO2019091509A1 (de) Verfahren zur auswertung des hautbildes eines menschen im rahmen der hautkrebs- vorsorgeuntersuchung sowie vorrichtung zu dessen betrieb
EP2697729A2 (de) Verfahren und system zur unterstützung der diagnose eines wenigstens eine störung aufweisenden objektes
DE112009000357T5 (de) System und Verfahren zur Morphologiemerkmalsanalyse von physiologischen Daten
DE102011081541A1 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programmspeicherträger
EP3155588B1 (de) Ganzkörperbildaufnahme- und bildverarbeitungssystem sowie verfahren zu dessen betrieb
EP1038267A1 (de) Verfahren und vorrichtung zur erfassung und bearbeitung von abbildungen biologischen gewebes
EP4021280A1 (de) Vorrichtung zur erzeugung von abbildung von tiefenabhängigen morphologischen strukturen von hautläsionen
DE60035505T2 (de) Feststellung von neurologischen zuständen mittels reizevozierten potentialen
EP2020206A1 (de) Verfahren und Anordnung zur automatischen Erkennung und Interpretation der Irisstruktur als eine Zustandsbestimmung einer Person
DE10254941B4 (de) Vorrichtung zum Aufbau einer medizinischen Datenbank
EP3967220B1 (de) Verarbeiten und visualisieren von daten einer elektrischen impedanztomographie
DE102018117484A1 (de) Verfahren und Vorrichtung zur Erfassung von Herzflimmern basierend auf einem hochempfindlichen Photopletysmogramm unter Verwendung einer tragbaren Vorrichtung
Lu et al. Automatic fundus image classification for computer-aided diagonsis
DE102008040838A1 (de) Verfahren und Anordnung zur Status-Erfassung von Hautgewebe
WO2009124679A1 (de) Verfahren zur automatisierten detektion und segmentierung der papille in fundusaufnahmen
WO2022253742A1 (de) Softwarebasiertes, sprachbetriebenes und objektives diagnosewerkzeug zur verwendung in der diagnose einer chronischen neurologischen störung
DE112019005655T5 (de) Myokardbildanalyseverfahren und -vorrichtung
DE102022121543A1 (de) Mikroskopiesystem und Verfahren zur Qualitätsüberprüfung eines maschinell gelernten Bildverarbeitungsmodells

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210818

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20231031