CN113748468A - 分析外科手术视频的系统和方法 - Google Patents

分析外科手术视频的系统和方法 Download PDF

Info

Publication number
CN113748468A
CN113748468A CN202080029504.XA CN202080029504A CN113748468A CN 113748468 A CN113748468 A CN 113748468A CN 202080029504 A CN202080029504 A CN 202080029504A CN 113748468 A CN113748468 A CN 113748468A
Authority
CN
China
Prior art keywords
surgical
video
frames
event
surgical procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080029504.XA
Other languages
English (en)
Other versions
CN113748468B (zh
Inventor
T·沃尔夫
D·阿塞尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Theatre Co
Original Assignee
Theatre Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Theatre Co filed Critical Theatre Co
Publication of CN113748468A publication Critical patent/CN113748468A/zh
Application granted granted Critical
Publication of CN113748468B publication Critical patent/CN113748468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/92—Identification means for patients or instruments, e.g. tags coded with colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00106—Sensing or detecting at the treatment site ultrasonic
    • A61B2017/0011—Sensing or detecting at the treatment site ultrasonic piezoelectric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Urology & Nephrology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

公开了用于分析和审查外科手术视频的系统和方法。该系统和方法可以包括对表征的外科手术术中事件编索引、基于复杂性对外科手术短片进行分析和编目录、生成术中外科手术事件摘要、在外科手术视频上叠加时间线和/或生成外科手术事件短片汇编。该系统和方法还可以包括外科手术视频的分析，以估计外科手术压力、估计流体泄漏的来源和程度、检测略过的外科手术事件、预测患者的出院后风险、更新所预测的结果、向外科医生提供实时建议、确定保险理赔、调整手术室时间表和/或填写术后报告。

Description

分析外科手术视频的系统和方法
相关申请的交叉引用
本申请基于并要求2019年2月21日提交的美国临时专利申请No.62/808,500、2019年2月21日提交的美国临时专利申请No.62/808,512、2019年4月24日提交的美国临时专利申请No.62/838,066、2020年1月13日提交的美国临时专利申请No.62/960,466以及2020年1月29日提交的美国临时专利申请No.62/967,283的优先权的权益。前述申请的内容通过全部引用而并入本文。
技术领域
所公开的实施方式总体上涉及用于分析外科手术的视频的系统和方法。
背景技术
在准备外科手术时，外科医生观看描绘某些外科手术事件(包括可能具有某些特征的事件)的视频短片可能是有益的。另外，在外科手术期间，拍摄和分析视频以向外科医生提供各种类型的决策支持可能是有所帮助的。此外，分析外科手术视频以促进术后活动可能是有所帮助的。
因此，需要非常规的方法来高效且有效地分析外科手术视频，使得外科医生能够观看手术事件、提供决策支持和/或促进术后活动。
发明内容
与本公开一致的实施方式提供了用于分析外科手术视频的系统和方法。所公开的系统和方法可以使用常规的硬件和软件以及专用硬件和软件(诸如被专门构造和/或编程用于执行与所公开的方法步骤相关联的功能的机器)的组合来实现。与其它公开的实施方式一致，非暂时性计算机可读存储介质可以存储程序指令，所述程序指令可由至少一个处理装置执行并且执行本文所描述的步骤和/或方法中的任一者。
与所公开的实施方式一致，公开了与审查外科手术视频相关的系统、方法以及计算机可读介质。实施方式可以包括访问外科手术的至少一个视频并且使所述至少一个视频被输出以供显示。实施方式还可以包括在被输出以供显示的所述至少一个视频上叠加外科手术时间线。外科手术时间线可以包括标识外科手术阶段、术中外科手术事件以及决策制定节点中的至少一项的标记。外科手术时间线可以使得外科医生能够在观看所述至少一个视频的回放时选择该外科手术时间线上的一个或更多个标记，并由此使该视频的显示跳至与所选择的标记相关联的位置。
在一个实施方式中，所述一个或更多个标记可以包括与外科手术的决策制定节点相对应的决策制定节点标记。决策制定节点标记的选择可以使得外科医生能够观看来自两个或更多个对应的其它外科手术的两个或更多个另选视频短片。此外，所述两个或更多个视频短片可以呈现不同的行为。在另一实施方式中，决策制定节点标记的选择可以使显示与所选择的决策制定节点标记相关的一个或更多个另选可能决策。
与所公开的实施方式一致，公开了与视频编索引相关的系统、方法以及计算机可读介质。该视频编索引可以包括访问要编索引的视频短片(包括特定外科手术的短片)，可以对该视频短片进行分析，以标识与该特定外科手术的外科手术阶段相关联的视频短片位置。可以生成阶段标签并且可以将该阶段标签与视频短片位置相关联。该视频编索引可以包括对视频短片进行分析，以标识外科手术阶段内的特定术中外科手术事件的事件位置；以及将事件标签与特定术中外科手术事件的事件位置相关联。此外，可以存储与特定术中外科手术事件相关联的事件特征。
视频编索引还可以包括在包含其它外科手术的附加视频短片的数据结构中，将特定外科手术的视频短片的至少一部分与阶段标签、事件标签以及事件特征相关联。该数据结构还可以包括与其它外科手术中的一个或更多个外科手术相关联的相应阶段标签、相应事件标签以及相应事件特征。可以使得用户能够通过选择用于显示的视频短片的选定阶段标签、选定事件标签以及选定事件特征来访问该数据结构。然后，可以在外科手术视频短片的数据结构中执行匹配所述至少一个选定阶段标签、选定事件标签以及选定事件特征的查找，以标识所存储的视频短片的匹配子集。可以使所存储的视频短片的匹配子集向用户显示，由此使得用户能够观看至少一个术中外科手术事件的共享选定事件特征的外科手术短片，同时略过缺少选定事件特征的视频短片的回放。
与所公开的实施方式一致，公开了与生成外科手术摘要短片相关的系统、方法以及计算机可读介质。该实施方式可以包括访问特定外科手术短片，该特定外科手术短片包含与至少一个术中外科手术事件相关联的第一组帧以及不与外科手术活动相关联的第二组帧。该实施方式还可以包括访问与在先外科手术的历史外科手术短片相关联的历史数据，其中，该历史数据包括将历史外科手术短片的各部分区分成与术中外科手术事件相关联的帧以及不与外科手术活动相关联的帧的信息。可以基于历史数据的信息来区分特定外科手术短片中的第一组帧与第二组帧。在用户请求时，可以将特定外科手术短片的第一组帧的汇总呈现给用户，而可以从向用户的呈现中略过第二组帧。
在一些实施方式中，所公开的实施方式还可以包括对特定外科手术短片进行分析，以标识外科手术结果以及外科手术结果的相应原因。所述标识可以基于历史结果数据以及相应的历史原因数据。可以基于所述分析来检测特定外科手术短片中的结果帧集合。该结果帧集合可以处于外科手术的结果阶段内。此外，基于所述分析，可以检测特定外科手术短片中的原因帧集合。该原因帧集合可以处于外科手术的在时间上远离结果阶段的原因阶段内，而中间帧集合可以处于介于原因帧集合与结果帧集合之间的中间阶段内。然后，可以生成外科手术短片的因果(cause-effect)摘要，其中，该因果摘要包括原因帧集合和结果帧集合并且略过中间帧集合。向用户呈现第一组帧的汇总(aggregate)可以包括因果摘要。
与所公开的实施方式一致，公开了与外科手术准备相关的系统、方法以及计算机可读介质。该实施方式可以包括访问外科手术视频短片的多个集合的储存库，外科手术视频短片的多个集合反映对不同患者执行的多个外科手术并且包括术中外科手术事件、外科手术结果、患者特征、外科医生特征以及术中外科手术事件特征。所述方法还可以包括：使外科医生能够准备设想的外科手术，以输入与所设想的外科手术相对应的病例特定(case-specific)信息。可以对该病例特定信息和与外科手术视频短片的所述多个集合相关联的数据进行比较，以标识在所设想的外科手术期间很可能遭遇的一组术中事件。此外，可以使用病例特定信息以及所标识的很可能遭遇的一组术中事件，来标识外科手术视频短片的所述多个集合中的特定集合中的与所标识的一组术中事件相对应的特定帧。所标识的特定帧可以包括来自针对不同患者执行的所述多个外科手术的帧。
实施方式还可以包括确定来自不同患者的视频短片的第一集合和第二集合包含与共享共同特征的术中事件相关联的帧；以及从要向外科医生呈现的汇编中删除包含第二集合，并且在要向外科医生呈现的汇编中包括第一集合。最后，实施方式可以包括使得外科医生能够观看包括所述汇编的呈现，该汇编包含来自针对不同患者执行的不同外科手术的帧。
与所公开的实施方式一致，公开了与分析外科手术短片的复杂性相关的系统、方法以及计算机可读介质。实施方式可以包括对外科手术短片的帧进行分析，以标识第一帧集合中的解剖结构。所公开的实施方式还可以包括访问第一历史数据。第一历史数据可以是基于从第一组在先外科手术捕获的第一帧数据的分析。可以使用第一历史数据并且使用所标识的解剖结构来对第一帧集合进行分析，以确定与第一帧集合相关联的第一外科手术复杂程度。
一些实施方式还可以包括对外科手术短片的帧进行分析，以标识第二帧集合中的医疗工具、解剖结构以及医疗工具与解剖结构之间的交互。所公开的实施方式可以包括访问第二历史数据，第二历史数据是基于从第二组在先外科手术捕获的第二帧数据的分析的。可以使用第二历史数据并且使用所标识的交互来对第二帧集合进行分析，以确定与第二帧集合相关联的第二外科手术复杂程度。
实施方式还可以包括向具有第一外科手术复杂程度的第一帧集合加标签；向具有第二外科手术复杂程度的第二帧集合加标签；以及生成包括具有第一标签的第一帧集合和具有第二标签的第二帧集合的数据结构。所生成的数据结构可以使得外科医生能够选择第二外科手术复杂程度，并由此显示第二帧集合，同时略过第一帧集合的显示。
与所公开的实施方式一致，公开了使得能够调整手术室时间表的系统、方法以及计算机可读介质。调整手术室时间表可以包括从位于外科手术室的图像传感器接收跟踪进行中的外科手术的视觉数据；访问包含历史外科手术事件的数据结构；以及对进行中的外科手术的视觉数据和历史外科手术数据进行分析，以确定进行中的外科手术的估计完成时间。调整手术室时间表还可以包括访问外科手术室的时间表。该时间表可以包括与进行中的外科手术的完成相关联的预定时间。此外，调整手术室时间表可以包括基于进行中的外科手术的估计完成时间，来计算预期完成时间是否很可能导致相对于与完成相关联的预定时间的差异；以及基于该差异的计算输出通知，由此使得外科手术室的后续用户能够相应地调整他们的时间表。
与所公开的实施方式一致，公开了对外科手术图像进行分析以确定保险理赔(insurance reimbursement)的系统、方法以及计算机可读介质。对外科手术图像进行分析以确定保险理赔的操作可以包括：访问在针对患者的外科手术期间拍摄的视频帧；对在外科手术期间拍摄的视频帧进行分析，以标识该视频帧中的至少一个医疗器械、至少一个解剖结构以及所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互；以及访问与医疗器械、解剖结构以及医疗器械与解剖结构之间的交互相联系的理赔准则数据库。该操作还可以包括对所标识的所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互和理赔准则数据库中的信息进行比较，以确定与外科手术相关联的至少一个理赔准则。
与所公开的实施方式一致，公开了填写外科手术的术后报告的系统、方法以及计算机可读介质。填写外科手术的术后报告的操作可以包括：接收患者标识符的输入；接收医护提供者的标识符的输入；以及接收由医护提供者对患者执行的外科手术的外科手术短片的输入。该操作还可以包括对外科手术短片的多个帧进行分析，以导出基于图像的信息以供填写外科手术的术后报告；以及使所导出的基于图像的信息填写外科手术的术后报告。
与所公开的实施方式一致，公开了使得能够确定和通知外科手术中的略过的事件的系统、方法以及计算机可读介质。使得能够确定和通知略过的事件的操作可以包括：访问在特定外科手术期间拍摄的视频帧；访问所存储的标识外科手术的建议的事件序列的数据；将所访问的帧与所建议的事件序列进行比较，以标识特定外科手术与该外科手术的所建议的事件序列之间的偏差的指示；确定与该偏差相关联的术中外科手术事件的名称；以及提供该偏差的通知，该通知包括与该偏差相关联的术中外科手术事件的名称。
本公开的一些实施方式包括提供外科手术的实时决策支持的系统、方法以及计算机可读介质。这类实施方式中的一些实施方式可以涉及至少一个处理器。此类实施方式可以涉及接收在手术室中由外科医生对患者执行的外科手术的视频短片；以及访问包括表征外科手术的图像相关数据的至少一个数据结构。此外，可以使用图像相关数据对接收到的视频短片进行分析，以实时确定外科手术决策制定节点的存在。可以访问至少一个数据结构，以及结果与在决策制定节点采取的特定动作之间的相关性。基于所确定的决策制定节点的存在以及所访问的相关性，可以向外科医生输出采取特定动作或者避免特定动作的建议。
本公开的实施方式包括所公开的估计在外科手术期间解剖结构上的接触力的系统、方法以及计算机可读介质。实施方式可以涉及从手术室中的至少一个图像传感器接收外科手术的图像数据；以及对接收到的图像数据进行分析，以确定解剖结构的身份并且确定在图像数据中反映的解剖结构的状况。可以基于解剖结构的所确定的状况来选择与该解剖结构相关联的接触力阈值。可以确定解剖结构上的实际接触力并且将其与所选择的接触力阈值进行比较。此后，可以基于确定实际接触力超过所选择的接触力阈值的指示来输出通知。
本公开的一些实施方式涉及更新外科手术期间的预测结果的系统、方法以及计算机可读介质。这些实施方式可以涉及从被设置成拍摄外科手术的图像的至少一个图像传感器接收与该外科手术期间的第一事件相关联的图像数据。实施方式可以基于接收到的与第一事件相关联的图像数据来确定与该外科手术相关联的预测结果；以及可以从被设置成拍摄外科手术的图像的至少一个图像传感器接收与该外科手术期间的第二事件相关联的图像数据。然后，实施方式可以基于接收到的与第二事件相关联的图像数据来确定预测结果的使预测结果降低到阈值以下的变化。可以基于数据结构中包含的有关在先外科手术的图像相关数据来标识和建议所建议的补救动作。
本公开的一些实施方式涉及使得能够在外科手术期间进行流体泄漏检测的系统、方法以及计算机可读介质。实施方式可以涉及实时接收外科手术的腔内视频。可以将处理器配置成对腔内视频的帧进行分析，以确定该腔内视频中的异常流体泄漏情形。实施方式可以在确定异常流体泄漏情形时实行补救动作。
与所公开的实施方式一致，公开了与预测出院后风险相关的系统、方法以及计算机可读介质。预测出院后风险的操作可以包括：访问在针对患者的特定外科手术期间拍摄的视频帧；访问所存储的标识术中事件以及关联的结果的历史数据；对所访问的帧进行分析；以及基于从历史数据获得的信息，标识所访问的帧中的至少一个特定术中事件；基于从历史数据获得的信息以及所标识的至少一个术中事件，确定与该特定外科手术相关联的预测结果；以及以将预测结果和患者相关联的方式来输出该预测结果。
前述概要提供了所公开的实施方式的少数示例，以提供本公开的特色，并且不旨在概述所公开的实施方式的所有方面。而且，下面的详细描述仅是示例性和解释性的并且不是对权利要求的限制。
附图说明
被并入并且构成本公开的一部分的附图例示了各种公开的实施方式。在图中：
图1是与所公开的实施方式一致的示例手术室的立体图。
图2是与所公开的实施方式一致的摄像机的立体图。
图3是与所公开的实施方式一致的外科手术器械的示例的立体图。
图4例示了与所公开的实施方式一致的在外科手术的视频上叠加的示例时间线。
图5是例示与所公开的实施方式一致的审查外科手术视频的示例过程的流程图。
图6是与所公开的实施方式一致的示例数据结构的示意性例示图。
图7是与所公开的实施方式一致的选择编索引的视频短片以供显示的示例用户界面的示意性例示图。
图8A和图8B是例示与所公开的实施方式一致的进行视频编索引的示例过程的流程图。
图9是例示与所公开的实施方式一致的区分第一组帧与第二组帧的示例过程的流程图。
图10是例示与所公开的实施方式一致的生成因果摘要的示例过程的流程图。
图11是例示与所公开的实施方式一致的生成外科手术摘要短片的示例过程的流程图。
图12是例示与所公开的实施方式一致的进行外科手术准备的示例性过程的流程图。
图13是例示与所公开的实施方式一致的分析外科手术短片的复杂性的示例性过程的流程图。
图14是与所公开的实施方式一致的管理外科手术期间收集的各种数据并且控制各种传感器的示例性系统的示意性例示图。
图15是与所公开的实施方式一致的示例性时间表。
图16是与所公开的实施方式一致的向时间表输入信息的示例性形式。
图17A示出了与所公开的实施方式一致的示例性数据结构。
图17B示出了与所公开的实施方式一致的历史完成时间的数据的示例性标绘图。
图18示出了与所公开的实施方式一致的机器学习模型的示例。
图19示出了与所公开的实施方式一致的调整手术室时间表的示例性过程。
图20是与所公开的实施方式一致的存储理赔准则与从外科手术短片获得的信息的相关性的示例性数据结构。
图21是与所公开的实施方式一致的示例性机器学习方法的框图。
图22是与所公开的实施方式一致的对外科手术图像进行分析以确定保险理赔的示例性过程的流程图。
图23是与所公开的实施方式一致的包含字段的示例术后报告。
图24A是与所公开的实施方式一致的填写术后报告的包括结构的过程的示例。
图24B是与所公开的实施方式一致的填写术后报告的包括结构的过程的另一示例。
图25是与所公开的实施方式一致的填写术后报告的示例性过程的流程图。
图26是与所公开的实施方式一致的示例性事件序列的示意性例示图。
图27示出了与所公开的实施方式一致的事件序列的示例性比较。
图28示出了与所公开的实施方式一致的使得能够确定和通知略过的事件的示例性过程。
图29是例示与所公开的实施方式一致的进行外科手术的决策支持的示例性过程的流程图。
图30是例示与所公开的实施方式一致的估计外科手术期间解剖结构上的接触力的示例性过程的流程图。
图31是例示与所公开的实施方式一致的更新外科手术期间的预测结果的示例性过程的流程图。
图32是例示与所公开的实施方式一致的使得能够在外科手术期间进行流体泄漏检测的示例性过程的流程图。
图32A是示出与所公开的实施方式一致的术中事件与结果之间的关系的示例性图形。
图32B是与所公开的实施方式一致的在存在术中事件和不存在术中事件的情况下不同的事件的示例性概率分布图形。
图33示出了与所公开的实施方式一致的不同事件的示例性概率分布图形。
图34示出了与所公开的实施方式一致的不同事件根据事件特征的示例性概率分布图形。
图35A示出了与所公开的实施方式一致的示例性机器学习模型。
图35B示出了与所公开的实施方式一致的机器学习模型的示例性输入。
图36示出了与所公开的实施方式一致的预测出院后风险的示例性过程。
具体实施方式
除非另外具体规定，否则如根据下面的描述明白，贯穿本说明书，利用诸如“处理(processing)”、“计算(calculating)”、“计算(computing)”、“确定”、“生成”、“设定(setting)”、“配置”、“选择”、“限定(defining)”、“应用”、“获得”、“监测”、“提供”、“标识”、“分段”、“分类”、“分析”、“关联”、“提取”、“存储”、“接收”、“发送”等的术语的讨论包括计算机的将数据操纵和/或变换成其它数据的动作和/或处理，该数据被表示为物理量(举例来说，如电子量)和/或表示物理物体的数据。术语“计算机”、“处理器”、“控制器”、“处理单元”、“计算单元”以及“处理模块”应被广泛地解释成涵盖具有数据处理能力的任何种类的电子装置、组件或单元，作为非限制性示例，包括：个人计算机、可穿戴计算机、智能眼镜、平板电脑、智能手机、服务器、计算系统、云计算平台、通信装置、可能具有嵌入式存储器的处理器(例如，数字信号处理器(DSP)、图像信号处理器(ISR)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、中央处理单元(CPA)、图形处理单元(GPU)、视觉处理单元(CPU)等)、单核处理器、多核处理器、具有处理器的核心、任何其它电子计算装置或者上述项的任何组合。
根据本文教导的操作可以由被专门构造或编程以执行所描述的功能的计算机来执行。
如本文所使用的，术语“例如”、“诸如”、“举例来说”及其变体描述了当前公开的主题的非限制性实施方式。本说明书中针对“实施方式”、“一种情况”、“一些情况”、“其它情况”或其变体的特征的引用意指，所描述的特定特征、结构或特性可以被包括在当前公开的主题的至少一个实施方式中。因此，这些术语的出现不一定是指相同的实施方式。如本文所使用的，术语“和/或”包括任何一个或更多个相关列举条目及其所有组合。
为简洁起见，当前公开的主题的特征是在特定实施方式的背景下进行描述的。然而，要理解，结合一个实施方式描述的特征也适用于其它实施方式。同样，在特定组合的背景下描述的特征可以被独自地或者在除了该特定组合以外的背景下视为单独的实施方式。
在当前公开的主题的实施方式中，可以按不同的次序执行图中所示的一个或更多个阶段和/或可以同时执行一个或更多个阶段组，反之亦然。附图例示了根据当前公开的主题的实施方式的系统架构的一般示意图。图中的各个模块皆可以由执行如本文所限定和说明的功能的软件、硬件和/或固件的组合构成。可以将图中的模块集中在一个位置，或者分散在多于一个位置。
当前公开的主题的示例在应用方面不限于在以下描述中阐述或者在附图中示出的组件的构造和布置的细节。可以以各种方式实践或实行该主题。而且，要理解，本文所采用的用语和术语是出于描述的目的，而不应被视为进行限制。
在本文档中，附图中的未在附图范围内描述并且利用已经在先前图中描述的数字标记的要素可以具有与在先前图中相同的用途和描述。
本文档中的附图可能未按任何比例绘制。不同的图可以使用不同的比例，甚至可以在同一图内使用不同的比例，例如对于同一物体的不同视图使用不同的比例，或者对于两个相邻的物体使用不同的比例。
与所公开的实施方式一致，“至少一个处理器”可以构成具有对一个或多个输入执行逻辑运算的电路的任何物理装置或装置组。例如，所述至少一个处理器可以包括一个或更多个集成电路(IC)，包括：专用集成电路(ASIC)、微芯片、微控制器、微处理器、中央处理单元(CPU)的全部或部分、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、服务器、虚拟服务器或者适于执行指令或执行逻辑运算的其它电路。由至少一个处理器执行的指令例如可以被预加载到与控制器集成或嵌入到控制器中的存储器中，或者可以被存储在单独的存储器中。存储器可以包括：随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘、磁介质、闪速存储器、其它永久、固定或易失性存储器或者能够存储指令的任何其它机构。在一些实施方式中，所述至少一个处理器可以包括多于一个的处理器。各个处理器皆可以具有相似的构造，或者处理器可以具有彼此电连接或断开连接的不同构造。例如，处理器可以是单独的电路或者被集成在单个电路中。当使用多于一个的处理器时，可以将该处理器配置成独立或协同操作。处理器可以进行电联接、磁联接、光学联接、声学联接、机械联接或者通过允许它们交互的其它方式联接。
所公开的实施方式可以包括和/或访问数据结构。与本公开一致的数据结构可以包括数据值的任何集合以及它们之间的关系。可以将数据以以下方式进行存储：线性地、水平地、分层地、有关系地、无关系地、一维地、多维地、可操作地、有序的方式、无序的方式、面向对象的方式、集中的方式、去中心化的方式、分布式方式、自定义方式或者以使得能够进行数据访问的任何方式。作为非限制性示例，数据结构可以包括：阵列、关联阵列、链接列表、二叉树、平衡树、堆、栈、队列、集合、散列表、记录、标签联合(tagged union)、ER模型以及图。例如，数据结构可以包括：XML数据库、RDBMS数据库、SQL数据库或者用于数据存储/搜索的NoSQL另选方案，举例来说，如MongoDB、Redis、Couchbase、Datastax EnterpriseGraph、Elastic Search、Splunk、Solr、Cassandra、Amazon DynamoDB、Scylla、HBase以及Neo4J。数据结构可以是所公开的系统的组件或者远程计算组件(例如，基于云的数据结构)。可以将数据结构中的数据存储在连续或非连续的存储器中。此外，如本文所使用的，数据结构不要求信息位于同一处。例如，可以将数据结构分布在多个服务器上，这些服务器可以由相同或不同的实体拥有或运营。因此，本文以单数形式使用的术语“数据结构”包括复数数据结构。
在一些实施方式中，机器学习算法(在本公开中也被称为机器学习模型)可以使用训练示例来进行训练，例如在下面描述的情况下。此类机器学习算法的一些非限制性示例可以包括：分类算法、数据回归算法、图像分割算法、视觉检测算法(诸如物体检测器、面部检测器、人体检测器、运动检测器、边缘检测器等)、视觉识别算法(诸如面部识别、人体识别、物体识别等)、语音识别算法、数学嵌入算法、自然语言处理算法、支持向量机、随机森林、最近邻算法、深度学习算法、人工神经网络算法、卷积神经网络算法、递归神经网络算法、线性机器学习模型、非线性机器学习模型、集成算法(ensemble algorithm)等。例如，经训练的机器学习算法可以包括推理模型，诸如预测模型、分类模型、回归模型、聚类模型、分割模型、人工神经网络(诸如深度神经网络、卷积神经网络、递归神经网络等)、随机森林、支持向量机等。在一些示例中，训练示例可以包括示例输入以及对应于示例输入的希望输出。此外，在一些示例中，使用训练示例来训练机器学习算法可以生成经训练的机器学习算法，并且可以将经训练的机器学习算法用于估计未被包括在训练示例中的输入的输出。在一些示例中，训练机器学习算法的工程师、科学家、过程以及机器可以进一步使用验证示例和/或测试示例。例如，验证示例和/或测试示例可以包括示例输入以及对应于该示例输入的希望输出，可以将经训练的机器学习算法和/或经中间训练的机器学习算法用于估计验证示例和/或测试示例的示例输入的输出，可以将所估计的输出与对应的希望输出进行比较，并且可以基于比较的结果来评估经训练的机器学习算法和/或经中间训练的机器学习算法。在一些示例中，机器学习算法可以具有参数和超参数，其中，超参数由人手动设定或者由机器学习算法外部的过程(如超参数搜索算法)自动设定，并且机器学习算法的参数由机器学习算法根据训练示例设定。在一些实现中，根据训练示例和验证示例设定超参数，并且根据训练示例和选定的超参数设定参数。
在一些实施方式中，可以将经训练的机器学习算法(在本公开中也被称为经训练的机器学习模型)用于对输入进行分析并生成输出，例如在以下描述的情况中。在一些示例中，可以将经训练的机器学习算法用作推理模型，当向该推理模型提供输入时生成推断输出。例如，经训练的机器学习算法可以包括分类算法，输入可以包括样本，并且推断输出可以包括样本的分类(诸如推断标记、推断标签等)。在另一示例中，经训练的机器学习算法可以包括回归模型，输入可以包括样本，并且推断输出可以包括样本的推断值。在又一示例中，经训练的机器学习算法可以包括聚类模型，输入可以包括样本，并且推断输出可以包括将样本指派给至少一个聚类。在附加示例中，经训练的机器学习算法可以包括分类算法，输入可以包括图像，并且推断输出可以包括图像中描绘的物品的分类。在又一示例中，经训练的机器学习算法可以包括回归模型，输入可以包括图像，并且推断输出可以包括图像中描绘的物品的推断值(诸如物品的估计特性(诸如图像中描绘的人的大小、体积、年龄)、图像中描绘的产品的成本等)。在附加示例中，经训练的机器学习算法可以包括图像分割模型，输入可以包括图像，并且推断输出可以包括图像的分割。在又一示例中，经训练的机器学习算法可以包括物体检测器，输入可以包括图像，并且推断输出可以包括图像中的一个或更多个检测到的物体和/或图像内物体的一个或更多个位置。在一些示例中，经训练的机器学习算法可以包括一个或更多个公式和/或一个或更多个函数和/或一个或更多个规则和/或一个或更多个程序，可以将输入用作公式和/或函数和/或规则和/或程序的输入，并且推断输出可以基于公式和/或函数和/或规则和/或程序的输出(例如，选择公式和/或函数和/或规则和/或程序的输出之一、使用公式和/或函数和/或规则和/或程序的输出的统计量度等)。
在一些实施方式中，可以将人工神经网络配置成对输入进行分析并生成对应的输出。此类人工神经网络的一些非限制性示例可以包括：浅层人工神经网络、深度人工神经网络、反馈人工神经网络、前馈人工神经网络、自动编码器人工神经网络、概率人工神经网络、时延人工神经网络、卷积人工神经网络、递归人工神经网络、长短期记忆人工神经网络等。在一些示例中，人工神经网络可以进行手动配置。例如，人工神经网络的结构可以进行人工选择，人工神经网络的人工神经元的类型可以进行人工选择，人工神经网络的参数(诸如人工神经网络的人工神经元的参数)可以进行人工选择，等等。在一些示例中，人工神经网络可以使用机器学习算法来进行配置。例如，用户可以为人工神经网络和/或机器学习算法选择超参数，并且机器学习算法可以使用超参数和训练示例来确定人工神经网络的参数，例如使用反向传播、使用梯度下降、使用随机梯度下降、使用小批量梯度下降，等等。在一些示例中，通过将两个或更多个其它人工神经网络组合成单个人工神经网络，可以从两个或更多个其它人工神经网络创建人工神经网络。
在一些实施方式中，分析图像数据(例如通过本文所描述的方法、步骤以及模块)可以包括：分析图像数据以获得预处理的图像数据，并且随后分析图像数据和/或预处理的图像数据以获得希望的结果。此类图像数据的一些非限制性示例可以包括：一个或更多个图像、视频、帧、短片、2D图像数据、3D图像数据等。本领域普通技术人员将认识到以下是示例，并且图像数据可以使用其它种类的预处理方法进行预处理。在一些示例中，可以通过使用变换函数对图像数据进行变换以获得经变换的图像数据来对图像数据进行预处理，并且预处理的图像数据可以包括经变换的图像数据。例如，经变换的图像数据可以包括图像数据的一个或更多个卷积。例如，变换函数可以包括一个或更多个图像滤波器，诸如低通滤波器、高通滤波器、带通滤波器、全通滤波器等。在一些示例中，变换函数可以包括非线性函数。在一些示例中，可以通过例如使用高斯卷积、使用中值滤波器等对图像数据的至少部分进行平滑化来预处理图像数据。在一些示例中，可以对图像数据进行预处理以获得图像数据的不同表示。例如，预处理的图像数据可以包括：图像数据的至少部分在频域中的表示；图像数据的至少部分的离散傅立叶变换；图像数据的至少部分的离散小波变换；图像数据的至少部分在时间/频率表示；图像数据的至少部分在低维度中的表示；图像数据的至少部分的有损表示；图像数据的至少部分的无损表示；上述中的任一项的时间顺序系列；上述的任何组合；等等。在一些示例中，可以对图像数据进行预处理以提取边缘，并且预处理的图像数据可以包括基于所提取的边缘的信息和/或与所提取的边缘相关的信息。在一些示例中，可以对图像数据进行预处理以从图像数据中提取图像特征。此类图像特征的一些非限制性示例可以包括：基于边缘的信息和/或与边缘相关的信息；角部；斑点；脊；尺度不变特征变换(SIFT)特征；时间特征；等等。
在一些实施方式中，分析图像数据(例如，通过本文所描述的方法、步骤以及模块)可以包括使用以下项来分析图像数据和/或预处理的图像数据：一个或更多个规则、函数、程序、人工神经网络、对象检测算法、面部检测算法、视觉事件检测算法、动作检测算法、运动检测算法、背景减除算法、推理模型等。此类推理模型的一些非限制性示例可以包括：手动预编程的推理模型；分类模型；回归模型；训练算法(诸如机器学习算法和/或深度学习算法)针对训练示例的结果，其中训练示例可以包括数据实例的示例，并且在一些情况下，数据实例可以利用对应的希望标记和/或结果进行标记；等等。
在一些实施方式中，分析图像数据(例如，通过本文所描述的方法、步骤以及模块)可以包括对图像数据中包括的像素、体素、点云、范围数据等进行分析。
图1示出了与所公开的实施方式一致的示例手术室101。患者143被例示为处于手术台141上。房间101可以包括：音频传感器、视频/图像传感器、化学传感器和其它传感器，以及用于促进在外科手术期间捕获视频和音频数据以及来自其它传感器的数据的各种光源(例如，图1中示出的光源119)。例如，房间101可以包括:一个或更多个麦克风(例如，音频传感器111，如图1所示)、用于在外科手术期间捕获视频/图像数据的多个摄像机(例如，高架摄像机115、121和123，以及台边摄像机125)。虽然这些摄像机(例如，摄像机115、123以及125)中的一些摄像机可以捕获手术台141的视频/图像数据(例如，摄像机可以捕获患者143的身体的被执行外科手术的位置127处的视频/图像数据)，但是摄像机121可以捕获手术室101的其它部分的视频/图像数据。例如，摄像机121可以捕获执行外科手术的外科医生131的视频/图像数据。在一些情况下，摄像机可以捕获与外科手术团队人员相关联的视频/图像数据，诸如位于手术室101中的麻醉师、护士、外科技术人员等。另外，手术室摄像机可以捕获与位于房间内的医疗设备相关联的视频/图像数据。
在各种实施方式中，摄像机115、121、123以及125中的一个或更多个摄像机可以是可移动的。举例来说，如图1所示，摄像机115可以如示出摄像机115的俯仰方向的箭头135A以及示出偏航方向的箭头135B所指示的那样进行旋转。在各种实施方式中，摄像机(例如，摄像机115)的俯仰角和偏航角可以以电子方式进行控制，使得摄像机115指向需要捕获视频/图像数据的关注区域(ROI)。例如，可以将摄像机115配置成跟踪位置127内的外科手术器械(也被称为外科手术工具)、解剖结构、外科医生131的手、切口、解剖结构的移动等。在各种实施方式中，摄像机115可以配备有用于精确跟踪的激光器137(例如，红外激光器)。在一些情况下，可以经由基于计算机的摄像机控制应用来自动跟踪摄像机115，所述应用使用图像识别算法来定位摄像机以捕获ROI的视频/图像数据。例如，摄像机控制应用可以标识解剖结构、标识解剖结构内的特定位置处的外科手术工具、外科医生的手、出血、运动等，并且通过以适当的偏航角和俯仰角旋转摄像机115来利用摄像机115跟踪该位置。在一些实施方式中，摄像机控制应用可以控制各种摄像机115、121、123以及125的位置(即，偏航角和俯仰角)，以在外科手术期间从不同的ROI捕获视频/图像数据。另外或者另选地，人类操作者可以控制各种摄像机115、121、123以及125的位置，和/或人类操作者可以在控制摄像机的位置时监督摄像机控制应用。
摄像机115、121、123以及125还可以包括用于聚焦和放大一个或更多个ROI的变焦镜头。在示例实施方式中，摄像机115可以包括变焦镜头138，用于靠近ROI(例如，解剖结构附近的外科手术工具)进行变焦。摄像机121可以包括用于从ROI周围的更大区域捕获视频/图像数据的变焦镜头139。例如，摄像机121可以捕获整个位置127的视频/图像数据。在一些实施方式中，可以对从摄像机121获得的视频/图像数据进行分析，以标识外科手术期间的ROI，并且可以将摄像机控制应用配置成，使摄像机115朝着由摄像机121标识的ROI变焦。
在各种实施方式中，可以将摄像机控制应用配置成协调外科手术期间各种摄像机的位置、焦点以及放大倍率。例如，摄像机控制应用可以引导摄像机115跟踪解剖结构并且可以引导摄像机121和125跟踪外科手术器械。摄像机121和125可以从不同的视角跟踪同一ROI(例如，外科手术器械)。例如，可以将从不同视角获得的视频/图像数据用于确定外科手术器械相对于解剖结构的表面的位置、确定解剖结构的状况、确定施加指解剖结构的压力或者确定多视角可以有益的任何其它信息。再例如，一个摄像机可能检测到出血，并且可以使用一个或更多个其它摄像机来标识出血来源。
在各种实施方式中，摄像机115、121、123以及125的位置、取向、设定和/或变焦的控制可以是基于规则的，并且遵循为给定外科手术开发的算法。例如，可以将摄像机控制应用配置成引导摄像机115跟踪外科手术器械、将摄像机121引导向位置127、引导摄像机123跟踪外科医生的手的运动以及将摄像机125引导向解剖结构。该算法可以包括根据外科手术期间的各种事件确定摄像机115、121、123以及125的位置、取向、设定和/或变焦的任何合适的逻辑语句。例如，该算法可以将至少一个摄像机引导向在手术期间发生出血的解剖结构的区域。摄像机115、121、123以及125的可以(例如由摄像机控制应用)控制的设定的一些非限制性示例可以包括：图像像素分辨率、帧率、图像和/或颜色校正和/或增强算法、变焦、位置、取向、纵横比、快门速度、光圈、焦点等。
在各种情况下，当摄像机(例如，摄像机115)跟踪移动或变形的对象时(例如，当摄像机115跟踪移动的外科手术器械或者移动/脉动的解剖结构时)，摄像机控制应用可以确定摄像机115的最大允许变焦，使得移动或变形的对象不会脱离摄像机的视场。在示例实施方式中，摄像机控制应用可以最初选择摄像机115的第一变焦、评估移动或变形的对象是否脱离了摄像机的视场、以及根据需要调整摄像机的变焦，以防止移动或变形的对象脱离摄像机的视场。在各种实施方式中，可以基于移动或变形的对象的方向和速度来重新调整摄像机变焦。
在各种实施方式中，一个或更多个图像传感器可以包括移动摄像机115、121、123以及125。可以将摄像机115、121、123以及125用于确定解剖结构的尺寸并且确定不同ROI之间的距离，例如使用三角测量。例如，图2示出了示例性摄像机115(115视图1，如图2所示)和121由可移动部件支承着，使得这两个摄像机之间的距离为D1，如图2所示。两个摄像机均指向ROI 223。通过获知摄像机115和121的位置以及对象相对于摄像机的方向(例如，通过获知角度A1和A2(如图2所示)，例如基于由115和121拍摄的图像中的描绘同一对象或同一现实世界点的像素之间的对应关系)，可以使用例如正弦定律以及两个摄像机之间的已知距离D1来计算距离D2和D3。在示例实施方式中，当摄像机115(115，视图2)旋转小角度A3(以弧度为单位测得)以指向ROI 225时，ROI 223与ROI 225之间的距离可以由A3D2近似(对于小角度A3)。使用另一三角测量过程可以获得更高的准确度。获知ROI 223与ROI 225之间的距离使得能够确定解剖结构的长度标度。此外，可以对解剖结构的各种点之间的距离以及从各种点到一个或更多个摄像机的距离进行测量，以确定表示解剖结构的表面的点云。可以将这种点云用于重建解剖结构的三维模型。此外，可以对一个或更多个外科手术器械与解剖结构的不同点之间的距离进行测量，以确定所述一个或更多个外科手术器械在解剖结构附近的适当位置。在一些其它示例中，摄像机115、121、123以及125中的一个或更多个摄像机可以包括3D摄像机(诸如立体摄像机、主动立体摄像机、飞行时间摄像机、光检测器和测距摄像机等)，并且手术室101内的对象的实际和/或相对位置和/或尺寸、和/或对象之间的实际距离可以基于由3D摄像机拍摄的3D信息来确定。
返回至图1，光源(例如，光源119)也可以是可移动的以跟踪一个或更多个ROI。在示例实施方式中，光源119可以按偏航角和俯仰角进行旋转，并且在一些情况下，可以朝着或远离ROI(例如，位置127)延伸。在一些情况下，光源119可以包括一个或更多个光学部件(例如，镜头、平面镜或曲面镜等)以将光聚焦在ROI上。在一些情况下，可以将光源119配置成控制光的颜色(例如，光的颜色可以包括不同类型的白光、具有选定光谱的光等)。在示例实施方式中，可以将光119配置成使得光的光谱和强度可以在被该光照射的解剖结构的表面上发生改变。例如，在一些情况下，光119可以包括红外波长，这可以导致解剖结构的表面的至少一些部分变热。
在一些实施方式中，手术室可以包括在图1中描绘或未描绘的各种组件中嵌入的传感器。此类传感器的示例可以包括：音频传感器；图像传感器；运动传感器；定位传感器；化学传感器；温度传感器；气压计；压力传感器；接近传感器；电阻抗传感器；电压传感器；电流传感器；或者能够提供关于环境或外科手术的反馈的任何其它检测器，例如包括被配置成对患者143进行监测的任何种类的医学或生理传感器。
在一些实施方式中，音频传感器111可以包括被配置成通过将声音转换成数字信息来捕捉音频的一个或更多个音频传感器(例如，音频传感器121)。
在各种实施方式中，温度传感器可以包括用于热成像的红外摄像机(例如，图1中示出的红外摄像机117)。红外摄像机117可以允许在解剖结构的不同点处测量该结构的表面温度。与可见光摄像机D115、121、123以及125相似，可以使用偏航角或俯仰角来旋转红外摄像机117。另外或者另选地，摄像机117可以包括被配置成从任何光谱拍摄图像的图像传感器，包括：红外图像传感器、高光谱图像传感器等。
图1包括显示屏113，其可以示出来自不同摄像机115、121、123和125的视图，以及其它信息。例如，显示屏113可以示出外科手术器械的尖端以及外科手术器械附近的解剖结构的周围组织的放大图像。
图3示出了可以包括多个传感器和发光源的外科手术器械301的示例实施方式。与本实施方式一致，外科手术器械可以是指医疗装置、医疗器械、电动或机械工具、外科手术工具、诊断工具、和/或外科手术期间可以使用的任何其它工具。如图所示，器械301可以包括：摄像机311A和311B、光源313A和313B以及用于接触组织331的尖端323A和323B。可以经由数据连接319A和319B将摄像机311A和311B连接至数据发送装置321。在示例实施方式中，装置321可以使用无线通信或使用有线通信将数据发送至数据接收装置。在示例实施方式中，装置321可以使用WiFi、蓝牙、NFC通信、感应通信、或者用于将数据发送至数据接收装置的任何其它合适的无线通信。数据接收装置可以包括能够接收数据传输的任何形式的接收器。另外或者另选地，装置321可以使用光信号将数据发送至数据接收装置(例如，装置321可以使用通过空气或者经由光纤传输的光信号)。在一些实施方式中，装置301可以包括用于存储从传感器311A和311B接收到的数据中的至少一些数据的本地存储器。另外，装置301可以包括在向数据接收装置发送视频/图像数据之前压缩该数据的处理器。
在各种实施方式中，例如当装置301是无线的时，它可以包括内部电源(例如，电池、可再充电电池等)和/或用于对电池进行充电的端口、用于指示电源剩余电量的指示器、以及用于控制装置301的操作的一个或更多个输入控件(例如，按钮)。在一些实施方式中，可以使用经由任何合适的连接(例如，WiFi、蓝牙等)与装置301进行通信的外部装置(例如，智能手机、平板电脑、智能眼镜)来实现对装置301的控制。在示例实施方式中，可以将装置301的输入控件用于控制传感器或光源的各种参数。例如，可以将输入控件用于使光源313A和313B变暗/变亮、在光源可以被移动的情况下移动该光源(例如，光源可以按偏航角和俯仰角进行旋转)、控制光源的光的颜色、控制光源的聚焦、在摄像机311A和311B可以被移动的情况下控制该摄像机的运动(例如，摄像机可以按偏航角和俯仰角进行旋转)、控制摄像机311A和311B的变焦和/或拍摄参数、或者改变摄像机311A至311B以及光源313A至313B的任何其它合适的参数。应注意，摄像机311A可以具有第一参数集，摄像机311B可以具有不同于第一参数集的第二参数集，并且可以使用适当的输入控件来选择这些参数。相似地，光源313A可以具有第一参数集，并且光源313B可以具有不同于第一参数集的第二参数集，并且可以使用适当的输入控件来选择这些参数。
另外，可以将器械301配置成经由尖端323A和323B对与组织331的各种特性相关的数据进行测量，并将所测得的数据传输给装置321。例如，可以将尖端323A和323B用于测量组织331的电阻和/或阻抗、组织331的温度、组织331的机械特性等。例如，为了确定组织331的弹性特性，可以首先将尖端323A和323B按角度317分开并施加至组织331。可以将尖端配置成移动以致减小角度317，并且尖端的运动可以导致对组织331的压力。可以对这样的压力进行测量(例如，经由可以位于器械301的第一分支312A和第二分支312B之间的压电部件327)，并且基于角度317的变化(即，应变)以及所测得的压力(即，应力)，可以测量组织331的弹性特性。而且，基于角度317，可以测量尖端323A与323B之间的距离，并且可以将该距离发送给装置321。可以将这种距离测量用作可以由各种摄像机115、121、123以及125捕获的各种视频/图像数据的长度标度，如图1所示。
器械301只是可能的外科手术器械的一个示例，并且其它的外科手术器械(诸如手术刀、抓紧器(例如，镊子)、夹子和封堵器、针头、牵开器、切割器、扩张器、吸引头和吸管、封闭装置、冲洗和注射针头、镜和探针等)可以包括任何合适的传感器和发光源。在各种情况下，传感器和发光源的类型可以取决于被用于外科手术的外科手术器械的类型。在各种情况下，这些其它的外科手术器械可以包括与装置301(如图3所示)相似的装置，用于收集数据并将数据发送给任何合适的数据接收装置。
在准备外科手术时，外科医生审查具有相似外科手术事件的外科手术的视频短片可能是有益的。然而，对于外科医生来说，观看整个视频或者来回跳着寻找外科手术短片的相关部分可能太费时了。因此，需要非常规的方法，所述方法高效且有效地使得外科医生能够观看汇总相关外科手术事件的短片同时略过其它不相关短片的外科手术视频摘要。
本公开的各方面可以涉及审查外科手术视频，包括方法、系统、装置以及计算机可读介质。界面可以使外科医生能够审查外科手术视频(他们自己的外科手术、其他人的外科手术、或者汇编)，同时显示外科手术时间线。该时间线可以包括针对在外科手术期间发生的活动或事件键入的标记。这些标记可以使外科医生能够跳至特定活动，从而对外科手术进行简化审查。在一些实施方式中，可以将关键的决策制定节点进行标记，并且可以允许外科医生观看在那些决策制定节点采取的另选动作。
为了便于讨论，下面描述了一种方法，并且对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。例如，这种方法的一些方面可以通过有线、无线或两者的网络以电子方式发生。这种方法的其它方面可以使用非电子手段发生。在最广泛的意义上，该方法不限于特定的物理和/或电子工具，而是可以使用许多不同的工具来完成。
与所公开的实施方式一致，一种方法可以涉及访问外科手术的至少一个视频。如上面更详细地描述的，视频可以包括任何形式的记录的视觉媒体，包括记录的图像和/或声音。可以将视频存储为视频文件，诸如Audio Video Interleave(AVI)文件、Flash视频格式(FLV)文件、QuickTime文件格式(MOV)、MPEG(MPG、MP4、M4P等)、Windows Media Video(WMV)文件、Material Exchange Format(MXF)文件、或者任何其它合适的视频文件格式，例如如上所述。
外科手术可以包括与在患者身体上的手动处置(procedure)或手术处置相关联或涉及的任何医疗手术。外科手术可以包括切割、磨削(abrading)、缝合或者涉及物理地改变身体组织和器官的其它技术。上面提供了此类外科手术的示例。外科手术的视频可以包括在外科手术期间拍摄并且与该外科手术相关联的任何静止图像系列。在一些实施方式中，可以在视频中包括的静止图像中的一个或更多个静止图像中描绘外科手术的至少一部分。例如，外科手术的视频可以由图像拍摄装置(诸如摄像机)在手术室或患者的体腔中进行记录。访问外科手术的视频可以包括：从存储装置(诸如一个或更多个存储器单元、视频服务器、云存储平台或者任何其它存储平台)取回视频、通过通信装置从另一个装置接收视频、使用图像传感器拍摄视频，或者以电子方式访问数据或文件的任何其它手段。
本公开的一些方面可以涉及使所述至少一个视频被输出以供显示。输出所述至少一个视频可以包括任何使用计算机或至少一个处理器生成、传送或提供视频的过程。如本文所使用的，“显示”可以是指任何可以将视频呈现给用户以供回放的方式。在一些实施方式中，输出视频可以包括：使用显示装置来呈现视频，诸如屏幕(例如，OLED、QLED LCD、等离子、CRT、DLPT、电子纸或相似的显示技术)、投光器(例如，放映机、幻灯机)、3D显示器、移动装置的屏幕、电子眼镜或者任何其它形式的视觉和/或音频呈现。在其它的实施方式中，输出视频以供显示可以包括：将视频存储在一个或更多个其它计算装置可访问的位置。此类存储位置可以包括本地存储装置(诸如闪存的硬盘)、网络位置(诸如服务器或数据库)、云计算平台或者任何其它可访问的存储位置。可以从单独的计算装置访问视频以显示在该单独的计算装置上。在一些实施方式中，输出视频可以包括将视频发送给外部装置。例如，输出视频以供显示可以包括通过网络将视频发送给用户装置以在该用户装置上回放。
本公开的实施方式还可以包括在被输出以供显示的所述至少一个视频上叠加外科手术时间线。如本文所使用的，“时间线”可以是指可以从中跟踪或划分事件序列的任何描绘。在一些实施方式中，时间线可以是事件的图形表示，例如，使用表示时间的细长条或线，沿着该条具有标记或其它事件指示符。时间线也可以是按时间顺序排列的基于文本的事件列表。外科手术时间线可以是表示与外科手术相关联的事件的时间线。作为一个示例，外科手术时间线可以是在外科手术期间发生的事件或动作的时间线，如上面详细描述的。在一些实施方式中，外科手术时间线可以包括标识外科手术的各部分的文本信息。例如，外科手术时间线可以是外科手术内的术中外科手术事件或外科手术阶段的描述列表。在其它的实施方式中，通过在时间线上悬停或者以其它方式致动图形标记，可以显现与标记关联的描述符。
在所述至少一个视频上叠加外科手术时间线可以包括：将外科手术时间线显示成使得它可以与所述至少一个视频同时观看的任何方式。在一些实施方式中，叠加视频可以包括：将外科手术时间线显示成使得它至少部分地与视频重叠。例如，可以将外科手术时间线呈现为沿视频顶部或底部的水平条或者沿着视频一侧的竖直条。在其它的实施方式中，叠加可以包括在视频旁边呈现外科手术时间线。例如，可以将视频呈现在显示器上，并且将外科手术时间线呈现在该视频的上方、下方和/或一侧。可以在播放视频时将外科手术时间线叠加在视频上。因此，本文所使用的“叠加”更一般地是指同时显示。同时显示可以是也可以不是恒定的。例如，在所显示的视频中描绘的外科手术结束之前随着该视频输出显现该叠加。或者，叠加可以在几乎所有的视频手术期间显现。
图4例示了与所公开的实施方式一致的在外科手术的视频上叠加的示例时间线420。可以将视频呈现在视频回放区域410中，该视频回放区域410可以顺序地显示视频的一个或更多个帧。在图4所示的示例中，可以将时间线420显示为表示时间的水平条，并且条的最左侧部分表示视频的开始时间，条的最右侧部分表示结束时间。时间线420可以包括指示视频相对于时间线的当前回放位置的位置指示符424。时间线420的有色区域422可以表示时间线420内的进度(例如，对应于用户已经观看过的视频，或者对应于在当前呈现的帧之前到来的视频)。在一些实施方式中，位置指示符424可以是交互式的，使得用户可以通过移动位置指示符424来移动至视频内的不同位置。在一些实施方式中，外科手术时间线可以包括标识外科手术阶段、术中外科手术事件以及决策制定节点中的至少一个的标记。例如，时间线420还可以包括一个或更多个标记432、434和/或436。下面更详细地描述了此类标记。
在图4所示的示例中，可以将时间线420显示成使得它在物理上、时间上或者这两者上与视频回放区域410重叠。在一些实施方式中，时间线420可以不用一直显示。作为一个示例，当用户正在观看视频时，时间线420可以自动切换成折叠或隐藏视图，并且可以在用户采取与时间线420交互的动作时返回至图4中示出的展开视图。例如，用户可以在观看视频时移动鼠标指针、将鼠标指针移到折叠的时间线上、将鼠标指针移动至特定区域、单击或轻敲视频回放区域、或者执行可以表明与时间线420交互的意图的任何动作。如上面所讨论的，可以将时间线420显示在相对于视频回放区域410的各种其它位置，包括：视频回放区域410的顶部、视频回放区域410的上方或下方、或者控制条612内。在一些实施方式中，可以将时间线420与视频进度条分开显示。例如，可以将单独的视频进度条(包括位置指示符424和有色区域422)显示在控制条412中，并且时间线420可以是与外科手术相关联的事件的单独时间线。在这样的实施方式中，时间线420可以不具有与视频或视频进度条相同的时间标度或范围。例如，视频进度条可以表示视频的时间标度和范围，而时间线420可以表示外科手术的时间帧，这可以是不同的(例如，在视频包括外科手术概要的情况下，如上面详细讨论的)。在一些实施方式中，视频回放区域410可以包括搜索图标440，搜索图标440可以允许用户例如通过用户界面700搜索视频短片，如上面参照图7所描述的。图4中示出的外科手术时间线仅是作为示例来提供的，并且本领域技术人员应意识到可以使用的各种其它配置。
本公开的实施方式还可以包括：使得外科医生能够在观看所述至少一个视频的回放时选择该外科手术时间线上的一个或更多个标记，并由此使该视频的显示跳至与所选择的标记相关联的位置。如本文所使用的，“回放”可以包括视频的任何呈现，其中，向用户显示该视频的一个或更多个帧。通常，回放将包括顺序地显示图像以再现移动图像和/或声音，然而，回放也可以包括显示单独的帧。
与所公开的实施方式一致，“标记”可以包括与外科手术时间线内的位置相关联的任何视觉指示符。如上所述，该位置可以是指视频内的任何特定位置。例如，该位置可以是视频中的特定帧或帧范围、特定时间戳或者视频内的任何其它位置指示符。可以以各种方式在时间线上表示标记。在一些实施方式中，标记可以是沿着时间线在各种位置显示的图标或其它图形表示。可以将标记显示为线、带、点、几何形状(诸如菱形、正方形、三角形或任何其它形状)、气泡或者任何其它图形或视觉表示。在一些实施方式中，标记可以是基于文本的。例如，标记可以包括文本信息，诸如名称、描述、代码、时间戳等。在另一示例中，如上所述，可以将外科手术时间线显示为列表。因此，标记可以包括指示视频的特定位置的基于文本的标题或描述。标记432、434以及436在图4中是以示例的方式示出的。可以将标记表示为标注(callout)气泡，包括指示与位置相关联的标记类型的图标。标记可以指向沿着时间线420的指示视频中的位置的特定点。
标记的选择可以包括用户指向特定标记的任何动作。在一些实施方式中，选择标记可以包括：通过用户界面点击或轻敲标记、触摸触敏屏上的标记、透过智能眼镜浏览标记、通过语音接口指示标记、利用手势指示标记、或者采取导致标记被选择的任何其它动作。标记的选择由此可以使视频的显示跳至与所选择的标记相关联的位置。如本文所使用的，跳跃可以包括选择性地显示视频内的特定帧。这可以包括停止显示视频中的当前位置的帧(例如，如果视频当前正在播放)并且显示与所选择的标记相关联的位置的帧。例如，如果用户点击或者以其它方式选择标记432(如图4所示)，则可以将与标记432相关联的位置处的帧显示在视频回放区域410中。在一些实施方式中，视频可能会从该位置起继续播放。位置指示符424可以移动至时间线420内的与标记432相关联的位置，并且可以相应地更新有色区域422。虽然本实施方式被描述为使得外科医生能够选择所述一个或更多个标记，但是应理解，这只是示例，并且本公开不限于任何形式的用户。各种其它用户可以观看叠加的时间线并与之交互，包括外科技术人员、护士、医生助理、麻醉师、医生或任何其他医护专业人员，以及患者、保险公司、医学生等。本文提供了用户的其它示例。
根据本公开的实施方式，标记可以基于给定位置的视频中的信息自动生成并且被包括在时间线中。在一些实施方式中，可以将计算机分析用于对视频短片的帧进行分析并标识要包括在时间线中的各种位置处的标记。计算机分析可以包括使用计算装置的任何形式的电子分析。在一些实施方式中，计算机分析可以包括使用一种或更多种图像识别算法来标识视频短片的一个或更多个帧的特征。计算机分析可以针对单个帧执行，或者可以跨多个帧执行，例如，以检测帧之间的运动或其它变化。在一些实施方式中，计算机分析可以包括对象检测算法，诸如Viola-Jones对象检测、尺度不变特征变换(SIFT)、定向梯度直方图(HOG)特征、卷积神经网络(CNN)或者任何其它形式的对象检测算法。其它的示例算法可以包括：视频跟踪算法、运动检测算法、特征检测算法、基于颜色的检测算法、基于纹理的检测算法、基于形状的检测算法、基于提升(boosting)的检测算法、面部检测算法或者用于分析视频帧的任何其它合适的算法。在一个示例中，可以使用训练示例来对机器学习模型进行训练以生成视频的标记，并且可以将经训练的机器学习模型用于对视频进行分析并且生成该视频的标记。如此生成的标记可以包括视频内的标记的位置、标记的类型、标记的特性等。这种训练示例的示例可以包括描绘外科手术的至少部分的视频短片，连同要生成的希望标记列表，可能与各个希望标记的信息一起，诸如标记在视频中的位置、标记的类型、标记的特性等。
可以将这种计算机分析用于标识外科手术阶段、术中事件、事件特征和/或视频短片中显现的其它特征。例如，在一些实施方式中，可以将计算机分析用于标识在外科手术中使用的一种或更多种医疗器械，例如如上所述。基于医疗器械的标识，可以在视频短片中的与医疗器械相关联的位置处标识特定的术中事件。例如，手术刀或其它器械可以指示正在形成切口并且标识切口的标记可以被包括在该位置处的时间线中。在一些实施方式中，例如，如上所述，可以使用计算机分析在视频短片中标识解剖结构。例如，所公开的方法可以包括标识患者的器官、组织、流体或其它结构，以确定要包括在时间线中的标记及其相应的位置。在一些实施方式中，视频标记的位置可以基于医疗器械与解剖结构之间的交互来确定，这可以指示特定的术中事件、外科手术的类型、事件特征或者在标识标记位置方面有用的其它信息。例如，可以将视觉动作识别算法用于分析视频并且检测医疗器械与解剖结构之间的交互。在用于布置标记的视频短片中可以检测到的特征的其它示例可以包括：外科医生或其他医疗专业人员的运动、患者特征、外科医生特征或其他医疗专业人员的特征、正在执行的手术序列、手术或事件的定时、解剖结构的特征、医疗状况、或者可以被用于标识视频短片中显现的特定外科手术、外科手术阶段、术中事件和/或事件特征的任何其它信息。
在一些实施方式中，可以使用经训练的机器学习模型来标识标记位置。例如，可以使用训练示例来训练机器学习模型，各个训练示例皆可以包括已知与外科手术、外科手术阶段、术中事件和/或事件特征相关联的视频短片，以及指示视频短片内的位置的标签。使用经训练的机器学习模型，可以在用于确定标记位置的其它视频短片中标识相似的阶段和事件。可以使用各种机器学习模型，包括逻辑回归模型、线性回归模型、回归模型、随机森林模型、K-最近邻(KNN)模型、K-均值模型、决策树、cox比例风险回归模型、朴素贝叶斯模型、支持向量机(SVM)模型、梯度提升算法、人工神经网络(诸如深度神经网络、卷积神经网络等)或者任何其它形式的机器学习模型或算法。
在一些实施方式中，可以结合上面讨论的视频编索引技术来标识视频标记。如上所述，视频短片可以基于视频短片中标识的外科手术阶段、术中事件和/或事件特征来编索引。可以将该信息存储在数据结构中，诸如参照图6所描述的数据结构600。数据结构可以包括与视频短片内的阶段和事件相关联的短片位置和/或事件位置。在一些实施方式中，时间线中显示的标记可以对应于视频中的这些位置。因此，上面所描述的用于为视频短片编索引的技术或过程中的任一种可以相似地应用于确定用于在时间线中呈现的标记位置。
根据本公开的各种示例性实施方式，可以通过颜色或危急级别中的至少一个来编码标记。标记的编码可以是标记的类型、特性或特征的任何指示符。该编码对于用户在视觉上确定视频的哪些位置可能是所关注的可以是有用的。在按颜色对标记进行编码的情况下，显示在外科手术时间线上的标记的颜色可以基于预定的颜色方案来指示标记的特性或特征。例如，根据标记表示什么类型的术中外科手术事件，该标记可以具有不同的颜色。在一些示例实施方式中，与切口、截除(excision)、切除、结扎、移植(graft)或各种其它事件相关联的标记皆可以利用不同的颜色加以显示。在其它的实施方式中，可以将术中不利事件与一种颜色(例如，红色)相关联，其中，可以将计划的事件与另一种颜色(例如，绿色)相关联。在一些实施方式中，可以使用色标。例如，不利事件的严重性可以用范围从黄色到红色的色标或其它合适的色标来表示。
在一些实施方式中，可以将标记的位置和/或大小与危急级别相关联。危急级别可以表示由标记标识的事件、动作、技术、阶段或其它发生的事情的相对重要性。因此，如本文所使用的，术语“危急级别”是指立即需要采取动作以防止外科手术内的危险结果的任何量度。例如，危急级别可以包括例如处于特定的值范围内的数字量度(诸如“1.12”、“3.84”、“7”、“-4.01”等)。在另一示例中，危急级别可以包括有限数量的离散级别(诸如“0级”、“1级”、“2级”、“高危”、“低危”、“非危急”等)。
虽然提供颜色作为区分标记外观以表示信息的一个示例，但是可以使用各种其它技术。例如，标记可以具有可变的大小、形状、位置、取向、字体大小、字体类型、字体颜色、标记动画或其它视觉特性。在一些实施方式中，可以将标记根据它们所关联的事件的类型、动作或阶段来与不同的图标相关联。举例来说，如图4所示，可以与决策制定节点相关联的标记432可以具有与标记434不同的图标，该标记434可以与另一种类型的事件(诸如并发症)相关联。该图标可以表示与该位置相关联的术中事件的类型。例如，标记436可以指示在视频中的该位置处出现切口。可以将图标(或其它视觉特性)用于区分计划外事件和计划的事件、错误的类型(例如，错误传达的错误、判断错误或者其它形式的错误)、发生的特定不利事件、正在执行的技术类型、正在执行的外科手术阶段、术中外科手术事件的位置(例如，在腹壁等)、执行手术的外科医生、外科手术的结果或者各种其它信息。
在一些示例性实施方式中，所述一个或更多个标记可以包括与外科手术的决策制定节点相对应的决策制定节点标记。在一些实施方式中，这种决策制定节点标记可以在视觉上与其它形式或类型的标记不同。作为例示性示例，决策制定节点标记可以具有指示位置与决策制定节点相关联的图标，如图4中由标记432所示的。如本文所使用的，决策制定节点可以是指手术的其中做出决策的任何部分，或者其中做出选定类型决策中的决策或多个选定类型决策中的决策的任何部分。例如，决策制定节点标记可以指示视频的描绘外科手术的位置，在该位置可以进行多个动作过程，并且外科医生选择遵循一个过程而不是另一过程。例如，外科医生可以决定是否偏离计划的外科手术、采取预防性动作、移除器官或组织、使用特定的器械、使用特定的外科手术技术、或者外科医生可能遇到的任何其它术中决策。在一个示例中，决策制定节点可以是指手术的其中做出对手术的结果具有显著影响的决策的一部分。在另一示例中，决策制定节点可以是指手术的其中必须做出没有明确判定指南的决策的一部分。在又一示例中，决策制定节点可以是指手术的其中外科医生面临两个或更多个可行另选方案的一部分，并且在这两个或更多个可行另选方案中选择较好的另选方案(例如，被预测会降低特定风险的另选方案、被预测会改善结果的另选方案、被预测会降低成本的另选方案等)是至少基于特定数量的因素的(例如，至少基于两个因素、至少基于五个因素、至少基于十个因素、至少基于一百个因素等)。在附加示例中，决策制定节点可以是指手术的其中外科医生面临特定类型的决策的一部分，并且其中该特定类型被包括在一组选定的决策类型中。
可以使用上述的计算机分析来检测决策制定节点。在一些实施方式中，可以对视频短片进行分析，以标识由可以指示已经做出决策的外科医生执行的特定动作或动作序列。例如，如果外科医生在手术期间暂停、开始使用不同的医疗器械或者改变成不同的动作过程，那么这可以指示已经做出决策。在一些实施方式中，可以基于视频短片中在该位置处标识的外科手术阶段或术中事件来标识决策制定节点。例如，可能检测到诸如出血的不利事件，这可以指示必须就如何解决该不利事件而做出决策。作为另一示例，可以将外科手术的特定阶段与多种可能的动作过程相关联。因此，在视频短片中检测到该外科手术阶段可以指示决策制定节点。在一些实施方式中，可以将经训练的机器学习模型用于标识决策制定节点。例如，可以使用训练示例来对机器学习模型进行训练，以检测视频中的决策制定节点，并且可以将经训练的机器学习模型用于分析视频并检测决策制定节点。这种训练示例的示例可以包括视频短片，连同指示视频短片内的决策制定节点的位置的标记，或者连同指示视频短片中不存在决策制定节点的标签。
决策制定节点标记的选择可以使得外科医生能够观看来自两个或更多个对应的其它外科手术的两个或更多个另选视频短片，由此使观看者能够比较另选方法。另选视频短片可以是例示除当前正向用户显示的手术之外的其它手术的任何视频短片。这样的另选视频短片可以从未被包括在正在输出以供显示的当前视频中的其它视频短片中提取。另选地，如果当前的视频短片包括不同手术的汇编，那么另选短片可以从正在显示的当前视频短片的不同位置提取。其它外科手术可以是除正被输出以供显示的当前视频中所描绘的特定手术之外的任何其它外科手术。在一些实施方式中，其它外科手术可以与正被输出以供显示的视频中所描绘的外科手术的类型相同，但是在不同的时间、对不同的患者和/或由不同的外科医生来执行的。在一些实施方式中，其它外科手术可以不是同一类型的手术，但是可以与由决策制定节点标记所标识的外科手术共享相同或相似的决策制定节点。在一些实施方式中，所述两个或更多个视频短片可以呈现不同的行为。例如，所述两个或更多视频短片可以表示与当前视频中采取的动作相比的另选动作选择，如由决策制定节点标记所表示的。
可以以各种方式呈现另选视频短片。在一些实施方式中，选择决策制定节点标记可以自动导致所述两个或更多另选视频短片的显示。例如，可以将另选视频短片中的一个或更多个另选视频短片显示在视频回放区域410中。在一些实施方式中，可以将视频回放区域进行拆分或划分以示出另选视频短片中的一个或更多个另选视频短片和/或当前视频。在一些实施方式中，可以将另选视频短片显示在另一区域中，诸如视频回放区域410的上方、下方或者一侧。在一些实施方式中，可以将另选视频短片显示在第二窗口中、另一屏幕上或者除回放区域410以外的任何其它空间中。根据其它实施方式，选择决策标记可以打开菜单或者以其它方式显示用于观看另选视频短片的选项。例如，选择判定标记可以弹出另选视频菜单，所述另选视频菜单包含对关联的另选视频短片中的行为的描绘。可以将另选视频短片呈现为缩略图、基于文本的描述、视频预览(例如，播放较小分辨率的版本或缩短的短片)等。可以将菜单叠加在视频上、可以结合视频显示或者可以被显示在单独的区域中。
根据本公开的实施方式，决策制定节点标记的选择可以导致与所选择的决策制定节点标记相关的一个或更多个另选可能决策的显示。与另选视频相似，可以将另选的可能决策叠加在时间线和/或视频上，或者可以显示在单独的区域中，诸如视频的上方、下方和/或一侧、在单独的窗口中、在单独的屏幕上或者以任何其它合适的方式。另选的可能决策可以是外科医生在决策制定节点处可以已经做出的另选决策的列表。该列表还可以包括：图像(例如，描绘另选动作)、流程图、统计(例如，成功率、失败率、使用率或者其它统计信息)、详细描述、超链接或者与可以与观看回放的外科医生相关的另选可能决策相关联的其它信息。这样的列表可以是交互式的，使得观看者能够从列表中选择另选的动作过程，并由此使显示另选的动作过程的视频短片。
此外，在一些实施方式中，与所述一个或更多个另选的可能决策相关联的一个或更多个估计结果可以结合所述一个或更多个另选的可能决策的显示来显示。例如，另选的可能决策的列表可以包括另选的可能决策中的各个另选的可能决策的估计结果。估计结果可以包括在外科医生已经采取另选可能决策的情况下预测会发生的结果。此类信息可以有助于训练目的。例如，外科医生能够确定可以采取比视频中的动作更恰当的动作，并可以相应地计划未来的手术。在一些实施方式中，可以将另选的可能决策中的各个另选的可能决策与多个估计结果相关联，并且可以提供各个另选的可能决策的概率。可以以各种方式确定所述一个或更多个估计结果。在一些实施方式中，估计结果可以是基于与另选的可能决策相关联的已知概率的。例如，可以将来自具有相似的决策制定节点的以前外科手术的汇总数据用于预测与标记相关联的另选的可能决策的结果。在一些实施方式中，可以将概率和/或数据针对当前外科手术的一个或更多个特征或特性进行定制。例如，在确定估计结果时可以考虑患者特征(诸如患者的医疗状况、年龄、体重、医疗历史或其它特征)、外科医生技能水平、手术难度、手术类型、或者其它因素。还可以分析其它特征，包括上述参照视频编索引所描述的事件特征。
根据本公开，可以将外科手术的决策制定节点与第一患者相关联，并且相应的相似决策制定节点可以从与具有和第一患者相似的特征的患者相关联的过去外科手术中选择的。可以基于与相应的相似决策制定节点相似的估计结果，或者因为当前视频中的患者与过去外科手术中的患者之间的相似性，来预先选择或自动选择过去外科手术。这些相似性或特征可以包括患者的性别、年龄、体重、身高、身体素质、心率、血压、体温、患者是否表现出特定的医疗状况或疾病、医疗历史或者可能相关的任何其它显著特点(trait)或状况。
相似地，在一些实施方式中，可以将外科手术的决策制定节点与第一医疗专业人员相关联，并且相应的相似过去决策制定节点可以从与具有和第一医疗专业人员相似的特征的医疗专业人员相关联的过去外科手术中选择。这些特征可以包括但不限于：医疗专业人员的年龄、医学背景、经验水平(例如，外科医生执行过这种或相似的外科手术的次数、外科医生执行过的外科手术总次数等)、技能水平、培训历史、此类或其它外科手术的成功率或者可能相关的其它特征。
在一些示例性实施方式中，外科手术的决策制定节点与外科手术中的第一在先事件相关联，并且相似的过去决策制定节点是从包括与第一在先事件相似的在先事件的过去外科手术中选择的。在一个示例中，可以例如基于在先事件的类型、在先事件的特征等，将在先事件确定为与第一在先事件相似。例如，当在先事件与第一在先事件之间的相似性量度高于选定阈值时，可以将所述两者确定为是相似的。上面描述了这种相似性量度的一些非限制性示例。在先事件的发生和/或特征可以与确定另选的可能决策的估计结果相关。例如，如果外科医生遇上伴随患者的并发症，那么并发症可以至少部分地决定性的最合适的结果，而在没有并发症的情况下，不同的结果可能是合适的。第一在先事件可以包括但不限于上面详细描述的术中事件中的任一术中事件。第一在先事件的一些非限制性特征可以包括上面描述的任何事件特征。例如，第一在先事件可以包括不利事件或并发症，诸如出血、肠系膜肺气肿、损伤、转换成计划外开放、切口显著大于计划的切口、高血压、低血压、心动过缓、血氧不足、粘连、疝气、非典型解剖、硬膜撕裂、periorator损伤、动脉梗塞等。第一在先事件还可以包括确定的或计划的事件，诸如成功的切口、药品的施用、外科手术器械的使用、截除、切除、结扎、移植、缝合、缝补(stitching)或任何其它事件。
根据本公开，可以将外科手术的决策制定节点与医疗状况相关联，并且相应的相似决策制定节点可以从与具有相似医疗状况的患者相关联的过去外科手术中选择的。医疗状况可以包括患者的与患者健康或身心健康(Well-being)相关的任何状况。在一些实施方式中，医疗状况可以是正在通过外科手术治疗的状况。在其它的实施方式中，医疗状况可以是单独的医疗状况。可以以各种方式确定医疗状况。在一些实施方式中，可以基于与所述多个视频相关联的数据来确定医疗状况。例如，可以用包括医疗状况的信息来向视频加标签。在其它的实施方式中，医疗状况可以通过对所述至少一个视频的分析来确定，并且可以基于在所述至少一个视频中显现的解剖结构的外观。例如，可以对组织的颜色、一个组织相对于另一种组织的颜色的相对颜色、器官的大小、一个器官相对于另一个器官的大小的相对大小、胆囊或其它器官的外观、存在撕裂伤或其它标记或者与解剖结构相关联的任何其它视觉指示符进行分析，以确定医疗状况。在一个示例中，可以使用训练示例来对机器学习模型进行训练，以根据视频来确定医疗状况，并且可以将经训练的机器学习模型用于分析所述至少一个视频短片并确定医疗状况。这种训练示例的示例可以包括外科手术的视频短片，以及指示一个或更多个医疗状况的标签。
在本公开的一些方面，与在相应的相似过去决策制定节点进行的过去决策的分布相关的信息可以是结合另选可能决策的显示来显示的。例如，如上所述，可以将特定的决策制定节点与动作过程的多个可能决策相关联。过去的决策可以包括外科医生在以前的外科手术中面临相同或相似的决策制定节点时做出的决策。例如，过去的决策中的各个决策皆可以对应于上述另选可能决策中的一个可能决策。因此，如本文所使用的，相应的相似过去决策制定节点是指在过去外科手术期间做出过去决策时发生的决策制定节点。在一些实施方式中，相应的相似过去决策制定节点可以与由标记标识的决策制定节点相同。例如，如果决策制定节点是诸如出血的不利事件，那么过去的决策可以对应于其他外科医生在以前外科手术中如何解决出血问题。在其它的实施方式中，决策制定节点可以不同但是可以相似。例如，外科医生在遇到硬膜撕裂时做出的可能决策可以与其它形式的撕裂相似，因此，与硬膜撕裂相关联的过去决策的分布可以与其它形式的撕裂相关。过去的决策可以通过分析视频短片来标识，例如，使用上述计算机分析技术。在一些实施方式中，可以使用上述视频编索引技术对过去的决策编索引，使得可以很容易地访问它们以显示过去决策的分布。在一个示例中，该分布可以包括状况分布，例如呈现在具有共同特性的相应的相似过去决策制定节点中做出的过去决策的分布。在另一示例中，该分布可以包括无状况分布，例如呈现在所有相应的相似过去决策制定节点中做出的过去决策的分布。
所显示的分布可以指示所述可能决策中的各个可能决策在与相应的相似过去判定节点相关联的其它另选可能决策当中有多普遍。在一些实施方式中，所显示的分布可以包括做出所述决策中的各个决策的次数。例如，特定的决策制定节点可以具有三个另选的可能决策：决策A、决策B以及决策C。基于在相似的决策制定节点做出的过去决策，可以确定已经执行过这些另选可能决策中的各个另选可能决策的次数。例如，决策A可能已经执行了167次，决策B可能已经执行了47次，以及决策C可能已经执行了13次。可以将分布显示为所述另选的可能决策中的各个另选的可能决策的列表，以及它们已经被执行过的次数。所显示的分布还可以例如通过显示比率、百分比或其它统计信息来指示所述决策中的各个决策的相对频率。例如，分布可以表明决策A、B以及C在过去决策中分别被执行过73.6％、20.7％以及5.7％。在一些实施方式中，可以将分布显示为该分布的图形表示，诸如条形图、直方图、饼图、分布曲线或者可以被用于示出分布的任何其它图形表示。
在一些实施方式中，可以只显示决策的子集。例如，可以基于做出决策的次数(例如，超过阈值次数等)仅显示最常见的决策。可以使用上述用于标识相似的过去决策制定节点的各种方法，包括标识与相似医疗状况、患者特征、医疗专业人员特征和/或在先事件相关联的外科手术。
在一些实施方式中，所述一个或更多个估计结果可以是分析多个过去外科手术的包括相应的相似决策制定节点的视频的结果。例如，可以使用各种计算机分析技术(诸如上述对象和/或运动检测算法)来对视频短片储存库进行分析，以标识包括与由标记标识的决策制定节点相同或共享相似特征的决策制定节点的视频。这可以包括标识具有和被用于标识时间线中呈现的视频中的决策制定节点的那些相同或相似的外科手术阶段、术中外科手术事件和/或事件特征的其它视频短片。可以基于过去外科手术的结果来估计另选的可能决策的结果。例如，如果执行缝合的特定方法一致导致患者完全恢复，那么可以针对这个可能决策来估计这个结果，并且可以将这个结果显示在时间线上。
在一些示例性实施方式中，分析可以包括使用计算机视觉算法的实现。计算机视觉算法可以与上述计算机视觉算法中的任一者相同或相似。这种计算机算法的一个示例可以包括上述对象检测和跟踪算法。这种计算机视觉算法的另一示例可以包括经训练的机器学习模型的使用。上面描述了这种计算机视觉算法的其它非限制性示例。例如，如果基于视频中发生的特定不利事件标识判定结标记，则可以标识具有相同或相似不利事件的其它视频短片。可以对视频短片加以进一步分析以确定过去外科手术视频中所做的决策的结果。这可以包括上述相同或相似的计算机分析技术。在一些实施方式中，这可以包括对视频进行分析以确定决策的结果。例如，如果决策制定节点和与解剖结构相关联的不利事件(诸如撕裂)相关联，那么可以在以下决策之后的各种帧评估解剖结构：确定不利事件是否得到补救、对该不利事件进行补救的速度有多快、是否发生了额外的不利事件、患者是否幸存或者结果的其它指示符。
在一些实施方式中，还可以将附加信息用于确定结果。例如，分析可以基于与所述多个过去外科手术视频相关联的一个或更多个电子医疗记录。例如，确定结果可以包括参考与进行了特定决策的视频相关联的电子医疗记录，来确定患者是否恢复、患者恢复的速度有多快、是否存在额外的并发症，等等。此类信息可以有用于预测稍后可能在视频短片的范围之外导致的结果。例如，结果可以是外科手术之后几天、数周或数月。在一些实施方式中，可以将附加信息用于通知在分析中包括哪些视频的分析。例如，使用从医疗记录收集的信息，可以对共享相似患者医疗历史、疾病类型、诊断类型、治疗历史(包括过去的外科手术)、医护专业人员身份、医护专业人员技能水平或者任何其它相关数据的视频进行标识。共享这些或其它特征的视频可以提供可以预期各个另选可能决策的什么结果的更准确的想法。
相似的决策制定节点可以基于它们与当前决策制定节点的相互联系有多密切来进行标识。在一些实施方式中，相应的相似决策制定节点可以根据相似性指标与外科手术的决策制定节点相似。指标可以是与决策制定节点的相关有多密切的任何值、分类或其它指示符。可以基于计算机视觉分析来确定这种指标，以便确定手术或技术匹配的程度有多密切。还可以基于决策制定节点共同具有的特征的数量以及特征匹配的程度来确定该指标。例如，可以基于相似性指标向关于具有相似医疗状况和物理特征的患者的两个决策制定节点指派比两个更独特的患者更高的相似性。也可以使用各种其它的特征和/或考虑因素。另外或者另选地，相似性指标可以是基于任何相似性量度，诸如上述相似性量度。例如，相似性指标可以与相似性量度相同、可以是相似性量度的函数，等等。
除了决策制定节点标记或者代替决策制定节点标记，可以使用各种其它标记类型。在一些实施方式中，标记可以包括术中外科手术事件标记，中外科手术事件标记可以和视频中的与术间(interoperative)事件的发生相关联的位置相关联。贯穿本公开，提供了可以通过标记标识的各种术中外科手术事件的示例，包括关于上述视频编索引。在一些实施方式中，术中外科手术事件标记可以是通用标记，指示该位置发生了术中外科手术事件。在其它的实施方式中，术中外科手术事件标记可以标识术中外科手术事件的特性，包括事件的类型、事件是否是不利事件、或者任何其它特征。图4示出了示例标记。作为例示性示例，可以将为标记434示出的图标用于表示通用术中外科手术事件标记。另一方面，标记436可以表示更具体的术中外科手术事件标记，诸如标识在该位置发生的切口。图4中示出的标记是作为示例来提供的，并且可以使用各种其它形式的标记。
如上所述，可以自动标识这些术中外科手术事件标记。使用上述计算机分析方法，可以在视频短片中标识医疗器械、解剖结构、外科医生特征、患者特征、事件特征或其它特征。例如，所标识的医疗器械与解剖结构之间的交互可以指示正在执行切口，缝合或其它术中事件。在一些实施方式中，可以基于在数据结构(诸如上面参照图6描述的数据结构600)中提供的信息来标识术中外科手术事件标记。
与所公开的实施方式一致，术中外科手术事件标记的选择可以使得外科医生能够观看来自不同的外科手术的另选视频短片。在一些实施方式中，另选视频短片可以呈现处理选定术中外科手术事件的不同方式。例如，在当前视频中，外科医生可以根据一种技术来执行切口或其它动作。选择术中外科手术事件标记可以允许外科医生观看可以被用于执行切口或其它动作的另选技术。在另一示例中，术中外科手术事件可以是诸如出血的不利事件，并且另选视频剪辑可以描绘外科医生已经处理不利事件的其它方式。在一些实施方式中，在标记与术中外科手术事件相关的情况下，术中外科手术事件标记的选择可以使得外科医生能够观看来自不同的外科手术的另选视频短片。例如，不同的外科手术可以属于不同类型(诸如腹腔镜外科手术与胸腔镜外科手术)，但仍可以包括相同或相似的术中外科手术事件。外科手术也可以在其它方面有所不同，包括不同的医疗状况、不同的患者特征、不同的医疗专业人员或者其它区别。选择术中外科手术事件标记可以允许外科医生观看来自不同的外科手术的另选视频短片。
与本文所描述的其它实施方式一样，可以以各种方式显示另选视频短片。例如，选择术中外科手术事件标记可能会导致显示菜单，外科医生可以从菜单中选择另选视频短片。菜单可以包括：对选定术中外科手术事件进行处理的不同方式的描述、视频短片的缩略图、视频短片的预览、和/或与视频短片相关联的其它信息，诸如录制该视频短片的日期、外科手术的类型、执行外科手术的外科医生的姓名或身份、或者任何其它相关信息。
根据本公开的一些实施方式，所述至少一个视频可以包括按照手术时间顺序排列的、来自多个外科手术的短片汇编。手术时间顺序可以是指相对于外科手术发生的事件的顺序。因此，按照手术时间顺序排列短片的汇编可以包括按以下顺序排列来自不同患者的不同事件：如果已经对单个患者进行了该手术则它们将发生的顺序。换句话说，尽管根据对不同患者的各种外科手术进行了汇编，但是该汇编的回放将按照短片在外科手术内显现的顺序来显示该短片。在一些实施方式中，短片汇编可以描绘来自所述多个外科手术的并发症。在这样的实施方式中，所述一个或更多个标记可以与所述多个外科手术相关联并且可以被显示在公共时间线上。因此，尽管观看者与单个时间线交互，但是沿着时间线呈现的视频短片可以得自不同的手术和/或不同的患者。上面参照视频编索引描述了可以显示的示例并发症。
图5是例示与所公开的实施方式一致的审查外科手术视频的示例过程500的流程图。可以由至少一个处理器(诸如一个或更多个微处理器)来执行过程500。在一些实施方式中，过程500不一定限于所例示的步骤，并且本文所描述的各种实施方式中的任一实施方式也可以被包括在过程500中。在步骤510，过程500可以包括访问外科手术的至少一个视频，例如如上所述。所述至少一个视频可以包括来自单个外科手术的视频短片或者可以是来自多个手术的短片汇编，如先前所讨论的。在步骤520，过程500可以包括使所述至少一个视频被输出以供显示。如上所述，使所述至少一个视频被输出以供显示可以包括：发送用于使所述至少一个视频显示在屏幕或其它显示装置上的信号、将所述至少一个视频存储在另一计算装置可访问的位置、发送所述至少一个视频、或者可以使得该视频被显示的任何其它过程或步骤。
在步骤530，处理500可以包括在被输出以供显示的所述至少一个视频上叠加外科手术时间线，其中，外科手术时间线包括标识外科手术阶段、术中外科手术事件以及决策制定节点中的至少一个的标记。在一些实施方式中，可以将外科手术时间线表示为与视频一起显示的水平条。可以将标记沿着时间线表示为形状、图标或其它图形表示。图4提供了这种实施方式的示例。在其它的实施方式中，时间线可以是按时间顺序的阶段、事件和/或决策制定节点的基于文本的列表。标记可以相似地基于文本并且可以被包括在列表中。
步骤540可以包括使得外科医生能够在观看所述至少一个视频的回放时选择该外科手术时间线上的一个或更多个标记，并由此使该视频的显示跳至与所选择的标记相关联的位置。在一些实施方式中，外科医生能够观看关于与标记相关联的事件或发生的事情的附加信息，它可以包括来自过去外科手术的信息。例如，可以将标记与术中外科手术事件相关联，并且选择标记可以使得外科医生能够观看与术中外科手术事件相关联的过去外科手术的另选视频短片。例如，可以使得外科医生能够观看来自其它外科手术的短片，在所述其它外科手术中，相似的术中外科手术事件被不同地进行处理、使用不同的技术、或者结果不同。在一些实施方式中，标记可以是决策制定节点标记，表示在外科手术期间做出的决策。选择决策制定节点标记可以使得外科医生能够观看有关决策(包括另选决策)的信息。此类信息可以包括过去外科手术的视频，包括相似的决策制定节点、另选的可能决策的列表或分布、另选的可能决策的估计结果或者任何其它相关信息。基于过程500中描述的步骤，外科医生或其他用户可以能够使用时间线界面更有效且更高效地审查外科手术视频。
在准备外科手术时，外科医生审查已经执行的相似外科手术的视频通常是有益的。然而，外科医生在准备外科手术方面标识相关视频或视频部分可能过于繁琐和耗时。因此，需要高效地、有效地基于外科手术视频短片的内容来对所述短片编索引，使得外科医生或其他医疗专业人员能够轻松访问和审查该视频的非常规方法。
本公开的各方面可以涉及视频编索引，包括方法、系统、装置以及计算机可读介质。例如，可以自动地检测外科手术短片中的外科手术阶段内的外科手术事件。可以使得观看者能够直接跳至事件、仅观看具有指定特征的事件，等等。在一些实施方式中，用户可以在外科手术阶段(例如，解剖)内指定具有特征(例如，特定并发症)的事件(例如，对器官的无意损伤)，以使可以向用户呈现共享该特征的一个或更多个事件的视频短片。
为了便于讨论，下面描述了一种方法，并且对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。例如，这种方法的一些方面可以通过有线、无线或两者的网络以电子方式发生。这种方法的其它方面可以使用非电子手段发生。在最广泛的意义上，该方法不限于特定的物理和/或电子工具，而是可以使用许多不同的工具来完成。
与所公开的实施方式一致，提供了一种方法，该方法可以涉及访问要编索引的视频短片，该要编索引的视频短片包括特定外科手术的短片。如本文所使用的，视频可以包括任何形式的记录的视觉媒体，包括记录的图像和/或声音。例如，视频可以包括由图像拍摄装置(诸如摄像机115、121、123和/或125，如上面结合图1所描述的)拍摄的一个或更多个图像的序列。可以将该图像存储为单独的文件或者可以以组合的格式(诸如视频文件)进行存储，其可以包括对应的音频数据。在一些实施方式中，可以将视频存储为原始数据和/或从图像拍摄装置输出的图像。在其它实施方式中，可以对视频进行处理。例如，视频文件可以包括：Audio Video Interleave(AVI)、Flash Video格式(FLV)、QuickTime文件格式(MOV)、MPEG(MPG、MP4、M4P等)、Windows Media Video(WMV)、Material Exchange格式(MXF)、未压缩格式、有损压缩格式、无损压缩格式或者任何其它合适的视频文件格式。
视频短片可以是指已经由图像拍摄装置拍摄的一段视频。在一些实施方式中，视频短片可以是指包括按照最初拍摄图像序列的顺序的该图像序列的一段视频。例如，视频短片可以包括尚未进行编辑以形成视频汇编的视频。在其它的实施方式中，视频短片可以以一种或更多种方式进行编辑，以便去除与不活动相关联的帧，或者以其它方式编译最初未按顺序拍摄的帧。访问视频短片可以包括从诸如存储器装置的存储位置取回视频短片。可以从本地存储器(诸如本地硬盘驱动器)访问或者可以从远程源(例如，通过网络连接)访问视频短片。与本公开一致，编索引可以是指用于按照使得可以更高效和/或更有效地取得数据的方式存储该数据的过程。对视频短片编索引可以包括将一个或更多个特性或指示符与视频短片相关联，使得可以基于特性或指示符来标识视频短片。
外科手术可以包括与在患者身体上的手动处置(procedure)或手术处置相关联或涉及的任何医疗手术。外科手术可以包括切割、磨削、缝合或者涉及物理改变身体组织和器官的其它技术。此类外科手术的一些示例可以包括：腹腔镜外科手术、胸腔镜手术、支气管镜手术、显微镜手术、开放式外科手术、机器人外科手术、阑尾切除术、颈动脉内膜切除术、腕管松解术、白内障外科手术、剖腹产术、胆囊切除术、结肠切除术(诸如部分结肠切除术、全结肠切除术等)、冠状动脉血管成形术、冠状动脉搭桥术、清创术(例如伤口、烧伤、感染等)、游离皮肤移植、痔切除术、髋关节置换术、子宫切除术、宫腔镜检查、腹股沟疝修补术、膝关节镜检查、膝关节置换术、乳房切除术(诸如部分乳房切除术、全乳房切除术、改良根治性乳房切除术等)、前列腺切除术、前列腺移除、肩关节镜检查、脊柱外科手术(诸如脊柱融合术、椎板切除术、椎间孔切开术、椎间盘切除术、椎间盘置换术、椎板间植入物等)、扁桃体切除术、人工耳蜗植入手术、脑肿瘤(例如脑膜瘤等)切除术、诸如经皮腔内冠状动脉血管成形术的介入手术、经导管主动脉瓣置换术、用于清除脑出血的微创外科手术、或者涉及某一形式切口的任何其它医疗手术。虽然本公开是参照外科手术来进行描述的，但是要理解，它也可以适用于其它形式的医疗手术或者一般的手术。
在一些示例性实施方式中，所访问的视频短片可以包括经由位于手术台上方的位置、患者的外科手术腔中、患者的器官内或者患者的脉管系统内的至少一个中的至少一个图像传感器拍摄的视频短片。图像传感器可以是能够记录视频的任何传感器。位于外科手术台上方位置的图像传感器可以包括被放置在患者体外的任何图像传感器，该图像传感器被配置成从患者上方拍摄图像。例如，图像传感器可以包括如图1示出的摄像机115和/或121。在其它的实施方式中，可以将图像传感器放置在患者体内，举例来说，如放置在腔内。如本文所使用的，腔可以包括对象内的任何相对空的空间。因此，外科手术腔可以是指患者身体内的空间，在该空间中正在执行外科手术或操作或者存在和/或使用外科手术工具。应理解，外科手术腔可以不是完全空的，而是可以包括存在于身体内的组织、器官、血液或其它流体。器官可以是指生物体的任何独立区域或部分。人类患者器官的一些示例可以包括心脏或肝脏。血管可以是指生物体内的系统或血管组。位于外科手术腔、器官和/或脉管系统内的图像传感器可以包括被插入患者体内的外科手术工具上所包括的摄像机。
本公开的各方面可以包括对视频短片进行分析，以标识与特定外科手术的外科手术阶段相关联的视频短片位置。如本文参照视频短片所使用的，位置可以是指视频短片内的任何特定位置或范围。在一些实施方式中，位置可以包括视频的特定帧或帧范围。因此，可以将视频短片位置表示为视频短片文件的一个或更多个帧号或者其它标识符。在其它的实施方式中，位置可以是指与视频短片相关联的特定时间。例如，视频短片位置可以是指视频短片内的时间索引或时间戳、时间范围、特定的开始时间和/或结束时间或者任何其它位置指示符。在其它的实施方式中，位置可以是指至少一个帧内的至少一个特定位置。因此，可以将视频短片位置表示为一个或更多个像素、体素、边界框、边界多边形、边界形状、坐标等。
对于本公开的目的来说，阶段可以是指过程或一系列事件的特定时段或阶段。因此，外科手术阶段可以是指外科手术的特定时段或阶段，如上所述。例如，腹腔镜胆囊切除术的外科手术阶段可以包括：套管针放置、准备、calot三角解剖、夹闭和切断胆囊管和动脉、胆囊解剖、胆囊包装、肝床的清洁和凝固、胆囊收缩等。在另一示例中，白内障外科手术的外科手术阶段可以包括：准备、聚维酮碘注射、角膜切口、撕囊术、超声乳化、皮层抽吸、人工晶状体植入、人工晶状体调整、伤口封闭等。在又一示例中，垂体外科手术的外科手术阶段可以包括：准备、鼻腔切口、鼻子牵开器安装、接近肿瘤、肿瘤移除、鼻柱置换、缝合、鼻部压迫装置等。外科手术阶段的一些其它示例可以包括：准备、切口、腹腔镜定位、缝合等。
在一些实施方式中，标识视频短片位置可以基于用户输入。用户输入可以包括由用户提供的任何信息。如参照视频编索引所使用的，用户输入可以包括与标识视频短片位置相关的信息。例如，用户可以输入特定的帧号、时间戳、时间范围、开始时间和/或停止时间或者可以标识视频短片位置的任何其它信息。另选地，用户输入可以包括对阶段、事件、手术或所使用的装置的输入或选择，该输入可与特定视频短片相关联(例如，通过查找表或其它数据结构)。可以通过用户装置的用户界面接收用户输入，诸如台式计算机、膝上型电脑、平板电脑(table)、移动手机、可佩戴装置、物联网(IoT)装置或者用于接收来自用户的输入的任何其它装置。例如，该界面可以包括：具有一个或更多个阶段名称选择列表的一个或更多个下拉菜单；允许用户输入阶段名称和/或一旦输入几个字母就提议阶段名称的数据输入字段；可以从中选择阶段名称的选择列表；一组可选择的图标，各个图标皆与不同的阶段相关联；或者允许用户标识或选择阶段的任何其它机制。例如，用户可以通过类似于用户界面700的用户界面输入阶段名称，如下面参照图7更详细地描述的。在另一示例中，可以通过语音命令和/或语音输入接收用户输入，并且可以使用语音识别算法来处理用户输入。在又一示例中，可以通过姿势(诸如手势)来接收用户输入，并且可以使用姿势识别算法来处理用户输入。
在一些实施方式中，标识视频短片位置包括：使用计算机分析来对视频短片的帧进行分析。计算机分析可以包括使用计算装置的任何形式的电子分析。在一些实施方式中，计算机分析可以包括使用一种或更多种图像识别算法来标识视频短片的一个或更多个帧的特征。计算机分析可以针对单个帧执行，或者可以跨多个帧执行，例如，以检测帧之间的运动或其它变化。在一些实施方式中，计算机分析可以包括对象检测算法，诸如Viola-Jones对象检测、尺度不变特征变换(SIFT)、定向梯度直方图(HOG)特征、卷积神经网络(CNN)或者任何其它形式的对象检测算法。其它的示例算法可以包括：视频跟踪算法、运动检测算法、特征检测算法、基于颜色的检测算法、基于纹理的检测算法、基于形状的检测算法、基于提升(boosting)的检测算法、面部检测算法或者用于分析视频帧的任何其它合适的算法。在一个示例中，可以使用训练示例来对机器学习模型进行训练，以标识视频内的特定位置，并且可以将经训练的机器学习模型用于分析视频短片并标识视频短片位置。这种训练示例的示例可以包括视频短片连同指示视频短片内的位置的标记，或者连同指示视频短片内不包括对应位置的标记。
在一些实施方式中，计算机图像分析可以包括使用包括先前标识的外科手术阶段的示例视频帧训练的神经网络模型，由此标识视频短片位置或阶段标签中的至少一个。换句话说，可以将一个或更多个视频的已知与特定外科手术阶段相关联的帧用于训练神经网络模型，例如使用机器学习算法、使用反向传播、使用梯度下降优化等等。因此，可以将经训练的神经网络模型用于识别一个或更多个视频帧是否也与外科手术阶段相关联。此类人工神经网络的一些非限制性示例可以包括：浅层人工神经网络、深度人工神经网络、反馈人工神经网络、前馈人工神经网络、自编码器人工神经网络、概率人工神经网络、时延人工神经网络、卷积人工神经网络、循环人工神经网络、长短期记忆人工神经网络等。在一些实施方式中，所公开的方法还可以包括基于所分析的帧中的至少一个帧来更新经训练的神经网络模型。
在本公开的一些方面，对视频短片进行分析以识别与外科手术事件或外科手术阶段中的至少一个相关联的视频短片位置可以包括：对视频短片执行计算机图像分析，以识别用于回放的外科手术阶段的开始位置或者用于回放的外科手术事件的起始中的至少一个。换句话说，使用上面讨论的计算机分析技术，所公开的方法可以包括以下步骤：标识视频短片内的外科手术阶段或事件开始的位置。例如，可以使用上述对象体和/或运动检测算法来检测外科手术事件(诸如切口)的开始。在其它的实施方式中，可以基于机器学习技术来检测切口的开始。例如，可以使用视频短片以及指示切口或其它外科手术事件和/或手术的已知开始点的对应标记来训练机器学习模型。可以将经训练的模型用于标识其它外科手术视频短片内的相似手术和/或事件开始位置。
本公开的一些方面可以包括生成与外科手术阶段相关联的阶段标签。如本文所使用的，“标签”可以是指任何过程或标记，通过该过程或标记将信息与数据集相关联或链接至数据集。在一些实施方式中，标签可以是数据文件(诸如视频文件)的特性。因此，生成标签可以包括：在视频文件内写入或覆盖特性。在一些实施方式中，生成标签可以包括：将信息写入除了视频文件本身之外的其它文件，例如，通过将视频文件与单独数据库中的标签相关联。可以将标签表达为文本信息、数字标识符或任何其它合适的加标签方式。如上所述，阶段标签可以是标识外科手术阶段的阶段的标签。在一个实施方式中，阶段标签可以是指示视频中的外科手术阶段开始的位置的标记、指示视频中的外科手术阶段结束的位置的标记、指示视频中的外科手术阶段中间的位置的标记、或者指示涵盖外科手术阶段的视频范围。标签可以是视频数据本身中的指针，或者可以位于数据结构中以允许查找阶段位置。阶段标签可以包括用于导致阶段的显示的计算机可读信息，并且还可以包括用于向用户标识所述阶段的人类可读信息。例如，生成与外科手术阶段相关联的阶段标签可以包括：生成包括诸如“腹腔镜定位”的文本的标签，以指出带标签的数据与外科手术的该阶段相关联。在另一示例中，生成与外科手术阶段相关联的阶段标签可以包括：生成包括外科手术阶段标识符的二进制编码的标签。在一些实施方式中，生成阶段标签可以基于对描绘外科手术阶段的视频短片的计算机分析。例如，所公开的方法可以包括以下步骤：使用上述对象和运动检测分析方法来分析外科手术阶段的短片以确定阶段标签。例如，如果知道使用以独特方式或者以独特顺序使用的特定类型的医疗装置或其它工具的阶段开始或结束，那么可以对视频短片执行图像识别，以通过所执行的图像识别来标识特定阶段，从而标识工具的独特使用来标识特定阶段。生成阶段标签还可以包括：使用经训练的机器学习模型或神经网络模型(诸如深度神经网络、卷积神经网络等)，它们可以进行训练以将一个或更多个视频帧与一个或更多个阶段标签相关联。例如，可以将训练示例馈送至机器学习算法，以开发出被配置成将其它视频短片数据与一个或更多个阶段标签相关联的模型。这种训练示例的示例可以包括视频短片以及指示与该视频短片相对应的希望标签或缺少希望标签的标记。这样的标记可以包括：视频短片内的与外科手术阶段相对应的一个或更多个位置的指示、外科手术阶段类型的指示、外科手术阶段特性的指示等。
根据本公开的方法可以包括以下步骤：将阶段标签与视频短片位置相关联。可以使用任何合适的方式将阶段标签与视频短片位置相关联。这样的标签可以包括：视频短片内的与外科手术阶段相对应的一个或更多个位置的指示、外科手术阶段类型的指示、外科手术阶段特性的指示等。在一些实施方式中，可以将视频短片位置包括在标签中。例如，标签可以包括：时间戳、时间范围、帧号、或者用于将阶段标签与视频短片位置相关联的其它方式。在其它的实施方式中，可以将标签与数据库中的视频短片位置相关联。例如，数据库可以包括将阶段标签链接至视频短片和特定视频短片位置的信息。数据库可以包括数据结构，如进一步详细描述的。
本公开的实施方式还可以包括：对视频短片进行分析，以识别外科手术阶段内的特定术中外科手术事件的事件位置。术中外科手术事件可以是在外科手术或阶段期间发生的任何事件或动作。在一些实施方式中，术中外科手术事件可以包括作为外科手术的一部分执行的动作，诸如由外科医生、外科技术人员、护士、医生助理，麻醉师、医生或任何其他医护专业人员执行的动作。术中外科手术事件可以是计划的事件，诸如切口、药品的施用、外科手术器械的使用、截除、切除、结扎、移植、缝合、缝补或与外科手术或阶段相关联的任何其它计划的事件。在一些实施方式中，术中外科手术事件可以包括不利的事件或并发症。术中不利事件的一些示例可以包括：出血、肠系膜肺气肿、损伤、转为计划外开放外科手术(例如，腹壁切口)、切口明显大于计划的等。术中并发症的一些示例可以包括：高血压、低血压、心动过缓、血氧不足、粘连、疝气、非典型解剖、硬膜撕裂、periorator损伤、动脉梗塞等。术中事件可以包括其它错误，包括：技术错误、通信错误、管理错误、判断错误、判定错误、与医疗设备利用相关的错误、错误传达等。
事件位置可以是视频短片内的与术中外科手术事件相关联的位置或范围。与上述阶段位置相似，可以根据视频短片的特定帧(例如，帧号或帧号范围)、或者基于时间信息(例如，时间戳、时间范围或者开始和结束时间)、或者用于标识视频短片内的位置的任何其它方式来表达事件位置。在一些实施方式中，分析视频短片以识别事件位置可以包括：使用计算机分析来分析视频短片的帧。计算机分析可以包括上述技术或算法中的任一者。正如阶段识别那样，事件识别可以基于对以独特地识别事件的方式所使用的动作和工具的检测。例如，图像识别可以识别特定器官何时被切开，以使得能够标记该切开事件。在另一示例中，可以将图像识别用于记录血管或神经的切断，以使得能够标记该不利事件。还可以将图像识别用于通过检测出血或其它流体流失来标记事件。在一些实施方式中，分析视频短片以识别事件位置可以包括：使用神经网络模型(诸如深度神经网络、卷积神经网络等)，它们是使用包括先前识别的外科手术事件的示例视频帧训练的，从而识别事件位置。在一个示例中，可以使用训练示例来对机器学习模型进行训练，以识别视频部分中的术中外科手术事件的位置，并且可以将经训练的机器学习模型用于分析视频短片(或者视频短片的对应于外科手术阶段的部分)，并识别特定术中外科手术事件在外科手术阶段内的事件位置。这样的训练示例的示例可以包括视频短片以及指示该视频短片内的特定事件的位置或者没有此类事件的标记。
本公开的一些方面可以涉及将事件标签与特定术中外科手术事件的事件位置相关联。如上面所讨论的，标签可以包括用于将信息与数据或数据的一部分相关联的任何方式。可以将事件标签用于将数据或数据的一部分与诸如术中外科手术事件的事件相关联。与阶段标签类似，将事件标签与事件位置相关联可以包括：将数据写入视频文件，例如，写入视频文件的特性。在其它的实施方式中，将事件标签与事件位置相关联可以包括：将数据写入文件或数据库，该文件或数据库将事件标签与视频短片和/或事件位置相关联。另选地，将事件标签与事件位置相关联可以包括：在数据结构中记录标记，其中，该数据结构使标签与视频短片中的特定位置或位置范围相联系。在一些实施方式中，可以使用相同的文件或数据库来将阶段标签作为事件标签与视频短片相关联。在其它的实施方式中，可以使用单独的文件或数据库。
与本公开一致，所公开的方法可以包括以下步骤：存储与特定术中外科手术事件相关联的事件特征。事件特征可以是事件的任何显著特点或特征。例如，事件特征可以包括患者或外科医生的特性、外科手术事件或外科手术阶段的特性或特征、或者各种其它显著特点。特征的示例可以包括：过多的脂肪组织、扩大的器官、组织腐烂、断骨、椎间盘移位或者事件相关的任何其它物理特征。一些特征可通过计算机视觉辨别，而其它的特征可通过人工输入来辨别。在后一示例中，可以将患者的年龄或年龄范围存储为事件特征。类似地，可以将患者的在先医疗历史的各方面存储为事件特征(例如，患有糖尿病的患者)。在一些实施方式中，可以将所存储的事件特征用于区分术中外科手术事件与其它相似事件。例如，可以允许医生搜索视频短片，以识别对70岁以上患有心律失常的男性执行的一次或更多次冠状动脉搭桥外科手术。下面提供了可以使用的所存储的事件特征的各种其它示例。
可以以各种方式确定所存储的事件特征。所公开的方法的一些方面可以涉及基于用户输入来确定所存储的事件特征。例如，用户可以经由与上面结合阶段或事件的选择所描述的内容相似的用户界面来输入要存储的事件特征。在另一示例中，用户可以经由语音命令输入要存储的事件特征。下面提供了此类用途的各种示例。本公开的方法的其它方面可以涉及基于对描绘特定术中外科手术事件的视频短片的计算机分析，来确定所存储的事件特征。例如，所公开的方法可以包括以下步骤：使用如上所述的各种图像和/或视频分析技术来基于视频短片识别事件特征。作为例示性示例，视频短片可以包括患者的一个或更多个解剖结构的表示，并且识别该解剖结构的事件特征可以基于检测视频短片中的解剖结构或者基于检测医疗器械与解剖结构之间的交互来确定。在另一示例中，可以使用训练示例来对机器学习模型进行训练，以根据视频确定事件特征，并且可以将经训练的机器学习模型用于分析视频短片并确定所存储的事件特征。这种训练示例的示例可以包括描绘术中外科手术事件以及指示该事件的特征的标记的视频短片。
本公开的一些方面可以包括：在包含其它外科手术的附加视频短片的数据结构中，将特定外科手术的视频短片的至少一部分与阶段标签、事件标签以及事件特征相关联，其中，数据结构还包括与其它外科手术中的一个或更多个外科手术相关联的相应的阶段标签、相应的事件标签以及相应的事件特征。与本公开一致的数据结构可以包括数据值的任何集合以及它们之间的关系。可以将数据以以下方式进行存储：线性地、水平地、分层地、有关系地、无关系地、一维地、多维地、可操作地、以有序的方式、以无序的方式、以面向对象的方式、以集中的方式、以去中心化的方式、以分布式方式、以自定义方式、在可搜索储存库中、在分类储存库中、在编索引的储存库中或者以使得能够进行数据访问的任何方式。作为非限制性示例，数据结构可以包括：阵列、关联阵列、链接列表、二叉树、平衡树、堆、堆栈、队列、集合、散列表、记录、标签联合(tagged union)、ER模型以及图。例如，数据结构可以包括：XML数据库、RDBMS数据库、SQL数据库或者用于数据存储/搜索的NoSQL另选方案，举例来说，如MongoDB、Redis、Couchbase、Datastax Enterprise Graph、Elastic Search、Splunk、Solr、Cassandra、Amazon DynamoDB、Scylla、HBase以及Neo4J。数据结构可以是所公开的系统的组件或者远程计算组件(例如，基于云的数据结构)。可以将数据结构中的数据存储在连续或非连续的存储器中。此外，如本文所使用的，数据结构不要求信息位于同一处。例如，可以使数据结构分布在多个服务器上，这些服务器可以由相同或不同的实体拥有或运营。因此，例如，数据结构可以包括可被用于将视频短片与阶段标签、事件标签和/或事件特征相关联的任何数据格式。
图6例示了与所公开的实施方式一致的示例数据结构600。如图6所示，数据结构600可以包括表格，该表格包括关于不同外科手术的视频短片610和视频短片620。例如，视频短片610可以包括腹腔镜胆囊切除术的短片，而视频短片620可以包括白内障外科手术的短片。可以将视频短片620与短片位置621相关联，该短片位置可以对应于白内障外科手术的特定外科手术阶段。阶段标签622可以标识与短片位置621相关联的阶段(在这种情况下是角膜切口)，如上面所讨论的。也可以将视频短片620与事件标签624相关联，该事件标签可以标识发生在事件位置623处的外科手术阶段内的术中外科手术事件(在这种情况下是切口)。还可以将视频短片620与事件特征625相关联，该事件特征可以描述术中外科手术事件的一个或更多个特征(诸如外科医生技能水平)，如上面详细描述的。可以将数据结构中标识的各个视频短片与多于一个的短片位置、阶段标记、事件位置、事件标签和/或事件特征相关联。例如，可以将视频短片610与对应于多于一个的外科手术阶段(例如，“Calot三角解剖”和“胆囊管切割”)的阶段标签相关联。此外，可以将特定视频短片的各个外科手术阶段与多于一个的事件相关联，并因此可以与多于一个的事件地点、事件标签和/或事件特征相关联。然而，应理解，在一些实施方式中，可以将特定视频短片与单个外科手术阶段和/或事件相关联。还应理解，在一些实施方式中，可以将事件与任何数量的事件特征相关联，包括：没有事件特征、单个事件特征、两个事件特征、多于两个的事件特征等。此类事件特征的一些非限制性示例可以包括：与事件相关联的技能水平(诸如所需的最低技能水平、展示的技能水平、事件中涉及的医护提供者的技能水平等)、与事件相关联的时间(诸如开始时间、结束时间等)、事件类型、与事件中涉及的医疗器械相关的信息、与事件中涉及的解剖结构相关的信息、和与事件相关联的医疗结果相关的信息、一个或更多个量(诸如泄漏量、药量、流体量等)、一个或更多个尺寸(诸如解剖结构的尺寸、切口的尺寸等)等。此外，要理解，数据结构600是作为示例来提供的，并且可以使用各种其它数据结构。
本公开的实施方式还可以包括使得用户能够通过选择用于显示的视频短片的选定阶段标签、选定事件标签以及选定事件特征来访问数据结构。用户可以是可以被提供访问存储在数据结构中的数据的任何个人或实体。在一些实施方式中，用户可以是外科医生或其他医护专业人员。例如，外科医生可以访问数据结构和/或与数据结构相关联的视频短片以用于审查或训练目的。在一些实施方式中，用户可以是管理员(如医院管理员)、经理、首席外科医生或者可能需要访问视频短片的其他个人。在一些实施方式中，用户可以是患者，该患者可以访问他或她的外科手术的视频短片。类似地，用户可以是亲属、监护人、主治医生、保险代理人或患者的另一代表。用户可以包括各种其它实体，其可以包括但不限于保险公司、监管机构、警察或调查机关、医疗协会或者可以被提供对视频短片的访问的任何其它实体。用户的选择可以包括用于识别特定阶段标签、事件标签和/或事件特征的任何方式。在一些实施方式中，用户的选择可以通过图形用户界面进行，如在计算装置的显示器上。在另一示例中，用户的选择可以通过触摸屏进行。在附加示例中，用户的选择可以通过语音输入进行，并且可以使用语音识别算法对语音输入进行处理。在又一示例中，用户的选择可以通过姿势(如手势)进行，并且可以使用姿势识别算法对姿势进行分析。在一些实施方式中，用户可以不选择以下三者的全部：选定阶段标签、选定事件标签或者选定事件特征，而是可以选择它们的子集。例如，用户可以只选择事件特征，并且可以允许用户基于所选择的事件特征来访问与数据结构相关联的信息。
图7是与所公开的实施方式一致的选择有索引的视频短片以供显示的示例性用户界面700的例示图。用户界面700可以包括用于选择视频短片的一个或更多个搜索框710、720以及730。搜索框710可以允许用户选择要显示的一个或更多个外科手术阶段。在一些实施方式中，用户界面700可以基于数据结构600中包括的阶段标签来提供所提议的外科手术阶段。例如，随着用户开始在搜索框710键入，用户界面700可以基于用户已经输入的字符来提议要搜索的阶段标签描述。在其它的实施方式中，用户可以使用单选按钮、复选框、下拉列表、触摸界面或者任何其它合适的用户界面功能来选择阶段标签。与阶段标签类似，用户可以分别使用搜索框720和730，基于事件标签和事件特征来选择视频短片。用户界面700还可以包括下拉按钮722和732以访问下拉列表并进一步筛选结果。如图7所示，选择下拉按钮732可以允许用户基于事件特征的子类别来选择事件特征。例如，用户可以在与下拉按钮732相关联的下拉列表中选择“外科医生技能水平”，这可以允许用户在搜索框730中基于外科医生的技能水平进行搜索。虽然“外科医生技能水平”以及各种其它事件特征子类别是作为示例来提供的，但是应理解，用户可以选择外科手术的任何特征或特性。例如，用户可以基于外科医生、资格、经验年限和/或外科手术技能水平的任何指示来精炼外科医生技能水平，如下更详细讨论的。用户可以通过点击、轻敲或者以其它方式选择搜索按钮740来访问数据结构。
视频短片的显示可以包括将视频短片的一个或更多个帧或者视频短片的一部分呈现给用户的任何过程。在一些实施方式中，显示可以包括以电子方式发送视频短片的至少一部分以供用户观看。例如，显示视频短片可以包括通过网络来传输视频短片的至少一部分。在其它的实施方式中，显示视频短片可以包括通过将视频短片存储在用户可访问的位置或者用户正在使用的装置中来使视频短片对用户可用。在一些实施方式中，显示视频短片可以包括：使视频短片在诸如计算机或视频屏幕的视觉显示装置上播放。例如，显示可以包括顺序地呈现与视频短片相关联的帧，并且还可以包括呈现与视频短片相关联的音频。
本公开的一些方面可以包括：在外科手术视频短片的数据结构中执行匹配所述至少一个选定阶段标签、选定事件标签以及选定事件特征的查找，以识别所存储的视频短片的匹配子集。执行查找可以包括用于从数据结构中检索数据的任何过程。例如，基于所述至少一个选定阶段标签、事件标签以及选定事件特征，可以从数据结构中识别对应的视频短片或视频短片的一部分。所存储的视频短片的子集可以包括：与用户的选择相关联的单个识别的视频短片或多个识别的视频短片。例如，所存储的视频短片的子集可以包括具有以下项中的至少一个的外科手术视频短片：与选定阶段标签完全相同的阶段标签、与选定事件标签完全相同的事件标签以及与选定事件特征完全相同的事件特征。在另一示例中，所存储的视频短片的子集可以包括具有以下项中的至少一个的外科手术视频短片：与选定阶段标签相似(例如，根据选定相似性量度)的阶段标签、与选定事件标签相似(例如，根据选定相似性量度)的事件标签和/或与选定事件特征相似(例如，根据选定相似性量度)的事件特征。在一些实施方式中，执行查找可以通过选择搜索按钮740来进行触发，如图7所示。
在一些示例性实施方式中，识别所存储的视频短片的匹配子集包括：使用计算机分析来确定所存储的视频的匹配子集与选定事件特征之间的相似性程度。因此，“匹配”可以是指精确匹配或者可以是指近似或最接近的匹配。在一个示例中，事件特征可以包括数值(诸如量、尺寸、长度、面积、体积等，例如如上所述)，并且相似性程度可以基于被包括在选定事件特征中的数值与所存储的视频的对应数值的比较。在一个示例中，可以将任何相似性函数(包括但不限于，亲和性函数、相关性函数、多项式相似性函数、指数相似性函数、基于距离的相似性函数、线性函数、非线性函数等)用于计算相似性程度。在一个示例中，可以将图匹配算法或超图匹配算法(诸如精确匹配算法、不精确匹配算法)用于确定相似性程度。作为另一例示性示例，还可以检索与“准备”阶段标签相关联的视频短片以获取包括可以是指“准备”阶段标签的术语“预备(prep)”、“作准备(preparing)”、“预备(preparatory)”、“术前(pre-procedure)”或者相似但不完全匹配的其它术语的阶段标签。相似性程度可以是指所存储的视频的子集与选定事件特征的匹配有多紧密的任何量度。可以将相似性程度表达为相似性分级(ranking)(例如，在1至10、1至100等的范围内)、匹配百分比或者通过表达匹配的程度有多紧密的任何其它方式。使用计算机分析可以包括使用计算机算法来确定选定事件特征与被包括在数据结构中的一个或更多个外科手术的事件特征之间的相似性程度。在一个示例中，可以将k最近邻算法用于识别数据结构中的最相似条目。在一个示例中，可以将数据结构的条目以及用户输入的事件特征嵌入在数学空间中(例如，使用任何降维或数据嵌入算法)，可以将嵌入的条目与用户输入的特征之间的距离用于来计算这两者之间的相似性程度。此外，在一些示例中，可以选择嵌入的数学空间中的最接近用户输入的特征的条目作为数据结构中的与用户输入的数据最相似的条目。
本发明的一些方面可以涉及使所存储的视频短片的匹配子集显示给用户，由此使得用户能够观看至少一个术中外科手术事件的共享选定事件特征的外科手术短片，同时略过缺少选定事件特征的视频短片的回放。外科手术短片可以是指拍摄外科手术的任何视频或视频短片，如上面更详细描述的。在一些实施方式中，使所存储的视频短片的匹配子集被显示可以包括执行用于播放视频的指令。例如，执行本文所描述的方法的处理装置可以访问视频短片的匹配子集，并且该处理装置可以被配置成在屏幕或其它显示器上向用户呈现所存储的视频短片。例如，所存储的视频短片可以显示在视频播放器用户界面中，诸如视频回放区域410中，如下面参照图4进一步详细讨论的。在一些实施方式中，使存储的视频短片的匹配子集被显示给用户可以包括发送所存储的视频短片以供显示，如上所述。例如，视频短片的匹配子集可以通过网络传输至与用户相关联的计算装置，诸如台式计算机、膝上型计算机、移动手机、平板电脑、智能眼镜、平视显示器、训练装置或者能够显示视频短片的任何其它装置。
略过回放可以包括导致缺少选定事件特征的视频不被呈现给用户的任何过程。例如，略过回放可以包括将短片指定为不被显示并且不显示该短片。在发送视频短片的匹配子集的实施方式中，略过回放可以包括防止发送缺少选定事件特征的视频短片。这可以通过以下方式来进行：仅选择性地发送与匹配子集相关的那些短片部分来进行；选择性地发送与和匹配子集相关的短片部分相关联的标记；和/或跳过与匹配子集无关的短片部分。在其它的实施方式中，缺少选定事件特征的视频短片可以被发送，但是可以与不呈现缺少该选定事件特征的视频短片的一个或更多个指令相关联。
根据本公开的各种示例性实施方式，使得用户能够观看至少一个术中外科手术事件的具有选定事件特征的外科手术短片，同时略过选定外科手术事件的缺少选定事件特征的部分的回放可以包括：向用户顺序地呈现多个术中外科手术事件的外科手术短片的共享选定事件特征的部分，同时略过选定外科手术事件的缺少选定事件特征的部分的回放。换句话说，可以例如通过数据结构中的查找功能来识别视频短片的一个或更多个部分，如与选定事件特征相关联。使得用户能够观看具有选定事件特征的至少一个术中外科手术事件的外科手术短片可以包括：将所识别的部分中的一个或更多个顺序地呈现给用户。视频短片中的未被识别的任何部分可以不被呈现。在一些实施方式中，可以基于选定事件标签和选定阶段标签来选择视频短片。因此，在与本公开一致的实施方式中，使得用户能够观看至少一个术中外科手术事件的具有选定事件特征的外科手术短片，同时略过选定外科手术事件的缺少选定事件特征的部分的回放可以包括：向用户顺序地呈现多个术中外科手术事件的外科手术短片的共享选定事件特征并且与选定事件标签和选定阶段标签相关联的部分，同时略过回放选定外科手术事件中的缺少选定事件特征的部分或者不与选定事件标签和选定阶段标签中的所述至少一个相关联的部分。
如上提及的，所存储的事件特征可以包括与外科手术相关的各种种类的特征。在一些示例实施方式中，所存储的事件特征可以包括外科手术事件的不利结果。例如，所存储的事件特征可以标识事件是不利事件或者是否与并发症(包括上面更详细描述的示例)相关联。因此，使匹配子集被显示可以包括：使得用户能够观看选定不利结果的外科手术短片，同时略过缺少选定不利结果的外科手术事件的回放。举例来说，响应于用户希望了解外科医生在腹腔镜手术期间如何处理血管损伤，不是向用户显示整个手术，而是用户可以选择血管损伤事件，之后系统可以只显示视频短片的发生该事件的一部分。所存储的事件特征可以类似地标识结果，包括希望和/或预期的结果。此类结果的示例可以包括：患者完全恢复、是否发生泄漏、发生的泄漏量、泄漏量是否在选定范围内、患者出院后是否再次入院、外科手术后的住院时间或者可以与外科手术相关联的任何其它结果。通过这种方式，用户能够在观看时查明特定技术的长期影响。因此，在一些实施方式中，所存储的事件特征可以包括这些或其它结果，并且使匹配子集被显示可以包括：使得用户能够观看选定结果的外科手术短片，同时略过缺少选定结果的外科手术事件的回放。
在一些实施方式中，所存储的事件特征可以包括外科手术技术。因此，所存储的事件特征可以标识是否执行了特定技术。例如，在外科手术的特定阶段可以应用多种技术，并且事件特征可以标识正在应用哪种技术。通过这种方式，对学习特定技术感兴趣的用户能够筛选视频结果，以使仅显示使用指定技术的手术。使匹配子集被显示可以包括：使得用户能够观看选定外科手术技术的外科手术短片，同时略过不与选定外科手术技术相关联的外科手术短片的回放。例如，可以使得用户能够按顺序观看从同一外科手术或不同外科手术中拍摄的视频的非连续部分。在一些实施方式中，所存储的事件特征可以包括具体外科医生的身份。例如，事件特征可以包括执行外科手术的特定外科医生的身份。外科医生可以基于他或她的名字、标识号(例如，员工编号、医疗登记号等)或任何其它形式的身份来进行标识。在一些实施方式中，可以基于识别所拍摄的视频中的外科医生的表示来识别该外科医生。例如，可以使用各种面部和/或语音识别技术，如上面所讨论的。这样，如果用户希望学习特定外科医生的技术，那么可以使该用户这样做。例如，使匹配子集被显示可以包括：使得用户能够观看展示选定外科医生的活动的短片，同时略过缺少该外科医生的活动的短片的回放。因此，例如，如果多个外科医生参与同一外科手术，那么用户可以选择仅观看团队子集的活动。
在一些实施方式中，还可以将事件特征与外科手术中可能涉及的其他医护提供者或医护专业人员相关联。在一些示例中，与医护提供者相关联的特征可以包括在外科手术中涉及的医护提供者的任何特征。此类医护提供者的一些非限制性示例可以包括外科手术团队的任何成员的头衔，诸如外科医生、麻醉师、护士、注册护士麻醉师(CRNA)、外科技术人员、住院医生、医学生、医生助理等。此类特征的另外非限制性示例可以包括：认证、经验水平(诸如经验年限、过去相似外科手术的经验、过去相似外科手术的成功率等)、人口统计特征(诸如年龄)等。
在其它的实施方式中，所存储的事件特征可以包括与特定外科手术、外科手术阶段或其部分相关联的时间。例如，所存储的事件特征可以包括事件的持续时间。使匹配子集被显示可以包括：使得用户能够观看展示选定持续时间的事件的短片，同时略过不同持续时间的事件的短片的回放。通过这种方式，例如，可能希望观看比正常情况更快完成的特定手术的用户可以设定时间阈值以观看在该阈值内完成的指定手术。在另一示例中，可能希望观看更复杂事件的用户可以设定时间阈值以观看包括持续时间长于选定阈值的事件的手术，或者包括选定事件组中的持续时间最长的事件的手术。在其它的实施方式中，所存储的事件特征可以包括事件的开始时间、事件的结束时间或者任何其它时间指示符。使匹配子集被显示可以包括：使得用户能够观看特定外科手术内的、与事件相关联的阶段内的或者特定外科手术的选定部分内的展示根据选定时间的事件的短片。同时略过与不同时间相关联的事件短片的回放。
在另一示例中，所存储的事件特征可以包括患者特征。术语“患者特征”是指患者的任何身体、社会、经济、人口统计或行为特征，以及患者的医疗历史的特征。此类患者特征的一些非限制性示例可以包括：年龄、性别、体重、身高、体重指数(BMI)、更年期状态、典型血压、患者基因组的特征、教育状况、教育程度、社会经济状况、收入水平、职业、保险类型、健康状态、自评健康、功能状况、功能障碍、疾病持续时间、疾病严重程度、疾病数量、疾病特征(诸如疾病类型、肿瘤尺寸、组织学等级、浸润淋巴结的数量等)、医护的利用、就医次数、就医间隔、定期的医护资源、家庭情况、婚姻状况、子女人数、家庭支持、种族、民族、文化、宗教、宗教类型、母语、过去对患者执行的医学检验的特征(诸如测试类型、测试时间、测试结果等)、过去对患者执行的医学治疗的特征(诸如治疗类型、治疗时间、治疗结果等)等。此类医学检验的一些非限制性示例可以包括：血检、尿检、粪检、医学成像(如超声检查、血管造影、磁共振成像(MRI)、计算机断层扫描(CT)、X射线、肌电图、正电子发射断层扫描(PET)等)、体格检查、心电图、羊膜穿刺术、巴氏试验、皮肤过敏测试、内窥镜检查、活组织检查、病理学、血压测量、氧饱和度测试、肺功能测试等。此类医学治疗的一些非限制性示例可以包括：药物治疗、饮食治疗、外科手术、放疗、化疗、物理治疗、心理治疗、输血、输液等。因此，使匹配子集被显示可以包括：使得用户能够观看展示选定患者特征的患者短片，同时略过缺少选定患者特征的患者短片的回放。
在一些实施方式中，选定患者身体特征可以包括解剖结构的类型。如本文所使用的，解剖结构可以是活生物体的任何特定部分。例如，解剖结构可以包括患者的任何特定器官、组织、细胞或其它结构。这样，例如如果用户希望观察与肺胸膜袋外科手术相关的视频，则可以呈现该部分短片，而可以略过其它不相关的部分。所存储的事件特征可以包括各种其它患者特征，诸如患者的人口统计、医疗状况、医疗历史、以前的治疗或者任何其它相关的患者描述信息。这可以使得观看者能够观看与非常特殊的特征匹配的患者(例如，70至75岁的白种人、以前做过搭桥外科手术的冠心病患者)的外科手术。通过这种方式，可以向用户选择性地呈现匹配那些特定标准的一个或更多个患者的视频。
在又一示例中，所存储的事件特征可以包括生理反应。如本文所使用的，术语“生理反应”是指在对外科手术内的事件做出反应时可发生的任何生理变化。此类生理变化的一些非限制性示例可以包括：血压变化、氧饱和度的变化、肺功能的变化、呼吸频率的变化、血液成分的变化(化学计数等)、出血、泄漏、流向组织的血流变化、组织状况的变化(诸如颜色、形状、结构状况、功能状况等的变化)、体温变化、大脑活动的变化、出汗的变化或者响应于外科手术的任何其它身体变化。通过这种方式，用户能够通过选择性地观看那些在外科手术期间可能发生的事件(并略过不匹配的可事件的回放)来为可能发生的事件做准备。
在一些示例中，事件特征可以包括外科医生技能水平。技能水平可以包括外科医生的相对能力的任何指示。在一些实施方式中，技能水平可以包括反映外科医生在执行外科手术或外科手术内的特定技术方面的经验或熟练程度的分数。这样，用户可以通过选择不同的技能水平，来比较不同经验的外科医生如何处理相同的外科手术。在一些实施方式中，可以基于外科医生的身份(经由数据输入(手动输入外科医生的ID)或者通过机器视觉确定的)来确定技能水平。例如，所公开的方法可以包括以下步骤：分析视频短片以通过生物特征分析(例如，面部、语音等)来确定外科医生的身份并且识别与该外科医生相关联的预定技能水平。可以通过访问存储与特定外科医生相关联的技能水平的数据库来获得预定技能水平。技能水平可以基于外科医生的过去表现、外科医生的训练或教育的类型和/或水平、外科医生已经执行过的外科手术次数、外科医生已经执行过的外科手术的类型、外科医生的资格、外科医生的经验水平、患者或其他医护专业人员对外科医生的评价、过去的外科手术结果、过去的外科手术结果和并发症或者与评估医护专业人员的技能水平相关的任何其它信息。在一些实施方式中，可以基于对视频短片的计算机分析来自动确定技能水平。例如，所公开的实施方式可以包括：对捕捉了手术的执行、特定技术的执行、外科医生做出的决策或者相似事件的视频短片进行分析。然后，可以基于外科医生在事件期间执行的有多好来确定外科医生的技能水平，这可以基于及时性、有效性、对优选技术的坚持、没有损伤或不利影响或者可从分析短片中收集到的任何其它技能指标。
在一些实施方式中，技能水平可以是被指派给各个外科医生的全局技能水平或者可以参考特定事件。例如，外科医生可以具有关于第一技术或手术的第一技能水平并且可以具有关于不同技术或手术的第二技能水平。外科医生的技能水平也可以在整个事件、技术和/或手术中有所不同。例如，外科医生可以在短片的第一部分内以第一技能水平行动，但可以在短片的第二部分以第二技能水平行动。因此，技能水平可以是与短片的特定位置相关联的技能水平。技能水平也可以是事件期间的多个技能水平或者可以是事件期间的多个技能水平的汇总，诸如平均值、滚动平均值或其它形式的汇总。在一些实施方式中，技能水平可以是执行外科手术、外科手术阶段和/或术中外科手术事件所需的一般技能水平，并且可以不依靠特定外科医生或其他医护专业人员。技能水平可以用不同方式表达，包括作为数字标度(例如，1至10、1至100等)、作为百分比、作为基于文本的指示符(例如，“高技能”“中等技能”、“不熟练”等)的标度或表达外科医生的技能的任何其它合适的格式。虽然技能水平在本文中被描述为外科医生的技能水平，但是在一些实施方式中，技能水平可以与另一医护专业人员(诸如外科技术人员、护士、医生助理、麻醉师、医生或任何其他医护专业人员)相关联。
本公开的实施方式还可以包括访问和与特定外科手术相似的多个外科手术相关的汇总数据。汇总数据可以是指从多个来源收集和/或组合的数据。汇总数据可以从与特定外科手术具有某一关系的多个外科手术汇编而来。例如，如果外科手术包括相同或相似的外科手术阶段、包括相同或相似的术中事件、或者与相同或相似的标签或特性(例如，事件标签、阶段标签、事件特征或者其它标签)相关联，则可以认为该外科手术与特定外科手术相似。
本公开还可以包括向用户呈现与选定事件特征相关联的统计信息。统计信息可以是指对于一起分析多个外科手术的任何信息可能有用。统计信息可以包括但不限于平均值、数据趋势、标准偏差、方差、相关性、因果关系、测试统计量(包括t统计、卡方统计、f统计或者其它形式的测试统计)、次序统计(包括样本最大值和最小值)、图形表示(例如，图表、图、标绘图或其它视觉或图形表示)或者类似数据。作为例示性示例，在用户选择包括特定外科医生身份的事件特征的实施方式中，统计信息可以包括：外科医生执行外科手术(或外科手术的阶段或事件)的平均持续时间、外科医生的不利或其它结果的比率、外科医生执行术中事件的平均技能水平或者相似的统计信息。本领域普通技术人员应意识到，可以根据所公开的实施方式呈现的其它形式的统计信息。
图8A和图8B是例示与所公开的实施方式一致的进行视频编索引的示例过程800的流程图。可以由处理装置(诸如至少一个处理器)来执行过程800。例如，所述至少一个处理器可以包括一个或更多个集成电路(IC)，包括：专用集成电路(ASIC)、微芯片、微控制器、微处理器、中央处理单元(CPU)的全部或部分、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、服务器、虚拟服务器或者适于执行指令或执行逻辑运算的其它电路。由至少一个处理器执行的指令例如可以被预加载到与控制器集成或嵌入到控制器中的存储器中，或者可以被存储在单独的存储器中。存储器可以包括：随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘、磁介质、闪速存储器、其它永久、固定或易失性存储器或者能够存储指令的任何其它机构。在一些实施方式中，所述至少一个处理器可以包括多于一个的处理器。各个处理器皆可以具有相似的构造，或者处理器可以具有彼此电连接或断开连接的不同构造。例如，处理器可以是分开的电路或者被集成在单个电路中。当使用多于一个的处理器时，可以将该处理器配置成独立或协同操作。处理器可以被电联接、磁联接、光学联接、声学联接、机械联接或者通过允许它们交互的其它方式联接。
在一些实施方式中，一种非暂时性计算机可读介质可以包含指令，所述指令在由处理器执行时，使该处理器执行过程800。在步骤802，过程800可以包括访问要编索引的视频短片，所述要编索引的视频短片包括特定外科手术的短片。可以从本地存储器(诸如本地硬盘驱动器)访问视频短片，或者可以从远程源(例如，通过网络连接)访问视频短片。在另一示例中，视频短片可以使用一个或更多个图像传感器进行拍摄或者由另一过程来生成。在步骤804，过程800可以包括对视频短片进行分析，以识别与特定外科手术的外科手术阶段相关联的视频短片位置。如上面所讨论的，该位置可以与特定帧、帧范围、时间索引、时间范围或任何其它位置标识符相关联。
过程800可以包括生成与外科手术阶段相关联的阶段标签，如步骤806所示。这例如可以使用诸如以下项中的一个或更多个的技术，通过视频内容分析(VCA)来进行：视频运动检测、视频跟踪、形状识别、对象检测、流体流量检测、设备标识、行为分析或其它形式的计算机辅助态势感知。当在视频中识别出与阶段相关联的习得特征时，可以生成划分该阶段的标签。例如，标签可以包括阶段的预定名称。在步骤808，过程800可以包括将阶段标签与视频短片位置相关联。例如，阶段标签可以指示所识别的视频短片位置与特定外科手术过程的外科手术阶段相关联。在步骤810，过程800可以包括使用上述VCA技术中的一种或更多种来分析视频短片，以识别外科手术阶段内的特定术中外科手术事件的事件位置。过程可以包括将事件标签与该特定术中外科手术事件的事件位置相关联，如在步骤812所示。例如，事件标签可以指示视频短片与事件位置处的外科手术事件相关联。正如阶段标签那样，事件标签可以包括事件的预定名称。在步骤814，在图8B中，过程800可以包括存储与特定术中外科手术事件相关联的事件特征。如下面更详细讨论的，事件特征可以包括:外科手术事件的不利结果/外科手术技术、外科医生技能水平、患者特征、特定外科医生的身份、生理反应、事件的持续时间或者与事件相关的任何其它特征或特性。事件特征可以手动确定(例如，由观看者输入)，或者可以通过被应用于机器视觉的人工智能来自动确定，例如如上所述。在一个示例中，事件特征可以包括技能水平(正如所需的最低技能水平、事件期间展示的技能水平等)，可以使用训练示例对机器学习模型进行训练，以从视频确定此类技能水平，并且可以将经训练的机器学习模型用于对视频短片进行分析以确定技能水平。这种训练示例的示例可以包括描绘事件的视频短片以及指示对应技能水平的标记。在另一示例中，事件特征可以包括事件的时间相关特征(诸如开始时间、结束时间、持续时间等)，并且可以通过分析视频短片中的与事件相对应的间隔来计算这样的时间相关特征。在又一示例中，事件特征可以包括事件类型，可以使用训练示例来对机器学习模型进行训练，以从视频确定事件类型，并且可以将经训练的机器学习模型用于分析视频短片并确定事件类型。这种训练示例的示例可以包括描绘事件的视频短片以及指示事件类型的标记。在附加示例中，事件特征可以包括：与事件中涉及的医疗器械相关的信息(诸如医疗器械的类型、医疗器械的使用等)，可以使用训练示例对机器学习模型进行训练，以从视频识别与医疗器械相关的此类信息，并且可以将经训练的机器学习模型用于对视频短片进行分析并确定与事件中涉及的医疗器械相关的信息。这种训练示例的示例可以包括：描绘包括医疗器械的使用的事件的视频短片，以及指示与医疗器械相关的信息的标记。在又一示例中，事件特征可以包括与事件中涉及的解剖结构相关的信息(诸如解剖结构的类型、解剖结构的状况、与事件相关的解剖结构发生的变化等)，可以使用训练示例对机器学习模型进行训练，以从视频识别与解剖结构相关的此类信息，并且可以将经训练的机器学习模型用于对视频短片进行分析并确定与事件中涉及的解剖结构相关的信息。这种训练示例的示例可以包括描绘涉及解剖结构的事件的视频短片，以及指示与解剖结构相关的信息的标记。在附加示例中，事件特征可以包括和与事件相关联的医疗结果相关的信息，可以使用训练示例对机器学习模型进行训练，以从视频识别与医疗结果相关的此类信息，并且可以将经训练的机器学习模型用于对视频短片进行分析并确定和与事件相关联的医疗结果相关的信息。这种训练示例的示例可以包括描绘医疗结果的视频短片，以及指示医疗结果的标记。
在步骤816，过程800可以包括：将特定外科手术的视频短片的至少一部分与数据结构中的阶段标签、事件标签以及事件特征中的至少一个相关联。在这个步骤中，将各种标签与视频短片相关联，以允许使用标签来访问短片。如前所述，可以将各种数据结构用于以相关联的方式存储相关数据。
在步骤818，过程800可以包括：使得用户能够通过选择用于显示的视频短片的选定阶段标签、选定事件标签以及选定事件特征中的至少一个来访问数据结构。在一些实施方式中，用户可以通过计算装置的用户界面(诸如图7所示的用户界面700)来选择选定阶段标签、选定事件标签以及选定事件特征。例如，可以提供数据输入字段、下拉菜单、图标或其它可选项目，以使得用户能够选择外科手术、手术的阶段、手术内的事件以及手术和患者的特征。在步骤820，过程800可以包括：在外科手术视频短片的数据结构中执行匹配所述至少一个选定阶段标签、选定事件标签以及选定事件特征的查找，以识别所存储的视频短片的匹配子集。在步骤822，过程800可以包括：使所存储的视频短片的匹配子集显示给用户，由此使得用户能够观看至少一个术中外科手术事件的共享选定事件特征的外科手术短片，同时略过缺少选定事件特征的视频短片的回放。通过这种筛选，用户能够快速地仅观看与用户的关注相对应的那些视频段，同时略过与用户的关注不相关的大量视频数据的回放。
在准备外科手术时，外科医生审查具有相似外科手术事件的外科手术的视频短片可能是有益的。然而，对于外科医生来说，观看整个视频或者来回跳着寻找外科手术短片的相关部分可能太费时了。因此，需要非常规的方法，其高效且有效地使得外科医生能够观看外科手术视频摘要，该外科手术视频摘要汇总了相关外科手术事件的短片，同时略过其它不相关的短片。
本公开的各方面可以涉及生成外科手术摘要短片，包括方法、系统、装置以及计算机可读介质。例如，可以将一种外科手术的短片与先前分析的手术的短片进行比较，以识别相关的术中外科手术事件，并且对相关的术中外科手术事件加标签。可以使外科医生能够注视手术的汇总了术中外科手术事件的概要，同时略过大部分其它无关的短片。为了便于讨论，下面描述了一种方法，并且对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。例如，这种方法的一些方面可以通过有线、无线或两者的网络以电子方式发生。这种方法的其它方面可以使用非电子手段发生。在最广泛的意义上，该方法不限于特定的物理和/或电子工具，而是可以使用许多不同的工具来完成。
与所公开的实施方式一致，一种方法可以涉及访问特定外科手术短片，该特定外科手术短片包含与至少一个术中外科手术事件相关联的第一组帧。外科手术短片可以是指包括外科手术的表示的任何视频、视频帧组或视频短片。例如，外科手术短片可以包括在外科手术期间拍摄的一个或更多个视频帧。访问外科手术短片可以包括从诸如存储装置的存储位置取回视频。可以从本地存储器(诸如本地硬盘驱动器)访问外科手术短片，或者可以从远程源(例如，通过网络连接)访问外科手术短片。如上面更详细地描述的，视频可以包括任何形式的记录的视觉媒体，包括记录的图像和/或声音。可以将视频存储为视频文件，例如Audio Video Interleave(AVI)文件、Flash视频格式(FLV)文件、QuickTime文件格式(MOV)、MPEG(MPG、MP4、M4P等)、Windows Media Video(WMV)文件、Material ExchangeFormat(MXF)文件、或者任何其它合适的视频文件格式。另外或者另选地，在一些示例中，访问特定外科手术短片可以包括：使用一个或更多个图像传感器来拍摄特定外科手术短片。
如上所述，术中外科手术事件可以是与外科手术或阶段相关联的任何事件或动作。帧可以是指组成视频的多个静止图像中的一个。第一组帧可以包括在术中外科手术事件期间拍摄的帧。例如，特定外科手术短片可以描绘对患者执行的并且通过手术室中的至少一个图像传感器拍摄的外科手术。图像传感器例如可以包括位于手术室101中的摄像机115、121和123和/或125。在一些实施方式中，至少一个图像传感器可以是手术室中的手术台上方或者患者体内中的至少一个。例如，图像传感器可以位于患者上方，或者可以位于患者的手术腔、器官或血管内，如上所述。第一组帧可以包括术中外科手术事件的表示，包括：解剖结构、外科手术工具、执行术中外科手术事件的医护专业人员或者术中外科手术事件的其它视觉表示。然而，在一些实施方式中，所述帧中的一些或全部可以不包含术中外科手术事件的表示，而是可以以其它方式与事件(例如，在执行事件时拍摄的帧等)相关联。
与本公开一致，特定外科手术短片可以包含未与外科手术活动相关联的第二组帧。例如，外科手术可以涉及大量停机时段，在停机时段中，不进行显著的外科手术活动并且没有实质性的理由来审查短片。外科手术活动可以是指与外科手术相关地执行的任何活动。在一些实施方式中，手术活动在广义上可以指与外科手术相关联的任何活动，包括：术前活动、围术期活动、术中活动和/或术后活动。因此，第二组帧可以包括不与任何此类活动相关联的帧。在其它的实施方式中，外科手术活动在狭义上可以是指诸如由外科医生执行的患者的器官或组织的物理操纵的活动集。因此，第二组帧可以包括与准备相关联的各种活动、提供麻醉、监测生命体征、收集或准备外科手术工具、医护专业人员之间的讨论或者可能不被视为外科手术活动的其它活动。
根据本公开，所述方法可以包括以下步骤：基于在先外科手术的历史外科手术短片来访问历史数据。历史数据可以是指先前记录和/或存储的任何格式的数据。在一些实施方式中，历史数据可以是包括历史外科手术短片的一个或更多个视频文件。例如，历史数据可以包括在先前外科手术期间拍摄的一系列帧。然而，该历史数据不限于视频文件。例如，历史数据可以包括被存储为表示历史外科手术短片的至少一个方面的文本的信息。例如，历史数据可以包括总结或以其它方式引用历史外科手术短片的信息数据库。在另一示例中，例如，历史数据可以包括被存储为表示历史外科手术短片的至少一个方面的数值的信息。在附加示例中，历史数据可以包括基于历史外科手术短片的分析的统计信息和/或统计模型。在又一示例中，历史数据可以包括使用训练示例进行训练的机器学习模型，并且训练示例可以是基于历史外科手术短片的。访问历史数据可以包括：通过电子传输接收历史数据、从存储部(例如，存储器装置)取回历史数据、或者用于访问数据的任何其它过程。在一些实施方式中，可以从与上面讨论的特定外科手术短片相同的源访问历史数据。在其它的实施方式中，可以从单独的源访问历史数据。另外或者另选地，访问历史数据可以包括生成历史数据，例如通过分析在先外科手术的历史外科手术短片或者通过分析基于在先外科手术的历史外科手术短片的数据。
根据本公开的实施方式，历史数据可以包括以下信息：该信息将外科手术短片的各部分区分成与术中外科手术事件相关联的帧以及不与外科手术活动相关联的帧。该信息可以以各种方式来区分外科手术短片的各部分。例如，结合历史外科手术短片，可能已经区分出与外科手术活动和非外科手术活动相关联的帧。这可能在以前已经进行了，例如，通过对外科手术活动进行收到手动做记号或者通过训练人工智能引擎来区分外科手术活动和非外科手术活动。历史信息例如可以标识外科手术短片的帧集合(例如，使用开始帧号、帧数、结束帧号等)。该信息还可以包括时间信息，诸如与外科手术短片的定时相关的开始时间戳、结束时间戳、持续时间、时间戳范围或者其它信息。在一个示例中，历史数据可以包括区分外科手术活动与非外科手术活动的各种指示符和/或规则。下面讨论此类指示符和/或规则的一些非限制性示例。在另一示例中，历史数据可以包括机器学习模型，该机器学习模型被训练以例如基于历史外科手术短片来识别视频的对应于外科手术活动的部分和/或视频的对应于非外科手术活动的部分。
可以使用各种指示符来区分外科手术活动和非外科手术活动(手动地、半手动地或自动地(例如，经由机器学习))。例如，在一些实施方式中，将历史外科手术短片的各部分区分成与术中外科手术事件相关联的帧的信息可以包括外科手术工具的存在或者移动中的至少一者的指示符。外科手术工具可以是可在外科手术期间使用的任何器械或装置，其可以包括但不限于切割器械(诸如手术刀、剪刀、锯等)、抓握和/或夹持器械(诸如Billroth夹、“蚊式”止血钳、无创止血钳、Deschamp针、Hopfner止血钳等)、牵开器(诸如Farabef C形层流钩、钝齿钩、尖齿钩、带槽探头、压实钳等)、组织统一器械和/或材料(诸如持针器、外科手术针、吻合器、夹子、胶带、网等)、防护设备(诸如面部和/或呼吸防护设备、头套、鞋套、手套等)、腹腔镜、内窥镜、患者监测装置等。可以将视频或图像分析算法(诸如上面参照视频编索引描述的那些算法)用于检测短片内外科手术工具的存在和/或运动。在一些示例中，可以计算外科手术工具的运动量度，并且可以将计算出的运动量度与选定阈值进行比较，以区分外科手术活动与非外科手术活动。例如，该阈值可以基于外科手术的类型、基于外科手术的时间或者在外科手术内、基于外科手术的阶段、基于通过分析外科手术的视频短片确定的参数、基于通过分析历史数据确定的参数等来进行选择。在一些示例中，可以将信号处理算法用于对外科手术的视频短片内不同时间的所计算出的运动量度进行分析，以区分外科手术活动与非外科手术活动。这种信号处理算法的一些非限制性示例可以包括：使用训练示例进行训练以区分外科手术活动与非外科手术活动的基于机器学习的信号处理算法、被配置成区分外科手术活动与非外科手术活动的人工神经网络(诸如递归神经网络、长短期记忆神经网络、深度神经网络等)、Markov模型、Viterbi模型等。
在一些示例性实施方式中，将历史外科手术短片的部分区分成与术中外科手术事件相关联的帧的信息可以包括在关联帧中检测到的工具和解剖特征。例如，所公开的方法可以包括以下步骤：使用图像和/或视频分析算法来检测工具和解剖特征。所述工具可以包括外科手术工具(如上所述)或者其它非外科手术工具。解剖特征可以包括解剖结构(如上面更详细地定义的)或者活生物体的其它部分。在一个或更多个关联帧中检测到外科手术工具和解剖结构两者的存在可以充当外科手术活动的指示符，这是因为外科手术活动通常涉及与解剖结构交互的外科手术工具。例如，响应于在一组帧中检测到第一工具，可以确定该组帧与术中外科手术事件相关联，而响应于在该组帧中未检测到第一工具，可以将该组帧识别为不与术中外科手术事件相关联。在另一示例中，响应于在一组帧中检测到第一解剖特征，可以确定该组帧与术中外科手术事件相关联，而响应于在该组帧中未检测到第一解剖特征，可以将该组帧识别为不与术中外科手术事件相关联。在一些示例中，可以进一步分析视频短片以检测所检测到的工具与解剖特征之间的交互，并且区分外科手术活动与非外科手术活动可以基于检测到的交互。例如，响应于在一组帧中检测到第一交互，可以确定该组帧与术中外科手术事件相关联，而响应于在该组帧中未检测到第一交互，可以将该组帧识别为不与术中外科手术事件相关联。在一些示例中，可以进一步分析视频短片以检测由所检测到的工具执行的动作，并且区分外科手术活动与非外科手术活动可以基于检测到的动作。例如，响应于在一组帧中检测到第一动作，可以确定该组帧与术中外科手术事件相关联，而响应于在该组帧中未检测到第一动作，可以将该组帧识别为不与术中外科手术事件相关联。在一些示例中，可以进一步分析视频短片以检测解剖特征的状况的变化，并且区分外科手术活动与非外科手术活动可以基于检测到的变化。例如，响应于在一组帧中检测到第一变化，可以确定该组帧与术中外科手术事件相关联，而响应于在该组帧中未检测到第一变化，可以将该组帧识别为不与术中外科手术事件相关联。
本发明的一些方面可以涉及基于历史数据的信息，在特定外科手术短片中区分第一组帧与第二组帧。例如，该信息可以提供在确定特定外科手术短片的哪些帧与术中事件和/或外科手术活动相关联方面有用的上下文。在一些实施方式中，在特定外科手术短片中区分第一组帧与第二组帧可以涉及机器学习算法的使用。例如，可以使用基于历史数据的信息的训练示例对机器学习模型进行训练，以识别术中事件和/或外科手术活动。
根据本公开，可以通过分析外科手术短片来对第一组帧和第二组帧进行区分，以识别与历史数据的信息相似的信息。图9是例示区分第一组帧与第二组帧的示例过程900的流程图。要理解，过程900是作为示例来提供的。普通技术人员应意识到，用于区分第一组帧与第二组帧的各种其它过程是与本公开一致的。在步骤910，过程900可以包括对特定外科手术短片进行分析，以检测医疗器械。医疗器械可以是指被用于治疗患者的任何工具或装置，包括如上所述的外科手术工具。除了上面列出的外科手术工具以外，医疗器械可以包括但不限于听诊器、纱布海绵、导管、插管、除颤器、针、托盘、灯、温度计、移液器或滴注器、氧气面罩和管或者任何其它医疗用具。例如，可以使用训练示例来对机器学习模型进行训练，以检测图像和/或视频中的医疗器械，并且可以将经训练的机器学习模型用于分析特定外科手术短片并检测医疗器械。这种训练示例的示例可以包括外科手术的视频和/图像，以及指示视频和/或图像中的一个或更多个特定医疗器械的存在的标记，或者连同指示视频和/或图像中没有特定医疗器械的标记。
在步骤920，过程900可以包括对特定外科手术短片进行分析，以检测解剖结构。解剖结构可以是任何器官、器官的部分或者活生物体的其它部分，如上面所讨论的。可以将如上所述的一种或更多种视频和/或图像识别算法用于检测医疗器械和/或解剖结构。例如，可以使用训练示例来对机器学习模型进行训练，以检测图像和/或视频中的解剖结构，并且可以将经训练的机器学习模型用于分析特定外科手术短片并检测解剖结构。这种训练示例的示例可以包括外科手术的视频和/图像，以及指示视频和/或图像中的一个或更多个特定解剖结构的存储的标记，或者连同指示视频和/或图像没有特定解剖结构的标记。
在步骤930，过程900可以包括对视频进行分析，以检测所检测到的医疗器械与所检测到的解剖结构之间的相对移动。相对移动可使用运动检测算法，例如基于帧之间的像素变化、光学流或者运动检测算法的其它形式来进行检测。例如，可以将运动检测算法用于估计视频中的医疗器械的运动，以及估计视频中的解剖结构的运动，并且可以将医疗器械的所估计的运动与解剖结构的所估计的运动进行比较，以确定相对移动。在步骤940，过程900可以包括基于相对移动来区分第一组帧与第二组帧，其中，第一组帧包括外科手术活动帧，第二组帧包括非外科手术活动帧。例如，响应于一组帧中的第一相对移动模式，可以确定该组帧包括外科手术活动，而响应于在该组帧中检测到第二相对移动模式，可以将该组帧识别为不包括非外科手术活动帧。因此，呈现第一组帧的汇总可以使得正在准备外科手术的外科医生能够在节略的呈现的视频审查期间略过非外科手术活动帧。在一些实施方式中，略过非外科手术活动帧可以包括略过捕获非外科手术活动的大多数帧。例如，不是捕获非外科手术活动的所有帧都可以被略过，诸如恰好在术中外科手术事件之前或之后的帧、捕获向术中外科手术事件提供上下文的非外科手术活动的帧、或者可以与用户相关的任何其它帧。
在本公开的一些示例性实施方式中，区分第一组帧与第二组帧还可以基于医疗器械与解剖结构之间的检测到的相对位置。相对位置可以是指医疗器械与解剖结构之间的距离、医疗器械相对于解剖结构的取向、或者医疗器械相对于解剖结构的定位。例如，相对位置可以基于外科手术短片的一个或更多个帧内的检测到的医疗器械与解剖结构之间的相对位置来加以估计。例如，相对位置可以包括：距离(例如，以像素为单位、现实世界测量结果等)、方向、向量等。在一个示例中，可以将对象检测算法用于确定医疗器械的位置，并且确定解剖结构的位置，并且可以将所确定的这两个位置进行比较以确定相对位置。在一个示例中，响应于一组帧中的第一相对位置，可以确定该组帧包括外科手术活动，而响应于在该组帧中检测到第二相对位置，可以将该组帧识别为非外科手术活动帧。在另一示例中，可以将医疗器械与解剖结构之间的距离与选定阈值进行比较，并且区分第一组帧与第二组帧还可以基于比较的结果。例如，该阈值可以基于医疗器械的类型、解剖结构的类型、外科手术的类型等来进行选择。在其它的实施方式中，区分第一组帧与第二组帧还可以基于医疗器械与解剖结构之间的检测到的交互。交互可以包括医疗器械的可以影响解剖结构的任何动作，反之亦然。例如，交互可以包括医疗器械与解剖结构之间的接触、医疗器械在解剖结构上的动作(诸如切割、夹紧、施加压力、刮削等)、解剖结构的反作用(诸如反射动作)或者任何其它交互形式。例如，可以使用训练示例来对机器学习模型进行训练，以从视频检测医疗器械与解剖结构的交互，并且可以将经训练的机器学习模型用于对视频短片进行分析并检测医疗器械与解剖结构之间的交互。这种训练示例的示例可以包括外科手术的视频短片，以及指示视频短片中医疗器械与解剖结构之间的特定交互的存在的标记，或者连同指示视频短片中没有医疗器械与解剖结构的特定交互的标记。
本公开的一些方面可以涉及在用户请求时，向用户呈现特定外科手术短片的第一组帧的汇总，同时略过向用户呈现第二组帧。第一组帧的汇总可以以各种形式进行呈现。在一些实施方式中，第一组帧的汇总可以包括视频文件。该视频文件可以是包括第一组帧的视频短片的汇编。在一些实施方式中，可以向用户单独呈现视频短片中的各个视频短片，或者可以呈现单个汇编的视频。在一些实施方式中，可以为第一组帧的汇总生成单独的视频文件。在其它的实施方式中，第一组帧的汇总可以包括用于标识要被包括以供呈现的帧的指令以及标识要被略过的帧的指令。对于用户而言，指令的执行可以看起来就好像已经生成了连续视频一样。也可以使用各种其它的形式，包括将第一组帧呈现为静止图像。
呈现可以包括用于向用户递送汇总的任何过程。在一些实施方式中，这可以包括使汇总被显示在在显示器上，诸如计算机屏幕或监视器、投影仪、移动手机显示器、平板电脑、智能装置或者能够显示图像和/或音频的任何装置。呈现还可以包括将第一组帧的汇总发送给用户或者以其它方式使得用户可访问。例如，可以将第一组帧的汇总通过网络发送给用户的计算装置。作为另一示例，可以将第一组帧的汇总的位置与用户共享。通过在汇总中不包括第二组帧来略过第二组帧。例如，如果将汇总呈现为视频，则可以在视频文件中不包括包含第二组帧的视频短片。第一组帧可以按照任何顺序(包括时间顺序)进行呈现。在一些情况下，可以按照非时间顺序在逻辑上呈现第一组帧中的至少一些帧。在一些实施方式中，可以将第一组帧的汇总与多于一个的术中外科手术事件相关联。例如，用户可以请求观看特定外科手术短片中的多个术中外科手术事件。向用户呈现第一组帧的汇总可以包括：按时间顺序显示第一组帧，并且略过第二组的时间顺序帧。
用户可以是可能需要访问外科手术摘要短片的任何个人或实体。在一些实施方式中，用户可以是外科医生或其他医护专业人员。例如，外科医生可以请求外科手术摘要短片用于审查或训练目的。在一些实施方式中，用户可以是管理者、经理、首席外科医生、保险公司人员、监管机构、警察或调查机关、或者可能需要访问外科手术短片的任何其它实体。上面参照视频编索引技术提供了用户的各种其它示例。用户可以通过计算机装置(诸如膝上型电脑、台式计算机、移动手机、平板电脑、智能眼镜或者能够提交请求的任何其它形式的计算装置)来提交请求。在一些实施方式中，该请求可以通过网络以电子方式进行接收并且可以基于收到的请求呈现汇总。
在一些示例性实施方式中，用户的请求可以包括至少一个类型的受关注的术中外科手术事件的指示，并且第一组帧可以描绘所述至少一个类型的受关注的术中外科手术事件的至少一个术中外科手术事件。术中外科手术事件的类型可以是可对术中外科手术事件进行分类的任何类别。例如，该类型可以包括正在执行的手术的类型、手术的阶段、术中外科手术事件是否不利、术中外科手术事件是否是计划的手术的部分、执行术中外科手术事件的外科医生的身份、术中外科手术事件的目的、与术中外科手术事件相关联的医疗状况或者任何其它类别或分类。
本公开的实施方式还可以包括导出第一组帧以存储在患者的医疗记录中。如上所述，特定外科手术短片可以描绘对患者执行的外科手术。使用所公开的方法，可以将与至少一个术中外科手术事件相关联的第一组帧与患者的医疗记录相关联。如本文所使用的，医疗记录可以包括与患者的健康相关的信息(包括诊断、治疗和/或护理)的任何形式的文档编制。可以将医疗记录以数字格式(诸如电子医疗记录(EMR))进行存储。导出第一组帧可以包括发送第一组帧或者以其它方式使第一组帧能够存储在医疗记录中，或者采用以其它方式将第一组帧与医疗记录相关联的方式。这例如可以包括将第一组帧(或者第一组帧的副本)发送给外部装置(诸如数据库)。在一些实施方式中，所公开的方法可以包括以下步骤：将第一组帧与唯一患者标识符相关联，并且更新包括唯一患者标识符的医疗记录。该唯一患者标识符可以是唯一地标识患者的任何指示符，诸如字母数字串。字母数字串可以使患者匿名，这可能是出于隐私目的的需要。在隐私可能不是问题的情况下，该唯一的患者标识符可以包括患者的名字和/或社会安全号码。
在一些示例性实施方式中，所公开的方法还可以包括以下步骤：生成至少一个术中外科手术事件的索引。如上所述，索引可以是指使得能够取回关联的视频帧的数据存储形式。与未编索引相比，编有索引可以以更高效和/或有效的方式加速取回。索引可以包括在第一组帧中描绘的或者以其它方式与第一组帧相关联的术中外科手术事件的列表或其它详列。导出第一组帧可以包括生成第一组帧的汇编，该汇编包括索引，并且该汇编被配置成使能够基于一个或更多个索引项的选择来观看至少一个术中外科手术事件。例如，通过索引选择“切口”，可以向用户呈现描绘切口的外科手术短片的汇编。可以在索引上包括各种其它术中外科手术事件。在一些实施方式中，汇编可以包含被存储为连续视频的不同的术中事件的一系列帧。例如，用户可以通过索引来选择多个术中事件，并且可以将与所选择的术中事件相关联的帧汇编成单个视频。
本公开的实施方式还可以包括生成因果摘要。该因果摘要可以允许用户观看与外科手术的原因阶段相关联的短片或图像以及与结果阶段相关联的短片或图像，而不必观看中间短片或图像。如本文所使用的，“原因”是指引起特定结果、现象或状况的触发或动作。“结果”是指可以归因于原因的现象或状况。在一些实施方式中，结果是不利结果。例如，结果可以包括：出血、肠系膜肺气肿、损伤、转为计划外开放外科手术(例如，腹壁切口)、明显比计划切口大的切口等。原因可以是导致或者可以造成不利结果的动作，诸如外科医生的错误。例如，错误可以包括：技术错误、通信错误、管理错误、判断错误、判定错误、与医疗设备利用相关的错误或者可能发生的其它形式的错误。结果还可以包括肯定的或预期的结果，诸如成功的操作、手术或阶段。
在生成因果摘要的实施方式中，历史数据还可以包括历史外科手术结果数据以及相应的历史原因数据。历史外科手术结果数据可以指示历史外科手术短片的与结果相关联的部分，并且历史原因数据可以指示历史外科手术短片的与结果的相应原因相关联的部分。在这样的实施方式中，第一组帧可以包括原因帧集合和结果帧集合，而第二组帧可以包括中间帧集合。
图10是例示与所公开的实施方式一致的生成因果摘要的示例性过程1000的流程图。过程1000是作为示例来提供的，并且普通技术人员应意识到，用于生成因果摘要的各种其它过程是与本公开一致的。在步骤1010，过程1000可以包括：对特定外科手术短片进行分析，以识别外科手术结果以及外科手术结果的相应原因，该识别是基于历史结果数据以及相应的历史原因数据的。可以使用图像和/或视频处理算法来执行分析，如上面所讨论的。在一些实施方式中，步骤1010可以包括使用机器学习模型，该机器学习模型被训练成使用历史数据来识别外科手术结果以及外科手术结果的相应原因，以对特定外科手术短片进行分析。例如，可以基于具有已知或预定外科手术结果和相应原因的历史数据来对机器学习模型进行训练。然后，可以将经训练的模型用于识别其它短片(诸如特定外科手术短片)中的外科手术结果和相应原因。被用于对此类机器学习模型进行训练的训练示例的示例可以包括外科手术的视频短片，以及指示与该视频短片相对应的外科手术结果的标记，并且可能还有外科手术结果的相应原因。此类训练示例可以基于历史数据，例如包括来自历史数据的视频短片、包括基于历史数据确定的结果等。
在步骤1020，过程1000可以包括：基于分析来检测特定外科手术短片中的结果帧集合，该结果帧集合处于外科手术的结果阶段内。该结果阶段可以是外科手术的与结果相关联的时间间隔或部分，如上所述。在步骤1030，过程1000可以包括：基于分析来检测特定外科手术短片中的原因帧集合，该原因帧集合处于外科手术的在时间上远离结果阶段的原因阶段内。在一些实施方式中，结果阶段可以包括可观测结果的外科手术阶段，并且结果帧集合可以是结果阶段中的帧的子集。该原因阶段可以是外科手术的与结果阶段中的结果的原因相关联的时间间隔或部分。在一些实施方式中，原因阶段可以包括出现该原因的外科手术阶段，并且原因帧集合可以是原因阶段中的帧的子集。中间帧集合处于介于原因帧集合与结果帧集合之间的中间阶段内。在步骤1040，过程1000可以包括：生成外科手术短片的因果摘要，其中，该因果摘要包括原因帧集合以及结果帧集合并且略过中间帧集合。在一些实施方式中，因果摘要可以类似于第一组帧的汇总，如上所述。因此，因果摘要可以包括与原因帧集合和结果帧集合相关联的视频短片的汇编。向用户呈现第一组帧的汇总(如上所述)可以包括因果摘要。
图11是例示与所公开的实施方式一致的生成外科手术摘要短片的示例过程1100的流程图。可以由处理装置来执行过程1100。在一些实施方式中，提供了一种非暂时性计算机可读介质，该介质可以包含指令，该指令在由处理器执行时，使该处理器执行过程1100。在步骤1110，过程1100可以包括：访问特定外科手术短片，该特定外科手术短片包含与至少一个术中外科手术事件相关联的第一组帧以及不与外科手术活动相关联的第二组帧。如上面更详细讨论的，第一组帧可以与多个术中外科手术事件相关联并且可能不一定是连贯的帧。此外，在一些实施方式中，第一组帧可以包括原因帧集合和结果帧集合，并且第二组帧可以包括中间帧集合，如上面参照过程1000所讨论的。
在步骤1120，过程1100可以包括：基于在先外科手术的历史外科手术短片来访问历史数据，其中，该历史数据包括以下信息：该信息将外科手术短片的各部分区分成与术中外科手术事件相关联的帧以及不与外科手术活动相关联的帧。在一些实施方式中，将历史外科手术短片的各部分区分成与术中外科手术事件相关联的帧的信息可以包括外科手术工具和/或解剖特征的存在或者移动中的至少一者的指示符。在步骤1130，过程1100可以包括：基于历史数据的信息，在特定外科手术短片中区分第一组帧与第二组帧。
在步骤1140，过程1100可以包括：在用户请求时，向用户呈现特定外科手术短片的第一组帧的汇总，同时略过向用户呈现第二组帧。用户的请求可以从计算装置接收，该计算装置可以包括使得用户能够进行请求的用户界面。在一些实施方式中，用户还可以请求与特定类型或类别的术中事件相关联的帧。基于过程1100中描述的步骤，可以向用户呈现包括与术中事件相关联的帧并且略过不与外科手术活动相关联的帧的摘要。该摘要例如可以被外科医生用作汇总术中外科手术事件的训练视频，同时略过大部分其它无关的短片。
在准备外科手术时，外科医生审查具有相似外科手术事件的多个外科手术的视频短片可能是有益的。常规方法可能不允许外科医生容易地访问外科手术的具有相似外科手术事件的视频短片。此外，即使访问该短片，注视整个视频或者找到该视频的相关部分也可能太耗时。因此，需要高效且有效地使得外科医生能够观看汇编来自对不同患者执行的外科手术的外科手术事件的短片的视频的非常规方法。
本公开的各方面可以涉及外科手术准备，包括方法、系统、装置以及计算机可读介质。特别地，可以将对不同患者执行的外科手术中的不同事件的汇编视频呈现外科医生或其它用户。该汇编可以包括来自相似外科手术的不同术中事件的外科手术视频的摘选，它们可以以组合的形式自动汇总。可以使得外科医生能够输入病例特定信息，以取回从针对不同患者的相似外科手术中选择的视频段的汇编。该汇编可以包括来自一个外科手术的一个术中事件以及来自一个或更多个第二外科手术的其它不同的术中事件。例如，当对不同患者进行手术时发生的不同并发症可以全部包括在一个汇编视频中。在多个外科手术的视频包含具有共享的特征(例如，采用了相似的技术)的相同事件的情况下，该系统可以略过一个或更多个外科手术中的短片以免多余。
为了便于讨论，下面描述了一种方法，并且对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。例如，这种方法的一些方面可以通过有线、无线或两者的网络以电子方式发生。这种方法的其它方面可以使用非电子手段发生。在最广泛的意义上，该方法不限于特定的物理和/或电子工具，而是可以使用许多不同的工具来完成。
与所公开的实施方式一致，提供了一种方法，该方法可以涉及访问外科手术视频短片的多个集合的储存库。如本文所使用的，储存库可以是指可以以电子方式存储视频短片的任何存储位置或者存储位置集合。例如，储存库可以包括存储器装置，诸如硬盘驱动器和/或闪存驱动器。在一些实施方式中，储存库可以是网络位置，诸如服务器、云存储位置、共享的网络驱动器或者可通过网络访问的任何其它形式的存储。储存库可以包括以各种时间和/或位置拍摄的外科手术视频短片的数据库。在一些实施方式中，储存库可以存储除外科手术视频短片以外的其它附加数据。
如上所述，外科手术视频短片可以是指包括外科手术的表示的任何视频、视频帧组或视频短片。例如，外科手术短片可以包括在外科手术操作期间拍摄的一个或更多个视频帧。外科手术视频短片集可以是指一个或更多个外科手术视频或外科手术视频短片的分组。可以将视频短片存储在同一位置或者可以从不同存储位置进行选择。尽管不必如此，但是可以使集合内的视频以某一方式相关。例如，集合内的视频短片可以包括以下视频：由同一拍摄装置记录的、在同一设施处记录的、在同一时间或者同一时间帧内记录的、描绘对同一患者或患者组执行的外科手术、描绘相同或相似外科手术、描绘共享共同特征的外科手术(诸如相似的复杂程度，包括相似的时间、包括相似技术的使用、包括相似医疗器械的使用等)、或者共享任何其它特性或特征。
外科手术视频短片的所述多个集合可以反映对不同患者执行的多个外科手术。例如，经历相同或相似外科手术或者经历采用相似技术的情况下的外科手术的多个不同个体可以包括在公共集合或者多个集合内。另选地或者另外，一个或更多个集合可以包括从单一患者但在不同时间拍摄的外科手术短片。所述多个外科手术可以具有相同类型(例如，全部包括阑尾切除术)，或者可以具有不同类型。在一些实施方式中，所述多个外科手术可以共享共同特征，诸如相同或相似的阶段或者术中事件。
外科手术视频短片的所述多个集合还可以包括：术中外科手术事件、外科手术结果、患者特征、外科医生特征以及术中外科手术事件特征。贯穿本公开描述了此类事件、结果以及特征的示例。外科手术结果可以包括：外科手术总体上的结果(例如，患者是否恢复或者完全恢复、患者出院后是否再次入院、外科手术是否成功)，或者外科手术内的单独阶段或事件的结果(例如，是否发生并发症或者技术是否成功)。
本公开的一些方面可以涉及使得外科医生能够准备设想的外科手术，以输入与所设想的外科手术相对应的病例特定信息。所设想的外科手术可以包括尚未执行过的任何外科手术。在一些实施方式中，外科手术可以是外科医生打算对患者执行的计划的外科手术。在其它实施方式中，所设想的外科手术可以是假设的手术并且可能不一定与特定患者相关联。在一些实施方式中，所设想的外科手术可以是实验性的并且可能未处于广泛的实践中。病例特定信息可以包括所设想的外科手术或者所设想或假设的患者的任何特征或特性。例如，病例特定信息可以包括但不限于将要被执行手术的患者的特征、执行手术的外科医生的特征、手术中涉及的其他医护专业人员的特征、正在执行的手术的类型、手术的独特细节或方面、所涉及的设备或工具的类型、所涉及的技术的类型、手术的并发因素、手术的位置、正被处理的医疗状况的类型或其某些方面、外科手术结果、术中事件结果或者可以限定或描述所设想的外科手术的任何其它信息。例如，案例特定信息可以包括患者的年龄、体重、医疗状况、生命体征、其它身体特征、过去的医疗历史、家族医疗历史、或者可能对潜在结果产生某一直接或间接影响的任何其它类型的患者相关信息。案例特定信息还可以包括：执行外科医生的技能水平的指示符、所采用的外科手术技术、所遇到的并发症、或者有关外科医生、手术、所使用的工具或设施的任何其它信息。
可以通过各种方式输入案例特定信息。在一些实施方式中，外科医生可以通过图形用户界面输入案例特定信息。用户界面可以包括：一个或更多个文本字段、提示符、下拉列表、复选框或者用于输入信息的其它字段或机制。在一些实施方式中，可以将图形用户界面与执行所公开的方法的计算装置或处理器相关联。在其它的实施方式中，可以将图形用户界面与外部计算装置相关，诸如移动手机、平板电脑、膝上型电脑、台式计算机、计算机终端、可佩戴装置(包括智能腕表、智能眼镜、智能珠宝、平视显示器等)或者能够接收用户输入的任何其它电子装置。在一些实施方式中，病例特定信息可以在较早时间或者在一定时段(例如，几天、几月、几年或更久)内输入。病例特定信息中的一些或全部可以从医院或其它医疗设施数据库、电子医疗记录或者可存储患者数据和/或其它医疗数据的任何其它位置提取。在一些实施方式中，可以从外部装置接收与所设想的外科手术相对应的病例特定信息。例如，病例特定信息可以从外部计算装置、服务器、云计算服务、网络装置或者执行所公开的方法的系统外部的任何其它装置取回或者以其它方式接收。在一个示例中，病例特定信息的与所设想的外科手术相对应的至少一部分可以从电子健康记录(EMR)或者从处理EMR(例如，将被执行手术的特定患者的EMR、与所设想的外科手术相关联的EMR等)的系统、从调度系统、从与和所设想的外科手术相关联的医疗专业人员相对应的电子记录或者从处理电子记录的系统等接收。
在一些示例性实施方式中，病例特定信息可以包括与所设想的手术相关联的患者的特征。例如，如稍早提及的，病例特定信息可以包括所设想的患者的特征。患者特征可以包括但不限于患者的性别、年龄、体重、身高、身体素质、心率、血压、体温、医疗状况或疾病、医疗历史、以前的治疗或者任何其它相关特征。贯穿本公开描述了其它示例性患者特征。在一些实施方式中，患者的特征可以由外科医生直接输入。例如，患者特征可以通过图形用户界面输入，如上所述。在其它的实施方式中，患者的特征可以从数据库或者其它电子存储位置取回。在一些实施方式中，患者的特征可以从该患者的医疗记录接收。例如，患者特征可以基于由外科医生输入的标识符或其它信息而从医疗记录或其它信息源取回。例如，外科医生可以输入患者标识符，并且可以使用患者标识符取回患者的医疗记录和/或患者特征。如本文所描述的，患者标识符可以是匿名的(例如，字母数字代码或者机器可读代码)，或者它可以以可辨别方式标识患者(例如，患者名字或社会安全号码)。在一些示例中，病例特定信息可以包括与所设想的手术相关联的两个或更多个患者的特征(例如，涉及两个或更多个患者的所设想的外科手术，诸如移植)。
根据本公开，病例特定信息可以包括和外科手术工具相关的信息。外科手术工具可以是被用作外科手术的部分的任何装置或器械。贯穿本公开描述了一些示例性外科手术工具。在一些实施方式中，和外科手术工具相关的信息可以包括工具类型或工具型号中的至少一个。工具类型可以是指工具的任何分类。例如，工具类型可以是指正在使用的器械的种类(例如，“手术刀”、“剪刀”、“镊子”、“牵发器”或者其它种类的器械)。工具类型可以包括各种其它分类，诸如工具是否是电子的、工具是否被用于微创手术、构成工具的材料、工具的尺寸或者任何其它辨别特性。工具型号可以是指器械的特定品牌和/或制造商(例如，“15921蚊式止血钳”)。
本公开的实施方式还可以包括：对病例特定信息和与外科手术视频短片的多个集合相关联的数据进行比较，以识别在所设想的外科手术期间很可能遭遇的一组术中事件。与外科手术视频的多个集合相关联的数据可以包括任何存储的有关外科手术视频短片的信息。该数据可以包括标识外科手术视频短片中描绘的或者与外科手术视频短片相关联的术中外科手术事件、外科手术阶段或者外科手术事件特征的信息。该数据可以包括其它信息，诸如患者或外科医生特征、视频的特性(例如，拍摄日期、文件大小、有关拍摄装置的信息、拍摄位置等)或者有关外科手术视频短片的任何其它信息。可以将该数据存储为标签或者视频文件内的其它数据。在其它的实施方式中，可以将该数据存储在单独文件中。在一些实施方式中，可以对外科手术视频短片编索引以将该数据与视频短片相关联。因此，可以将该数据存储在数据结构中，诸如上述数据结构600。在一个示例中，对病例特定信息和与一个或更多个外科手术视频短片(例如与外科手术视频短片的多个集合)相关联的数据进行比较可以包括：例如使用一个或更多个相似性函数，计算病例特定信息与和一个或更多个外科手术视频短片相关联的数据之间的一个或更多个相似性量度。此外，在一个示例中，可以将计算出的相似性量度与选定阈值进行比较，以例如使用K最近邻算法来确定在所述一个或更多个外科手术视频短片中发生的事件是否很可能在所设想的外科手术中发生，从而预测通常发生K最相似外科手术视频短片的事件很可能在所设想的外科手术期间遇到。在一些示例中，可以使用训练示例对机器学习模型进行训练，以根据与特定外科手术相关的信息来识别很可能在特定外科手术期间遇到的术中事件，并且可以将经训练的机器学习模型用于对所设想的外科手术的病例特定信息进行分析，并识别很可能在所设想的外科手术期间遇到的一组术中事件。这种训练示例的示例可以包括与特定外科手术相关的信息，以及指示很可能在该特定外科手术期间遇到的术中事件的标记。
可以基于该数据来确定很可能在所设想的外科手术期间遇到的该组术中事件。例如，可以对病例特定信息与和外科手术视频短片的多个集合相关联的数据进行比较。这可以包括比较所设想的外科手术的特征(如在病例特定信息中表示的)，以识别与具有相同或相似特征的外科手术相关联外科手术视频短片。例如，如果病例特定信息包括与所设想的手术相关联的患者的医疗状况，则可以识别与对具有相同或相似医疗状况的患者的外科手术相关联的外科手术视频短片的集合。再例如，准备对患有糖尿病、高胆固醇、高血压以及心脏病家族史的73岁男性执行导管插入术的外科医生可以输入该病例特定信息，以便提取视频短片用于审查共享相似特征的患者(或者被预测与该特定患者类似呈现的患者)。在所设想的外科手术期间很可能遇到的一组术中事件可以包括在与所识别的手术视频短片相关联的外科手术期间遇到的术中外科手术事件。在一些实施方式中，在识别外科手术视频短片和/或很可能遇到的一组术中事件方面可以考虑多种因素。
术中事件是否被认为很可能在所设想的外科手术期间遇到可以取决于该术中事件在与所设想的外科手术相似的外科手术中发生的频繁程度。例如，可以基于术中事件在相似手术中发生的次数、术中事件在相似手术中发生的次数占比或者基于外科手术视频短片的多个集合的其它统计信息来识别术中事件。在一些实施方式中，可以基于将可能性与阈值进行比较来识别术中事件。例如，如果术中事件在超过50％或者任何其它百分比的类似外科手术中发生，则可以识别该术中事件。在一些实施方式中，该组组术中事件可以包括基于它们发生的可能性的术中事件的层级(tier)。例如，组可以包括具有高发生可能性的术中事件层，以及具有低发生可能性的一个或更多个术中事件层。
根据本公开的一些实施方式，可以将机器学习或其它人工智能技术用于识别该组术中事件。因此，对病例特定信息和与外科手术视频短片的多个集合相关联的数据进行比较可以包括：使用人工神经网络以识别在所设想的外科手术期间很可能遭遇的一组术中事件。在一个示例中，人工神经网络可以进行手动配置、可以从两个或更多个其它人工神经网络的组合生成等。在一个示例中，可以向人工神经网络馈送使各种病例特定信息与很可能遇到的术中事件相联系的训练数据。在一些实施方式中，训练数据可以包括在储存库中包括的外科手术视频短片的一个或更多个集合以及与外科手术短片相关联的数据。训练数据还可以包括非视频相关数据，诸如患者特征或过去的医疗历史。使用人工神经网络，可以基于训练数据生成经训练的模型。因此，使用人工神经网络可以包括向人工神经网络提供病例特定信息作为输入。作为模型的输出，可以标识很可能在所设想的外科手术期间遇到的该组术中事件。可以使用各种其它机器学习算法，包括：逻辑回归、线性回归、回归、随机森林、K最近邻(KNN)模型(例如，如上所述)、K-均值模型、决策树、cox比例风险回归模型、朴素贝叶斯模型、支持向量机(SVM)模型、梯度提升算法或者任何其它形式的机器学习模型或算法。
本公开的一些方面还可以包括：使用病例特定信息以及所识别的很可能遭遇的一组术中事件，来识别外科手术视频短片的多个集合中的特定集合中的与所识别的一组术中事件相对应的特定帧。外科手术视频短片的所述多个集合中的特定集合中的特定帧可以是该视频短片中的术中事件发生的位置。例如，如果一组术中事件包括并发症，则该特定帧可以包括描绘并发症的视频短片或者以其它方式与并发症相关联的视频短片。在一些实施方式中，该特定帧可以包括在术中事件发生之前或之后的一些外科手术视频短片，以例如提供该术中事件的上下文。此外，该特定帧可能不一定是连贯的。例如，如果术中事件是不利事件或不利结果，则该特定帧可以包括与不利结果和不利结果的原因相对应的帧，它们可能不是连贯的。该特定帧可以基于帧号(例如，帧号、开始帧号和结束帧号、开始帧号和后续帧数等)、基于时间信息(例如，开始时间和停止时间、持续时间等)或用于识别视频短片的特定帧的任何其它方式来识别。
在一些实施方式中，该特定帧可以基于多个外科手术视频短片的编索引来进行识别。例如，如上所述，可以对视频短片编索引，以使短片位置与阶段标签、事件标签和/或事件特征相联系。因此，对外科手术视频短片的多个集合中的特定集合中的特定帧进行识别可以包括：执行使用数据结构(诸如关于图6描述的数据结构600)来查找或搜索术中事件。
根据本公开，所识别的特定帧可以包括来自对不同的患者执行的所述多个外科手术的帧。因此，所识别的特定帧可以形成来自对不同患者执行的外科手术的与术中事件相关联的短片的汇编，该汇编可以被用于外科手术准备。例如，最佳视频短片示例(根据视频质量、清晰度、代表性、与所设想的外科手术的兼容性等)可以选自对于不同的患者执行的不同手术，并且彼此相关联，以使作准备的外科医生可以观看一组视频短片的最佳者，例如，不必逐个单独审查各个病例的视频。
本公开的实施方式还可以包括略过所识别的特定帧的部分，例如以免多余、缩短最终所得的汇编、去除不太相关或提供很少信息的部分等。因此，一些实施方式可以包括：确定来自不同的患者的视频短片的第一集合和第二集合包含与共享共同特征的术中事件相关联的帧。视频短片的第一集合和第二集合可以包括与所识别的一组术中事件相对应的所识别的特定帧中的帧。共同特征可以是术中事件的与确定来自第一集合和第二集合的帧是否均被包括在内相关的任何特征。可以将共同特征用于确定第一集合和第二集合是否多余。例如，术中事件可以是在外科手术期间发生的并发症，共同特征可以是并发症的类型。如果第一帧集合和第二帧集合中的并发症具有相同类型，则准备外科手术的外科医生观看第一帧集合和第二帧集合两者可能不是高效或有益的。因此，仅一个集合被选择向外科医生呈现，并且略过另一集合。在本公开的一些实施方式中，共同特征可以包括不同患者的特征。例如，共同特征可以包括患者的年龄、体重、身高或其它人口统计，可以包括患者状况等。还可以共享贯穿本公开描述的各种其它的患者特征。在其它的实施方式中，共同特征可以包括所设想的外科手术的术中外科手术事件特征。术中外科手术事件特征可以包括术中事件的任何显著的特点或特性。例如，外科手术事件的不利结果、外科手术技术、外科医生技能水平、特定外科医生的身份、生理反应、事件的持续时间或者与事件相关的任何其它特征或特性。
根据本公开的各种示例性实施方式，确定来自不同的患者的视频短片的第一集合和第二集合包含与共享共同特征的术中事件相关联的帧可以包括：使用机器学习模型的实现来识别共同特征。在一个示例中，可以使用训练示例来对机器学习模型进行训练，以识别视频短片的具有特定特征的帧，并且可以将经训练的机器学习模型用于对来自不同患者的视频短片的第一集合和第二集合进行分析，以识别与术中事件相关联的共享共同特征的帧。这样的训练示例的示例可以包括视频短片以及指示该视频短片的特定帧的特定特征的标记。上面描述了各种机器学习模型，并且可以包括：逻辑回归模型、线性回归模型、回归模型、随机森林模型、K-最近邻(KNN)模型、K-均值模型、决策树、cox比例风险回归模型、朴素贝叶斯模型、支持向量机(SVM)模型、梯度提升算法、深度学习模型或者任何其它形式的机器学习模型或算法。本公开的一些实施方式还可以包括：使用示例视频短片来训练机器学习模型，以确定视频短片的两个集合是否共享共同特征，并且其中，实现机器学习模型包括：实现经训练的机器学习模型。在一个示例中，示例视频短片可以是训练短片，其可以包括视频短片的已知共享共同特征的成对的集合。可以将经训练的机器学习模型配置成确定视频短片的两个集合是否共享共同特征。
所公开的实施方式还可以包括：从要向外科医生呈现的汇编中略过包含第二集合，并且在要向外科医生呈现的汇编中包括第一集合。如本文所使用的，汇编可以包括可以被呈现以供连续和/或连贯回放的一系列帧。在一些实施方式中，可以将汇编存储为单独的视频文件。在其它的实施方式中，可以将汇编存储为用于呈现所述系列帧的指令，该系列帧来自例如被存储在储存库中的它们相应的外科手术视频短片。汇编可以包括除被包括在第一集合中的那些帧以外的其它额外的帧，包括来自所识别的特定帧的其它帧。
本公开的一些方面还可以包括：使得外科医生能够观看包括汇编的呈现，该汇编包含来自对不同的患者执行的不同的外科手术的帧。呈现可以是任何形式的包括帧的汇编的视觉显示。在一些实施方式中，呈现可以汇编视频。呈现可以包括其他要素，诸如菜单、控件、索引、时间线或者除了汇编以外的其它内容。在一些实施方式中，使得外科医生能够观看呈现可以包括：在有音频呈现或没有音频呈现的情况下，使用诸如以下项的显示装置来输出用于显示该呈现的数据：屏幕(例如，OLED、QLED、QLED LCD、等离子、CRT、DLPT、电子纸或类似显示技术)、投影仪(例如，放映机、幻灯机)、3D显示器、智能眼镜或任何其它视觉呈现机构。在其它的实施方式中，使得外科医生能够观看呈现可以包括：将该呈现存储在一个或更多个其它计算装置可访问的位置。此类存储位置可以包括本地存储装置(诸如闪存硬盘)、网络位置(诸如服务器或数据库)、云计算平台或者任何其它可访问的存储位置。因此，可以从外部装置访问呈现以在该外部装置上显示。在一些实施方式中，输出视频可以包括将视频发送给外部装置。例如，使得外科医生能够观看呈现可以包括：通过网络向用户装置或其它外部装置发送该呈现以供在外部装置上回放。
呈现可以将来自不同手术的不同的短片拼接在一起，将这些短片按照在外科手术期间可能发生的时间顺序向外科医生呈现。可以将短片呈现为连续播放，或者可以按以下方式来呈现：需要外科医生对要播放的随后短片的按顺序肯定地行动。在其中外科医生观看多个另选技术或者观看对不利事件的不同响应可能是有益的一些情况下，可以顺序地呈现来自不同的外科手术的多个另选短片。
本公开的一些实施方式中还可以包括：使得能够沿着呈现显示公共外科手术时间线，该公共外科手术时间线包括与所识别的特定帧中的一个或更多个特定帧相对应的一个或更多个时间顺序标记。例如，可以将公共外科手术时间线叠加在呈现上，如上面所讨论的。图4中示出了包括时间顺序标记的示例外科手术时间线420。时间顺序标记可以对应于标记432、434和/或436。因此，时间顺序标记可以对应于外科手术阶段、术中外科手术事件、决策制定节点或者沿着呈现的所识别的特定帧的其它值得注意的发生的事情。可以将标记沿着时间线表示为形状、图标或其它图形表示，如上面更详细地描述的。可以将时间线连同与对单个患者执行的外科手术相关联的帧一起呈现，或者可以连同来自对多个患者执行的外科手术的视频短片的汇编一起呈现。
根据本公开的一些实施方式，使得外科医生能够观看呈现可以包括：顺序地显示对不同的患者执行的不同的外科手术的视频短片的离散集合。视频短片的各个离散集合可以对应于对不同患者执行的不同外科手术。在一些实施方式中，顺序地显示视频短片的离散集合对于外科医生或另一用户而言可以显现为连续视频。在其它实施方式中，回放可以在视频短片的离散集合之间停止或暂停。外科医生或其它用户可以手动开始该序列中的视频短片的下一集合。
根据本公开的一些实施方式，呈现可以包括：基于所识别的很可能遭遇的一组术中事件，和/或所识别的外科手术视频短片的多个集合中的特定集合中的与所识别的一组术中事件相对应的特定帧，来显示模拟的外科手术。例如，可以将机器学习算法(诸如生成对抗网络(Generative Adversarial Network))用于使用训练示例对机器学习模型(诸如人工神经网络、深度学习模型、卷积神经网络等)进行训练，以基于外科手术视频短片的多组术中事件和/或帧来生成外科手术的模拟，并且可以将经训练的机器学习模型用于对所识别的很可能遇到的一组术中事件，和/或所识别的外科手术视频短片的多个集合中的特定集合中的与所识别的一组术中事件相对应的特定帧进行分析，并且生成模拟的外科手术。
在一些实施方式中，顺序地显示视频短片的离散集合可以包括：显示视频短片的离散集合的索引，使得外科医生或其它用户能够选择视频短片的所述离散集合中的一个或更多个离散集合。索引可以是基于文本的索引，例如，列出的术中事件、外科手术阶段或者视频短片的不同离散集合的其它指示符。在其它的实施方式中，索引可以是图形显示(诸如上述时间线)或者图形和文本信息的组合。例如，索引可以包括将离散集合分析成对应的外科手术阶段的时间线以及文本阶段指示符。在这样的实施方式中，离散集合可以对应于外科手术的不同外科手术阶段。离散集合可以使用不同的颜色、利用不同的阴影、利用边界框或分隔符或者用于区分该离散集合的其它视觉指示符来进行显示。文本阶段指示符可以描述或者以其它方式标识对应的外科手术阶段。可以将文本阶段指示符显示在时间线内、时间线上方、时间线下方或者使得它们标识离散结构的任何位置。在一些实施方式中，可以将时间线以列表格式进行显示，并且可以将文本阶段指示符包括在列表内。
根据本公开，时间线可以包括与术中外科手术事件相对应的术中外科手术事件标记。术中外科手术事件标记可以对应于与外科手术视频短片中的位置相关联的术中外科手术事件。可以使外科医生能够点击术中外科手术事件标记，以显示描绘对应的术中外科手术事件的至少一个帧。例如，点击术中外科手术事件可以使汇编视频的显示跳至与所选择的标记相关联的位置。在一些实施方式中，外科医生能够观看关于与标记相关联的事件或发生的事情的附加信息，所述附加信息可以包括概括手术的各方面的信息或者从过去外科手术导出的信息。如上面更详细地描述的。上面参照叠加外科手术视频的时间线描述的特征或功能中的任一者还可以应用于本文所描述的汇编视频。
本公开的实施方式还可以包括基于所述术中外科手术事件、所述外科手术结果、所述患者特征、所述外科医生特征以及术中外科手术事件特征来训练机器学习模型以生成所述储存库的索引，并且生成储存库的索引。对病例特定信息和与所述多个集合相关联的数据进行比较可以包括搜索所述索引。可以使用上述各种机器学习模型，包括：逻辑回归模型、线性回归模型、回归模型、随机森林模型、K-最近邻(KNN)模型、K-均值模型、决策树、cox比例风险回归模型、朴素贝叶斯模型、支持向量机(SVM)模型、梯度提升算法、深度学习模型或者任何其它形式的机器学习模型或算法。可以将具有已知术中外科手术事件、外科手术结果、患者特征、外科医生特征以及术中外科手术事件特征的外科手术视频短片的训练数据集用于对模型进行训练。可以将经训练的模型配置成基于训练集中未包括的附加外科手术视频短片，来确定术中外科手术事件、外科手术结果、患者特征、外科医生特征以及术中外科手术事件特征。当应用于储存库中的外科手术视频短片应用时，可以基于所识别的特性来向视频短片加标签。例如，可以将视频短片与如上参照视频编索引描述的短片位置、阶段标签、事件位置和/或事件标签相关联。因此，可以将该储存库存储为数据结构，诸如上述数据结构600。
图12是例示与所公开的实施方式一致的进行外科手术准备的示例过程1200的流程图。过程1200可以由处理装置来执行，诸如本文所描述的一个或更多个并置或分散的处理器。在一些实施方式中，提供了一种非暂时性计算机可读介质，该介质可以包含指令，该指令在由处理器执行时，使该处理器执行过程1200。过程1200不一定限于图1200中示出的步骤，并且过程1200中还可以包括贯穿本公开描述的各种实施方式的任何步骤或过程。在步骤1210，过程1200可以包括访问外科手术视频短片的多个集合的储存库，该外科手术视频短片的多个集合反映对不同的患者执行的多个外科手术。外科手术视频短片的所述多个集合可以包括：术中外科手术事件、外科手术结果、患者特征、外科医生特征以及术中外科手术事件特征。在一些实施方式中，例如可以利用过程800对储存库进行编索引，以促进对外科手术视频短片的多个集合的取回和识别。
在步骤1220，过程1200可以包括：使得准备设想的外科手术的外科医生能够输入与所设想的外科手术相对应的病例特定信息。如上所述，所设想的外科手术可以是计划的手术、假设的手术、实验性手术或者尚未发生的另一手术。病例特定信息可以由外科医生例如通过用户界面人工输入。在一些实施方式中，病例特定信息中的一些或全部可以是从患者的医疗记录接收的。病例特定信息可以包括与所设想的手术相关联的患者的特征，信息包括与外科手术工具相关的信息(例如，工具类型、工具型号、工具制造商等)，或者可以用于标识相关外科手术视频短片的任何其它信息。
在步骤1230，过程1200可以包括：对病例特定信息和与外科手术视频短片的多个集合相关联的数据进行比较，以识别在所设想的外科手术期间很可能遭遇的一组术中事件。很可能遇到的一组术中事件例如可以基于对历史视频短片、除了视频数据以外的其它历史数据或者可以导出预测的任何其它形式的数据执行的机器学习分析来进行确定。在步骤1240，过程1200可以包括：使用病例特定信息以及所识别的很可能遭遇的一组术中事件，来识别外科手术视频短片的多个集合中的特定集合中的与所识别的一组术中事件相对应的特定帧。所识别的特定帧可以包括来自对不同的患者执行的多个外科手术的帧，如稍早所述。
在步骤1250，过程1200可以包括：确定来自不同的患者的视频短片的第一集合和第二集合包含与共享共同特征的术中事件相关联的帧，如稍早所述。在步骤1260，过程1200可以包括：从要向外科医生呈现的汇编中略过包含第二集合，并且在要向外科医生呈现的汇编中包括第一集合，如稍早所述。
在步骤1270，过程1200可以包括使得外科医生能够观看包括汇编的呈现，该汇编包含来自对不同的患者执行的不同的外科手术的帧。如上所述，使得外科医生能够观看呈现可以包括：输出数据以使得能够在屏幕或其它显示装置上显示该呈现、将该呈现存储在另一计算装置可访问的位置、发送该呈现、或者可以使得能够观看该呈现和/或汇编的任何其它过程或方法。
在准备外科手术时，外科医生审查过去外科手术的视频短片可能是有益的。然而，在一些情况下，外科手术的仅特别复杂的部分可能与外科医生相关。对于外科医生，使用常规方法基于手术的复杂性来识别外科手术视频的部分可能太困难和耗时。因此，需要高效且有效地分析外科手术短片的复杂性并且使得外科医生能够快速审查外科手术视频的相关部分的非常规方法。
本公开的各方面可以涉及外科手术准备，包括方法、系统、装置以及计算机可读介质。特别地，在准备外科手术时，外科医生可能需要观看外科手术视频的具有特别复杂程度的部分。例如，在一般的常规外科手术视频内，技艺高超的外科医生可能想要仅观看异常复杂的单个事件。然而，外科医生找到恰当的视频以及视频中的恰当位置可能是耗时的。因此，在一些实施方式中，提供了用于分析外科手术短片的复杂性的方法和系统。例如，基于复杂性观看外科手术视频短片的过程可以通过向外科手术视频的具有复杂性分数的部分自动加标签来加速，从而允许外科医生基于复杂性快速找到关注帧。
为了便于讨论，下面描述了一种方法，并且对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。例如，这种方法的一些方面可以通过有线、无线或两者的网络以电子方式发生。这种方法的其它方面可以使用非电子手段发生。在最广泛的意义上，该方法不限于特定的物理和/或电子工具，而是可以使用许多不同的工具来完成。
与所公开的实施方式一致，一种方法可以涉及对外科手术短片的帧进行分析，以识别第一帧集合中的解剖结构。如上所述，外科手术短片可以是指包括外科手术的表示的任何视频、视频帧组或视频短片。例如，外科手术短片可以包括在外科手术操作期间拍摄的一个或更多个视频帧。第一帧集合可以是外科手术短片内包括的一个或更多个帧的分组。在一些实施方式中，第一帧集合可以是连贯的帧，然而，情况不一定如此。例如，第一帧集合可以包括多组连贯的帧。
如上面所讨论的，解剖结构可以是活生物体的任何特定部分，例如包括器官、组织、管、动脉、细胞或其它解剖部分。可以利用各种技术对第一帧集合进行分析识别解剖结构，例如如上所述的那样。在一些实施方式中，可以使用对象检测算法对外科手术短片的帧进行分析，如上所述。例如，对象检测算法可以基于外观、图像特征、模板等来检测对象。在一些实施方式中，识别对第一帧集合中的解剖结构包括：使用被训练为检测解剖结构的机器学习模型，例如如上所述。例如，可以将图像和/视频连同已知为在所述图像和/或视频中描绘的解剖结构的识别一起输入机器学习模型中作为训练数据。结果，可以将经训练的模型用于对外科手术短片进行分析以识别第一帧集合中的解剖结构。例如，可以将被配置成识别图像和/或视频中的解剖结构的人工神经网络用于对外科手术短片进行分析，以识别第一帧集合中的解剖结构。可以使用各种其它机器学习算法，包括：逻辑回归、线性回归、回归、随机森林、K-最近邻(KNN)模型、K-均值模型、决策树、cox比例风险回归模型、朴素贝叶斯模型、支持向量机(SVM)模型、梯度提升算法、深度学习模型或者任何其它形式的机器学习模型或算法。
本公开的一些方面还可以包括访问第一历史数据，该第一历史数据是基于从第一组在先外科手术拍摄的第一帧数据的分析的。通常，帧数据可以包括描述外科手术的任何图像或视频数据，如本文所描述的。可以将第一历史数据和/或第一帧数据存储在一个或更多个存储位置。因此，访问第一历史数据可以包括从存储位置取回历史数据。在其它的实施方式中，访问第一历史数据可以包括：例如从图像拍摄装置或计算装置接收第一历史数据和/或第一帧数据。与本公开的实施方式一致，访问历史数据可以包括：取回或接收第一帧数据并对该第一帧数据进行分析以识别第一历史数据。
历史数据可以是有关在先外科手术的任何信息。上面描述了这种历史数据的一些非限制性示例。在一些实施方式中，第一历史数据可以包括与第一组在先外科手术相关联的复杂性信息。该复杂性信息可以包括指示外科手术的复杂程度的任何数据，如下进一步讨论的。第一历史数据可以包括与可以从第一帧数据收集的第一组外科手术有关的任何其它信息。例如，第一帧数据可以包括或指示与在先外科手术相关联的信息，包括：所涉及的解剖结构、所使用的医疗工具、所执行的外科手术的类型、在手术中发生的术中事件(包括不利事件)、由患者展示的医疗状况、患者特征、外科医生特征、所涉及的外科医生或其他医护专业人员的技能水平、定时信息(例如，医疗工具与解剖结构之间的交互的持续时间、外科手术阶段或术中事件的持续时间、医疗工具的显现与该医疗工具和解剖结构之间的第一交互之间的时间、或者其它相关持续时间或定时信息)、解剖结构的状况、所涉及的外科医生或其他医护专业人员的数量、或者与在先外科手术相关联的任何其它信息。
在第一历史数据包括复杂性信息的实施方式中，此类信息可以指示或者关联着外科手术或其一部分的复杂性。例如，第一历史数据可以包括特定解剖结构与特定外科手术复杂程度之间的统计关系的指示。统计关系可以是可以指示特定外科手术复杂程度与特定解剖结构之间的某一相关性的任何信息。例如，当在外科手术中暴露出特定血管时，划伤了器官的特定部分，或者检测到特定量的血液。此类事件可以在统计上与外科手术复杂程度相关。类似地，还可以使检测到器官的大量脂肪或较差状况与复杂程度相关。这些只是示例，与外科手术复杂性相关的任何状况或事件可以用作外科手术复杂性的指示。
在一些实施方式中，可以使用一种或更多种图像或视频分析算法(包括对象检测算法和/或运动检测算法)，从第一帧数据中识别第一历史数据。在其它的实施方式中，可以使用被训练为基于帧数据来识别历史数据的机器学习模型，从第一帧数据中识别第一历史数据。例如，可以使用训练示例对机器学习模型进行训练，以从帧数据中识别历史数据(如上所述)，并且可以将经训练的机器学习模型用于对第一帧数据进行分析以确定第一历史数据。这种训练示例的示例可以包括描绘外科手术或外科手术的一部分的图像和/或视频，以及指示该外科手术或外科手术的所述部分的复杂程度的标记。例如，这种标记可以手动生成、可以通过不同的过程生成、可以从存储器读取等。
本公开的实施方式可以涉及使用第一历史数据并且使用所识别的解剖结构来对第一帧集合进行分析，以确定与第一帧集合相关联的第一外科手术复杂程度。如本文所使用的，复杂程度可以是指示外科手术或外科手术的一部分的相对复杂性的值或其它分类符。例如，复杂性可以是基于外科手术相对于其它外科手术的难度的。难度可以是基于为执行外科手术中涉及的一种或更多种技术所需的外科医生技能水平、发生不利事件(诸如撕裂、出血、损伤或其它不利事件)的可能性、外科手术的成功率或者手术难度的任何其它指示符。具有较高的相对难度水平的外科手术可以与较高的复杂程度相关联。
作为另一例示性示例，复杂程度可以是基于完成外科手术或其部分的持续时间或时间要求的。例如，需要较长执行时间的手术或技术可以被认为较复杂，并且可以与较高的复杂程度相关联。作为另一示例，复杂程度可以是基于执行外科手术或其部分所需的步骤数的。例如，需要更多步骤的手术或技术可以被认为较复杂，并且可以与较高的复杂程度相关联。在一些实施方式中，复杂程度可以是基于正在执行的外科手术技术或手术的类型的。某些技术或手术可以具有预定的复杂性，并且复杂程度可以是基于所涉及的技术或手术的复杂性的。例如，胆囊切除术可以被认为比网膜切除术更复杂，因此，涉及胆囊切除术的外科手术可以被指派更高的复杂程度。可能与复杂程度相关的其它因素可以包括：与疾病严重性相关的信息、并发症因素、所涉及的解剖结构、所使用的医疗工具的类型、所执行的外科手术的类型、在手术中发生的术中事件(包括不利事件)、患者的生理反应、由患者展示的医疗状况、患者特征、外科医生特征、所涉及的外科医生或其他医护提供者的技能水平、定时信息(例如，医疗工具与解剖结构之间的交互的持续时间、外科手术阶段或术中事件的持续时间、医疗工具的显现与该医疗工具和解剖结构之间的第一交互之间的时间、或者其它相关持续时间或定时信息)、解剖结构的状况、所涉及的外科医生或其他医护专业人员的数量、或者与在先外科手术相关联的任何其它信息。外科手术复杂程度可以不限于上述示例中的任一示例，并且可以基于因素的组合，包括上面提供的示例。
外科手术复杂程度可以以各种方式加以表示。在一些实施方式中，可以将复杂程度表示为值。例如，外科手术复杂程度可以是处于与复杂性标度(例如，以0-5、0-100为标度，或者任何其它合适的标度)相对应的值范围内的值。还可以使用百分比或其它分数。通常，较高的值可以指示较高的复杂程度，然而，在一些实施方式中，外科手术复杂性可以是所述值的倒数。例如，复杂程度1可以指示比复杂程度7高的复杂性。在其它的实施方式中，可以将复杂程度表示为复杂性的基于文本的指示符。例如，可以向第一帧集合指派复杂程度“高复杂性”、“中等复杂性”、“低复杂性”、或者各种其它的分类符。在一些实施方式中，外科手术复杂程度可以对应于被用于表示外科手术复杂性的标准化标度或索引。外科手术复杂程度可以特定于特定类型的外科手术(或者外科手术类型的子集)，或者可以是可适用于任何外科手术的通用复杂程度。
如上提及，第一外科手术复杂程度可以通过使用历史数据对第一帧集合进行分析来确定。对第一帧集合进行分析可以包括用于基于第一帧集合中包括的信息来确定复杂程度的任何过程。下面更详细地提供了用于确定外科手术复杂程度的分析的示例。
此外，第一外科手术复杂程度可以使用所识别的解剖结构来确定。在一些实施方式中，手术中涉及的解剖结构的类型可以至少部分地指示外科手术复杂程度。例如，对某些解剖结构(例如，与患者的大脑或心脏相关联的解剖结构)执行的手术可以被认为更复杂。在一些实施方式中，解剖结构的状况还可以与确定复杂程度相关，如下更详细讨论的。
本公开的一些方面可以涉及对外科手术短片的帧进行分析，以识别第二帧集合中的医疗工具、解剖结构以及医疗工具与解剖结构之间的交互。例如，第二帧集合可以指示外科手术短片的正在对解剖结构执行外科手术的部分。医疗工具可以包括被用作医疗手术的部分的任何装备或设备。在一些实施方式中，医疗工具可以是外科手术工具，如上面所讨论的。例如，医疗工具可以包括但不限于切割器械、抓握和/或夹持器械、牵开器、组织统一(tissue unifying)器械和/或材料、防护性设备、腹腔镜、内窥镜、患者检测装置、患者成像装置或类似工具。如上面所讨论的，交互可以包括医疗器械的可以影响解剖结构的任何动作，反之亦然。例如，交互可以包括医疗器械与解剖结构之间的接触、医疗器械在解剖结构上的动作(诸如切割、夹紧、抓握、施加压力、刮削等)、解剖结构的生理反应或者任何其它交互形式。
正如第一帧集合那样，第二帧集合可以是外科手术短片内包括的一个或更多个帧的分组。第二帧集合可以是连贯的帧，或者可以包括多组连贯的帧。在一些实施方式中，第一帧集合和第二子集可以完全不同。在其它的实施方式中，第一帧集合和第二帧集合可以包括在第一帧集合和第二帧集合两者中出现的至少一个共同帧。正如第一帧集合那样，可以使用各种技术对第二帧集合进行分析以识别医疗工具、解剖结构、以及医疗工具与解剖结构之间的交互。在一些实施方式中，可以使用对象检测算法(例如，基于外观的检测算法、基于图像特征的检测算法、基于模板的检测算法等)和/或运动检测算法，来对外科手术短片的帧进行分析。在一些实施方式中，识别第二帧集合中的医疗工具、解剖结构、以及医疗工具与解剖结构之间的交互可以包括使用机器学习模型，该机器学习模型被训练以检测医疗工具、解剖结构、以及医疗工具与解剖结构之间的交互。例如，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中检测医疗工具和/或解剖结构和/或医疗工具与解剖结构之间的交互，并且可以将经训练的机器学习模型用于对第二帧集合进行分析，以检测医疗工具和/或解剖结构和/或医疗工具与解剖结构之间的交互。这种训练示例的示例可以包括外科手术的图像和/或视频短片，以及指示以下项中的至少一者的标记：图像和/或视频短片中描绘的医疗工具、图像和/或视频短片中描绘的解剖结构、以及图像和/或视频短片中描绘的医疗工具与解剖结构之间的交互。
在一些示例性实施方式中，识别第一帧集合中的解剖结构可以基于对医疗工具的识别以及医疗工具与解剖结构之间的第一交互。在一些实施方式中，在第一帧集合中识别的医疗工具可以是与在第二帧集合中识别的医疗工具相同的工具。因此，第二帧集合中的医疗工具与解剖结构之间的交互可以是医疗工具与解剖结构之间的稍后的交互。这例如可以有助于确定第一交互与稍后的交互之间的时间，其可以至少部分地指示外科手术复杂程度。
本公开的实施方式还可以包括访问第二历史数据，该第二历史数据是基于对从第二组在先外科手术拍摄的第二帧数据的分析的。在一些实施方式中，第一组在先外科手术和第二组在先外科手术可以具有相同类型。例如，第一历史数据和第二历史数据可以分别涉及第一组阑尾切除术和第二组阑尾切除术。第一组和第二组可以根据特征而有所不同。作为一个非限制性示例，第一组可以涉及展示腹膜炎的患者，第二组可以包括未展示腹膜炎的患者。
在一些实施方式中，第一帧数据和第二帧数据可以相同(即，第一历史数据和第二历史数据可以是基于同一帧数据的)。例如，第一历史数据和第二历史数据可以是基于对同一帧数据的不同分析的。作为例示性示例，与本实施方式一致，第一帧数据可以包括第二帧数据中未包括的外科手术接触力的估计。在一些实施方式中，第一历史数据和第二历史数据可以是基于同一帧数据的不同子集(例如，不同的外科手术阶段和/或不同的外科手术)的。
在一些实施方式中，第一帧数据和第二帧数据可以不同(即，在不同的数据结构中进行访问或存储)。例如，可以对同一外科手术的不同帧进行分析，以生成第一历史数据和第二历史数据。
在其它实施方式中，第一组在先外科手术和第二组在先外科手术可以在至少一个方面不同。例如，第一组和第二组可以包括阑尾切除术但是可以不同，这是因为第一组包括检测到异常流体泄漏事件的阑尾切除术，而在第二组中未检测到异常流体泄漏事件。在一些实施方式中，第一组在先外科手术和第二组在先外科手术可以具有共同的至少一个外科手术(例如，两个组可以包括切口)。然而，在其它实施方式中，第一组在先外科手术和第二组在先外科手术可以没有共同的外科手术。
在一些实施方式中，一种方法可以包括以下步骤：向第一帧集合加上第一复杂程度的标签，向第二帧集合加上第二复杂程度的标签，以及将具有第一标签的第一帧集合和具有第二标签的第二帧集合存储在数据结构中。这可以使得外科医生能够选择第二复杂程度，并由此使第二帧集合被显示，同时略过显示第一帧集合。在一些实施方式中，一种方法可以包括接收对复杂程度的选择(例如，接收基于用户向界面的输入的选择)。此外，一种方法可以包括访问数据结构以取回选定帧。一种方法可以包括显示标记有选定复杂程度的帧，同时略过未标记有选定复杂程度的帧。
与第一历史数据和帧数据类似地，可以将第二历史数据和帧数据存储在一个或更多个存储位置中。在一些实施方式中，可以将第二历史数据存储在和第一历史数据相同的存储位置中。在其它的实施方式中，可以将第一历史数据和第二历史数据存储在分开的位置。与其它实施方式一致，访问第一历史数据可以包括：例如从图像拍摄装置或计算装置接收第二历史数据和/或第二帧数据。此外，如第一历史数据那样，访问第二历史数据可以包括：取回或接收第二帧数据并对该第二帧数据进行分析以识别第二历史数据。在一些实施方式中，第一历史数据和第二历史数据可以是相同的。在其它的实施方式中，第一历史数据和第二历史数据可以是不同的。第二历史数据可以包括有关第二帧数据的信息，与上面讨论的第一历史数据类似。第二历史数据可以包括上面参照第一历史数据描述的信息中的任何信息，诸如医疗工具信息、解剖结构信息和/或关联的复杂性信息。在第二历史数据包括复杂性信息的实施方式中，此类信息可以指示复杂性信息或者关联着复杂性信息。例如，第二历史数据可以包括特定解剖结构与特定外科手术复杂程度之间的统计关系的指示。
本公开的一些方面可以涉及使用第二历史数据并且使用所识别的交互来对第二帧集合进行分析，以确定与第二帧集合相关联的第二外科手术复杂程度。第一外科手术复杂程度可以与第二外科手术复杂程度类似，并由此可以基于上面参照第一外科手术复杂程度提供的示例因素中的一个或更多个。在一些实施方式中，第二外科手术复杂程度可以按照和第一外科手术复杂程度相同的格式进行识别(例如，表示为同一标度内的值等)，然而，在一些实施方式中可以使用不同形式的表示。
与本公开的实施方式一致，可以根据各种方法来确定第一外科手术复杂程度和第二外科手术复杂程度。在一些实施方式中，所公开的实施方式可以包括：使用被训练成使用从在先外科手术捕获的帧数据来识别外科手术复杂程度的机器学习模型，来确定第一外科手术复杂程度或第二外科手术复杂程度中的至少一个复杂程度。例如，可以使用机器学习算法来开发机器学习模型。可以将训练数据(其可以包括从在先外科手术捕获的帧数据以及指示已知对应于该帧数据的外科手术复杂程度的标记)提供给机器学习算法，以开发经训练的模型。机器学习算法可以包括逻辑回归、线性回归、回归、随机森林、K-最近邻(KNN)模型、K-均值模型、决策树、cox比例风险回归模型、朴素贝叶斯模型、支持向量机(SVM)模型、人工神经网络、梯度提升算法或者任何其它形式的机器学习模型或算法。因此，第一历史数据可以包括使用从第一组在先外科手术捕获的第一帧数据训练的机器学习模型。类似地，第二历史数据可以包括使用从第二组在先外科手术捕获的第二帧数据训练的机器学习模型。结果，在经训练的模型被提供第一帧集合和第二帧集合时，经训练的模型可以被配置成分别确定第一外科手术复杂程度和第二外科手术复杂程度。
在一些示例性实施方式中，确定第一复杂程度或第二复杂程度中的至少一个复杂程度可以是基于生理反应的。如上面所讨论的，生理反应可以包括患者的直接或者间接导致外科手术的任何身体或解剖结构状况或反应。例如，生理反应可以包括：心率变化、物理移动、一个或更多个器官的失效或功能下降、体温变化、患者的口头反应、大脑活动的变化、呼吸率变化、排汗变化、血氧水平变化、心脏功能变化、交感神经系统的激活、内分泌反应、细胞因子生成、急性期反应、中性粒细胞白细胞增多症、淋巴细胞增殖或者响应于外科手术的任何其它身体变化。在一些实施方式中，生理反应可以指示外科手术复杂程度。例如，触发某些生理反应的外科手术可以被认为较复杂，并由此可以具有较高的复杂程度等级。例如，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中识别生理反应，并且可以将经训练的机器学习模型用于对第一帧集合进行分析，以识别第一物理反应，和/或对第二帧集合进行分析，以识别第二生理反应，并且可以基于所识别的第一生理反应来确定第一外科手术复杂程度，和/或可以基于所识别的第二生理反应来确定第二外科手术复杂程度。这种训练示例的示例可以包括外科手术的图像和/或视频短片，以及指示在图像和/或视频短片中描绘的物理反应的标记。
在一些示例性实施方式中，确定第一外科手术复杂程度或第二外科手术复杂程度中的至少一个复杂程度可以是基于解剖结构的状况的，如上提及的。举例来说，该状况可以涉及所检测到的解剖结构的恶化、撕裂、出血、胀大、变色、变形或者解剖结构的反映其当前状态的任何特性。在一些实施方式中，解剖结构的状况可以包括影响解剖结构的医疗状况。该医疗状况可以指示正在被执行的外科手术的目的或类型，并由此可以指示关联的复杂程度。例如，如果胆囊显现大的息肉，那么这可以指示在外科手术中涉及胆囊切除术，这对于确定复杂程度可能是有用的。在其它的实施方式中，医疗状况可以指示与外科手术相关联的一个或更多个并发因素。例如，在解剖结构处发生的大出血可以指示已经在外科手术期间出现的并发症，这可能影响外科手术复杂程度。另选地或者另外，医疗状况本身可以与某一复杂程度相关联。在一些实施方式中，解剖结构的状况可以是解剖结构的基于外科手术的当前时期或阶段的状态。例如，在解剖结构中进行的切口可以影响解剖结构的状况，并由此与切口之前的复杂程度相比，改变了复杂程度。例如，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中识别解剖结构的状况，可以将经训练的机器学习模型用于对第一帧集合进行分析，以识别第一解剖结构的第一状况，和/或对第二帧集合进行分析，以识别第二解剖结构(可能是与第一解剖结构相同或者可能是不同的解剖结构)的第二状况，并且可以基于所识别的第一状况来确定第一外科手术复杂程度，和/或可以基于所识别的第二状况来确定第二外科手术复杂程度。这种训练示例的示例可以包括解剖结构的图像和/或视频短片，以及指示解剖结构的状况的标记。
在本公开的一些实施方式中，确定第一外科手术复杂程度或第二外科手术复杂程度中的至少一个复杂程度可以基于患者特征。患者特征可以包括但不限于：年龄、性别、体重、身高、体重指数(BMI)、更年期状态、典型血压、患者基因组的特征、教育状况、教育程度、经济状况、收入水平、职业水平、保险类型、健康状态、自评健康、功能状况、功能障碍、疾病持续时间、疾病严重程度、疾病数量、疾病特征(诸如疾病类型、肿瘤尺寸、组织学分级、浸润淋巴结的数量等)、医护的利用、就医次数、就医间隔、定期的医护资源、家庭情况、婚姻状况、子女人数、家庭支持、种族、民族、文化、宗教、宗教类型、母语、过去对患者执行的医学检验的特征(诸如测试类型、测试时间、测试结果等)、过去对患者执行的医学治疗的特征(诸如治疗类型、治疗时间、治疗结果等)、或者任何其它相关特征。贯穿本公开描述了其它示例患者特征。可以使这些特征与某些外科手术复杂程度相联系。例如，老龄和/或超重患者可以与以下外科手术相关：该外科手术具有比更年轻或体型更好的患者高的复杂性。
根据一些实施方式，确定第一外科手术复杂程度或第二外科手术复杂程度中的至少一个复杂程度可以是基于与外科手术短片相关联的外科医生的技能水平的。例如，如果外科手术短片中描绘的外科医生具有低技能水平，那么作为降低执行技能的结果，可能通常被认为具有低复杂性的手术可能会变得更复杂。因此，如上所讨论的，技能水平可以是对外科医生执行外科手术或外科手术内的特定技术的能力的指示。在一些实施方式中，技能水平可以涉及外科医生的过去表现、外科医生已接受的训练或教育的类型和/或水平、外科医生已经执行过的外科手术次数、外科医生已经执行过的外科手术的类型、外科医生的资格、外科医生的经验年限、患者或其他医护专业人员对外科医生的评价、过去的外科手术结果、过去的外科手术并发症或者与评估外科医生的技能水平相关的任何其它信息。另选地或另外地，外科医生的技能水平可以通过视频短片的计算机分析来确定。例如，可以将人工智能用于对外科医生的技能水平进行分类，如下更详细讨论的。虽然技能水平在本文中被描述为外科医生的技能水平，但是在一些实施方式中，可以将技能水平与另一医护专业人员相关联，诸如麻醉师、护士、注册护士麻醉师(CRNA)、外科技术人员、住院医生、医学生、医生助理或者任何其他医护专业人员。因此，对贯穿本公开使用的外科医生的引用是任何相关医疗专业人员的简写。
本公开的一些实施方式还可以包括确定外科手术短片中的由医护提供者展示的技能的水平。确定第一复杂程度或第二复杂程度中的至少一个复杂程度可以是基于所确定的由医护提供者展示的技能水平的。医护提供者的技能水平可以是基于使用图像和/或视频分析算法(诸如对象和/或运动检测算法)对第一帧集合或第二帧集合的分析的。例如，医护提供者可以按照展示某一水平的技能的方式来执行一种或更多种技术。在一个示例中，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中确定医护提供者的技能水平，并且可以将经训练的机器学习模型用于对外科手术短片进行分析并且确定该外科手术短片中提供的由医护提供者展示的技能水平。这种训练示例的示例可以包括描绘外科手术的一部分的视频短片，以及指示该视频短片中展示的技能的水平的标记。在其它的实施方式中，技能水平可以是基于外科手术短片中的医护提供者的身份来确定的。例如，基于外科医生的身份，可以从外部源(诸如包括各种外科医生的技能水平信息的数据库)来确定关联的技能水平。因此，可以将一种或更多种面部识别算法用于识别医护提供者，并且可以将医护提供者的身份用于确定医护提供者的技能水平。
在一些示例性实施方式中，确定第一外科手术复杂程度或第二外科手术复杂程度中的至少一个复杂程度可以是基于电子医疗记录的分析的。在一些实施方式中，与患者的医疗历史有关的信息(其可以被包括在电子医疗记录中)可与对患者执行的外科手术的复杂程度相关。例如，电子医疗记录可以包括外科手术历史(诸如对患者执行的外科手术的列表、手术报告等)、产科历史(诸如怀孕名单、可能还有与怀孕相关联的细节，诸如并发症、后果等)、过敏、过去和目前的药物、免疫历史、生长图表和/或发育历史、来自过去的医疗遭遇的注释(例如，此类注释可以包括有关投诉的细节、体检、医学评估、诊断等)、测试结果、医学图像(诸如X射线图像、计算机断层扫描图像、磁共振成像图像、正电子发射断层扫描图像、单光子发射计算机断层扫描图像、超声图像、心电图图像、脑电图图像、肌电图图像、脑磁图图像等)和/或基于医学图像的信息、医疗视频和/或基于医疗视频的信息、订单、处方、患者家庭的医疗历史等。
根据本公开的实施方式，确定第一外科手术复杂程度还可以包括：识别第一帧集合中的医疗工具。在一些实施方式中，在第一帧集合中识别的医疗工具可以对应于在第二帧集合中识别的医疗工具。例如，可能在两个帧集合中识别同一工具。在其它的实施方式中，在第一帧集合中识别的医疗工具可以不同于在第二帧集合中识别的医疗工具。确定第一外科手术复杂程度可以基于医疗工具的类型。在第一帧集合中出现的工具的类型可以指示正在执行的手术的类型和/或复杂性。例如，如果医疗工具是仅被用于某些手术或手术类型的专门工具，那么可以至少部分地基于与那些手术或手术类型相关联的复杂性来确定复杂程度。
在一些示例性实施方式中，确定第一外科手术复杂程度可以基于在第一帧集合之后发生的事件。例如，诸如在描绘缝合的第一帧集合之后的帧中发生的泄漏的外科手术事件可以通告与第一帧集合相关联的复杂程度。(例如，单独基于第一帧集合的原本可能与低复杂程度相关联的缝合手术在从确定泄漏很可能因缝合不当而发生的镜头开始时，可以上升到更高的复杂程度。)稍后的事件可以包括与外科手术相关的对短片的外科手术复杂性产生影响的任何事件，包括贯穿本公开描述的术中外科手术事件的各种示例。再例如，在第一帧集合之后发生的事件可能是在第一帧集合之后发生的不利事件，诸如出血。所述事件的发生可以提供用于确定第一外科手术复杂程度的上下文。在一些实施方式中，可以基于对附加帧的分析来识别在第一帧集合之后发生的事件。例如，事件可以在第二帧集合之前发生，并且可以基于对第一帧集合与第二帧集合之间的帧进行分析来识别。在其它的实施方式中，可以基于第二帧集合来推断第一帧集合与第二帧集合之间的事件的发生，而无需分析额外的帧。此外，在一些实施方式中，所述事件可能在第二帧集合之后发生。
相似地，在一些实施方式中，确定第二外科手术复杂程度可以基于在第一帧集合与第二帧集合之间发生的事件。所述事件可能在其它时间发生，包括在第一帧集合处、在第一帧集合之前或者在第二帧集合之后。在一些实施方式中，可以基于被训练以使事件和/或事件定时与各种复杂程度相联系的机器学习模型，基于事件的发生来确定第一外科手术复杂程度和/或第二外科手术复杂程度。作为例示性示例，确定第二外科手术复杂程度可以基于在第一帧集合之后呼叫额外的外科医生的指示。呼叫额外的外科医生的指示例如可以包括第二帧集合中存在但在第一帧集合中不存在的外科医生。呼叫额外的外科医生可以指示执行外科手术的外科医生需要协助和/或指导，这可能与确定外科手术复杂程度相关。在另一示例中，确定第二外科手术复杂程度可以基于在第一帧集合之后施用特定药物的指示。例如，药物可以包括麻醉(例如，局部、区域和/或全身麻醉)、巴比妥酸盐、苯二氮平(benzodiazepine)、镇静剂、凝结剂或者可以在外科手术期间施用的各种其它药物。药物的施用可能与确定外科手术复杂程度相关。在一些实施方式中，药物的施用可以指示可能已经发生的一种或更多种并发症，其也可能与确定外科手术复杂程度相关。
根据本公开的实施方式，确定第二外科手术复杂程度可以基于从第一帧集合到第二帧集合所经过的时间。例如，从第一帧集合到第二帧集合所经过的时间可以表示在当解剖结构第一次出现在外科手术短片中时与医疗工具第一次与解剖结构交互之间的时间。作为另一示例，所经过的时间可以指示两个外科手术阶段和/或术中外科手术事件之间的时间。例如，在确定第一外科手术复杂程度还包括识别第一帧集合中的医疗工具的实施方式中，第一帧集合可以指示一个外科手术阶段(诸如切口)，第二帧集合可以指示第二外科手术阶段(诸如缝合)。在这两个阶段或事件之间所经过的时间可以至少部分地指示外科复杂程度。(例如，所经过时间大于特定手术的正常时间可以指示该手术比正常情况复杂。)外科手术内的其它持续时间也可以指示外科手术复杂程度，诸如动作的持续时间、事件的持续时间、外科手术阶段的持续时间、动作与对应的生理反应之间的持续时间等。可以对外科手术短片进行分析以测量这种持续时间，并且外科手术复杂程度的确定可以基于所确定的持续时间。
本公开的实施方式还可以包括将第一外科手术复杂程度和/或第二外科手术复杂程度与选定阈值进行比较。在一些实施方式中，可以将选定阈值用于选择应当选择哪些帧以供显示和/或包含在数据结构中。例如，所公开的方法可以包括以下步骤：确定第一外科手术复杂程度小于选定阈值并且确定第二外科手术复杂程度超过选定阈值。这可以指示第二帧集合与满足最小复杂程度的复杂程度相关联，而第一帧集合并非如此。因此，所公开的方法还可以包括以下步骤：响应于确定第一外科手术复杂程度小于选定阈值并且确定第二外科手术复杂程度超过选定阈值，将第二帧集合存储在数据结构中，同时从数据结构中略过第一帧集合。外科医生或其他用户可以使用数据结构来选择满足最小复杂程度要求的视频以供显示。
本公开的一些实施方式还可以包括向具有第一外科手术复杂程度的第一帧集合加标签；向具有第二外科手术复杂程度的第二帧集合加标签；以及生成包括具有第一标签的第一帧集合和具有第二标签的第二帧集合的数据结构。数据结构可以将第一帧集合和第二帧集合以及外科手术短片的其它帧与对应的复杂程度相关联，使得它被编索引以便于取回。这种编索引可以对应于上面详细讨论的视频编索引。例如，外科手术复杂程度可以是如上所述以及如图6所示的数据结构600中所例示的事件特征。因此，生成数据结构可以使得外科医生能够选择第二外科手术复杂程度，并由此使第二帧集合被显示，同时略过显示第一帧集合。例如，可以基于上面参照图8A和图8B描述的过程800来选择视频以进行回放。
图13是例示与所公开的实施方式一致的分析外科手术短片的复杂性的示例过程1300的流程图。可以由至少一个处理装置(诸如本文所描述的处理器)来执行过程1300。作为一个示例，处理器可以包括如图14所例示的处理器1412。贯穿本公开，将术语“处理器”用作“至少一个处理器”的简写。换句话说，处理器可以包括一个或更多个结构，无论这种结构是被并置、连接还是被分散，该结构都执行逻辑运算。在一些实施方式中，一种非暂时性计算机可读介质可以包含指令，该指令在由处理器执行时，使该处理器执行过程1300。过程1300不一定限于图1300中示出的步骤，并且过程1300中还可以包括贯穿本公开描述的各种实施方式的任何步骤或过程。在步骤1310，过程1300可以包括：对外科手术短片的帧进行分析，以识别第一帧集合中的解剖结构，如先前所讨论的。在一些实施方式中，可以使用图像和/或视频分析算法(诸如对象或运动检测算法)来识别解剖结构，如先前所讨论的。在其它的实施方式中，可以使用被训练以检测解剖结构的机器学习模型来识别解剖结构，如稍早所述的。
在步骤1320，过程1300可以包括访问第一历史数据，该第一历史数据是基于对从第一组在先外科手术拍摄的第一帧数据的分析的。在一些实施方式中，第一历史数据可以包括使用从第一组在先外科手术拍摄的第一帧数据训练的机器学习模型，如先前所描述的。在步骤1330，过程1300可以包括：使用第一历史数据并且使用所识别的解剖结构来对第一帧集合进行分析，以确定与第一帧集合相关联的第一外科手术复杂程度。例如，可以使用训练数据(例如，基于以从在先外科手术拍摄的帧数据的分析为基础的历史数据的训练数据)来对机器学习模型进行训练，以识别与帧集合相关联的外科手术复杂程度，并且可以将经训练的机器学习模型用于对第一帧集合进行分析，以确定与第一帧集合相关联的第一外科手术复杂程度。
在步骤1340，过程1300可以包括：对外科手术短片的帧进行分析，以识别第二帧集合中的医疗工具、解剖结构以及医疗工具与解剖结构之间的交互，如先前更详细地描述的。例如，可以将对象检测算法和/或动作检测算法用于对第二帧集合进行分析，以检测医疗工具和/或解剖结构和/或医疗工具与解剖结构之间的交互。在另一示例中，可以使用这样的机器学习模型，即，该机器学习模型使用训练示例进行训练，以在图像和/或视频中检测医疗工具和/或解剖结构和/或医疗工具与解剖结构之间的交互。在步骤1350，过程1300可以包括访问第二历史数据，该第二历史数据是基于对从第二组在先外科手术拍摄的第二帧数据的分析的。在一些实施方式中，第一历史数据和第二历史数据可以是相同的。在其它的实施方式中，第一历史数据和第二历史数据可以是不同的。在步骤1360，过程1300可以包括：使用第二历史数据并且使用所识别的交互来对第二帧集合进行分析，以确定与第二帧集合相关联的第二外科手术复杂程度，如先前所描述的。
手术室时间表可能需要基于与外科手术相关联的延迟来进行调整。所公开的系统和方法可以涉及对外科手术短片进行分析，以识别外科手术的特征、患者状况以及其它特征以确定对手术室时间表的调整。相反，如果外科手术在已安排时间之前完成，那么可能需要调整时间表。因此，需要使用在外科手术期间从外科手术短片获得的信息来以有效且高效的方式调整手术室时间表。
本公开的各方面可以涉及调整手术室时间表，包括方法、系统、装置以及计算机可读介质，手术室时间表可以包括与进行中的外科手术的完成相关联的已安排时间，以及开始和完成未来外科手术的与已安排时间。
下面描述了用于使得能够调整手术室时间表的方法和系统两者，其中，要理解该方法或系统的各方面可以通过有线、无线或两者的网络以电子方式来进行。这种方法或系统的其它方面可以使用非电子手段来进行。在最广泛的意义上，该方法或系统不限于特定的物理和/或电子工具，而是可以使用许多不同的工具来完成。为了便于讨论，下面首先描述了一种方法，并且对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。
所公开的实施方式可以涉及从位于外科手术室的图像传感器接收跟踪进行中的外科手术的视觉数据。如本文所使用的，视觉数据可以包括任何形式的记录的视觉媒体，包括记录的图像、一个或更多个帧或图像或短片、和/或从前述直接或间接地导出的数据。另外，视频数据可以包括声音。例如，视觉数据可以包括由图像传感器(诸如摄像机115、121、123和/或125，如上面结合图1所描述的)拍摄的一个或更多个图像的序列。所述摄像机中上的一些(例如，摄像机115、121和125)可以捕获手术台141的视频/图像数据，摄像机121可以捕获正在执行外科手术的外科医生131的视频/图像数据。在一些情况下，摄像机可以捕获与外科手术团队人员相关联的视频/图像数据，诸如位于手术室101中的麻醉师、护士、外科技术人员或其他医护专业人员。
在各种实施方式中，可以将图像传感器配置成，通过将可见光、X射线光(例如，经由荧光透视)、红外光或紫外光转换成图像、图像序列、视频以及任何其它形式的表示来捕获视觉数据。可以将图像/视频数据使用任何合适的格式存储为计算机文件，诸如JPEG、PNG、TIFF、Audio Video Interleave(AVI)、Flash Video格式(FLV)、QuickTime文件格式(MOV)、MPEG(MPG、MP4、M4P等)、Windows Media Video(WMV)、Material Exchange格式(MXF)、未压缩格式、无损压缩格式、有损压缩格式或者其它音频或视频格式。
图像传感器可以是能够捕获图像或视频数据的任何传感器。可以使用单个传感器，或者可以将多个图像传感器定位在外科手术室中(例如，可以将传感器定位在整个手术室中)。在例示性实施方式中，可以将示例图像传感器定位在患者上方。示例图像传感器可以处于手术台上方、紧挨着手术台、紧挨着位于手术室中的装置或者能够检测有关外科手术的信息的任何其它地方。如图1所示，图像传感器可以包括摄像机115至125。在一些情况下，图像传感器可以是可佩戴装置(例如，头戴式摄像机、体载式摄像机或者能够与人相关联的任何传感器)。另外或者另选地，可以将示例图像传感器定位在外科手术工具上(即，作为外科手术器械的一部分)。例如，图像传感器可以是支气管镜管、腹腔镜、内窥镜或者被配置用于患者体内或体外的任何其它医疗器械的一部分(例如，用于诸如胃镜检查、结肠镜检查、宫腔镜检查、膀胱镜检查、柔性乙状肠镜检查、无线胶囊内窥镜检查等的手术)。
图像传感器(特别是当作为外科手术器械的一部分时)可以包括用于发射合适波长的光(诸如可见光、红外光和/或紫外光)的一个或更多个发光源。发光源可以包括任何合适的源(例如，发射可见光的发光二极管(LED)、荧光光源、白炽光源、红外LED、紫外LED和/或其它类型的光源)。图像传感器可以不限于捕捉光，而是可以被配置成处理用于生成与所捕获的信号相关的视觉数据的其它信号。例如，可以将图像传感器配置成捕获超声、电磁场的变化或者任何其它合适的信号(例如，力在表面上的分布)等，以生成与所捕获的信息相关的视觉数据。
外科手术可以包括与针对患者身体的手动处置或手术处置相关联或涉及的任何医疗手术。外科手术可以包括切割、磨削、缝合和/或者涉及测量、处理或物理改变身体组织和/或器官的其它技术。此类外科手术的一些非限制性示例可以包括：腹腔镜外科手术、胸腔镜手术、支气管镜手术、显微镜手术、开放式外科手术、机器人外科手术、阑尾切除术、颈动脉内膜切除术、腕管松解术、白内障外科手术、剖腹产术、胆囊切除术、结肠切除术(诸如部分结肠切除术、全结肠切除术等)、冠状动脉血管成形术、冠状动脉搭桥术、清创术(例如伤口、烧伤、感染等)、游离皮肤移植、痔切除术、髋关节置换术、子宫切除术、宫腔镜检查、腹股沟疝修补术、膝关节镜检查、膝关节置换术、乳房切除术(诸如部分乳房切除术、全乳房切除术、改良根治性乳房切除术等)、前列腺切除术、前列腺移除、肩关节镜检查、脊柱外科手术(诸如脊柱融合术、椎板切除术、椎间孔切开术、椎间盘切除术、椎间盘置换术、椎板间植入物等)、扁桃体切除术、人工耳蜗植入手术、脑肿瘤(例如脑膜瘤等)切除术、诸如经皮腔内冠状动脉血管成形术的介入手术、经导管主动脉瓣置换术、用于清除脑出血的微创外科手术、或者涉及某一形式切口的任何其它医疗手术。虽然本公开是参照外科手术来进行描述的，但是要理解，它也可以适用于其它形式的医疗手术或者一般的手术。
手术室可以是任何合适的设施(例如，医院内的房间)，在手术室中，外科手术可以在无菌环境中执行。手术室可以被配置成灯光明亮的并且具有头顶上方的外科手术灯。手术室可以以温度和湿度受控为特色，并且可能是无窗口的。在示例实施方式中，手术室可以包括空气处理器，其可以过滤空气并在手术室内保持稍高的压力以防止污染。手术室可以包括断电情况下的电力备用系统，并且可以包括氧气和麻醉气体的供应。房间可以包括用于常见外科手术供应的储存空间、一次性用品的容器、麻醉推车、手术台、摄像机、监测器和/或其它用于外科手术的物品。在外科手术前由外科医生、麻醉师、手术部门医生(operating department practitioner(ODP))以及护士使用的专用擦洗区域可以作为手术室的部分。另外，手术室中包括的地图可以使得终末清洁人员(terminal cleaner)能够在清洁期间将手术台和设备重新排列成希望的布局。在各种实施方式中，一个或更多个手术室可以是手术套房(operating suite)的一部分，它们可以在医护设施内形成不同的区段。手术套房可以包括一个或更多个洗手间、准备和恢复室、储存和清洁设施、办公室、专用走廊以及可能还有其它支持单元。在各种实施方式中，手术套房可以对气候和空气进行控制，并且与其它部门分隔开。
在各种实施方式中，由图像传感器捕获的视觉数据可以跟踪进行中的外科手术。在一些情况下，可以将视觉数据用于跟踪关注区域(ROI)，诸如患者身体的进行手术的区域(例如，如图1所示的区域127)。在示例实施方式中，摄像机115至125可以经由摄像机运动、摄像机旋转或者通过朝着ROI进行缩放来跟踪ROI，从而捕获视觉数据。例如，摄像机115可以是可移动的，并且指向需要在外科手术期间、之前或之后捕获视频/图像数据的ROI。举例来说，如图1所示，摄像机115可以如示出俯仰方向的箭头135A以及示出摄像机115的偏航方向的箭头135B所指示的那样旋转。在各种实施方式中，可以对摄像机(例如，摄像机115)的俯仰角和偏航角进行控制以跟踪ROI。
在示例实施方式中，可以将摄像机115配置成跟踪位置127内的外科手术器械(也被称为外科手术工具、医疗器械等)、解剖结构、外科医生131的手、切口、解剖结构的移动和/或任何其它对象。在各种实施方式中，摄像机115可以配备有用于精确跟踪的激光器137(例如，红外激光器)。在一些情况下，可以经由基于计算机的控制应用自动跟踪摄像机115，该应用使用图像识别算法来定位摄像机以捕获ROI的视频/图像数据。例如，该控制应用可以识别解剖结构、识别解剖结构内的特定位置处的外科手术工具、外科医生的手、出血、运动等，以及通过以适当的偏航角和俯仰角旋转摄像机115来利用摄像机115跟踪该位置。在一些实施方式中，该控制应用可以控制各种摄像机115至125的位置(即，偏航角和俯仰角)，以在外科手术期间从多于一个的ROI捕获视频/图像数据。另外或者另选地，人类操作者可以控制各种摄像机115至125的位置，和/或人类操作者可以在控制摄像机的位置时对控制应用进行监督。
如本文所使用的，术语“解剖结构”可以包括活生物体的任何特定部分，例如包括一个或更多个器官、组织、管、动脉、细胞或者任何其它解剖部分。在一些情况下，假肢、人工器官等可以被认为是解剖结构。
摄像机115至125还可以包括用于放大一个或更多个ROI的变焦镜头。在示例实施方式中，摄像机115可以包括变焦镜头138，用于放大ROI(例如，解剖结构附近的外科手术工具)。摄像机121可以包括用于从ROI周围的较大区域捕获视频/图像数据的变焦镜头139。例如，摄像机121可以捕获整个位置127的视频/图像数据。在一些实施方式中，可以对从摄像机121获得的视频/图像数据进行分析，以识别外科手术期间的ROI，并且可以将该控制应用配置成使摄像机115朝着通过摄像机121识别的ROI变焦。
在各种实施方式中，可以将该控制应用配置成协调外科手术期间各种摄像机的位置以及变焦。例如，该控制应用可以引导摄像机115，以可视地跟踪解剖结构并且可以引导摄像机121和125跟踪外科手术器械。摄像机121和125可以从不同的视角跟踪同一ROI(例如，外科手术器械)。例如，可以将从不同视角获得的视频/图像数据用于确定外科手术器械相对于解剖结构的表面的位置。
在各种实施方式中，摄像机115至125的位置和变焦的控制可以是基于规则的并且遵循为给定外科手术开发的算法。例如，可以将该控制应用配置成引导摄像机115跟踪外科手术器械、将摄像机121引导向位置127、引导摄像机123跟踪外科医生的手的运动以及将摄像机125引导向解剖结构。该算法可以包括根据外科手术期间的各种事件来确定摄像机115至125的位置和变焦(放大)的任何合适的逻辑语句。例如，该算法可以将至少一个摄像机引导向在手术期间发生出血的解剖结构的区域。
在各种情况下，当摄像机(例如，摄像机115)跟踪移动或变形的对象时(例如，当摄像机115跟踪移动的外科手术器械或者移动/脉动的解剖结构时)，该控制应用可以确定摄像机115的最大允许变焦，使得移动或变形的对象就不会脱离摄像机的视场。在示例实施方式中，该控制应用可以最初选择摄像机115的第一变焦，评估移动或变形的对象是否脱离了摄像机的视场，以及根据需要调整摄像机的变焦以防止移动或变形的对象脱离摄像机的视场。在各种实施方式中，可以基于移动或变形对象的方向和速度重新调整摄像机变焦。在一些情况下，可以将该控制应用配置成基于外科医生的手的移动、外科手术器械的移动、外科医生的身体的移动、很可能反映下一步骤的历史数据或者可以从中导出未来移动的任何其它数据，来预测摄像机115至125的未来位置和取向。
可以将图像传感器捕获的视觉数据经由网络传送至计算机系统以供进一步分析和存储。例如，图14示出了示例系统1401，该系统可以包括计算机系统1410、网络1418以及经由网络1418连接至计算机系统1401的图像传感器1421(例如，位于手术室内的摄像机)和1423(例如，作为外科手术器械的部分的图像传感器)。系统1401可以包括用于存储与先前进行的外科手术相关的各种类型的数据的数据库1411(即，历史外科手术数据，可以包括：历史图像、视频或音频数据、文本数据、医生笔记、通过分析历史外科手术数据而获得的数据、与历史外科手术相关的其它数据)。在各种实施方式中，历史外科手术数据可以是与先前进行的外科手术相关的任何外科手术数据。另外，系统1401可以包括一个或更多个音频传感器1425、发光装置1427以及时间表1430。
计算机系统1410可以包括：用于分析由图像传感器收集的视觉数据的一个或更多个处理器1412、用于存储视觉数据和/或其它类型信息的数据存储装置1413、用于输入计算机系统1410的任何合适输入的输入模块1414以及用于控制计算机系统1410的操作的各个方面的软件指令1416。
系统1410的一个或更多个处理器1412可以包括用于并发地处理多个操作和/或流的多核处理器。例如，处理器1412可以是并行处理单元，以并发地处理来自不同图像传感器1421和1423的视觉数据。在一些实施方式中，处理器1412可以包括一个或更多个处理装置，诸如但不限于由IntelTM制造的PentiumTM或XeonTM系列微处理器、由AMDTM制造的TurionTM系列或者来自其它制造商的各种处理器中的任一者。处理器1412可以包括多个协处理器，各个协处理器皆被配置成运行特定运算，诸如浮点算术、图形、信号处理、字符串处理或者I/O对接。在一些实施方式中，处理器可以包括：现场可编程门阵列(FPGA)、中央处理单元(CPU)、图形处理单元(GPU)等。
数据库1411可以包括一个或更多个计算装置，该计算装置配置有恰当的软件，以执行向系统1410提供内容的操作。数据库1411例如可以包括：OracleTM数据库、SybaseTM数据库和/或其它关系数据库或非关系数据库，诸如HadoopTM序列文件、HBaseTM或CassandraTM。在例示性实施方式中，数据库1411可以包括计算组件(例如，数据库管理系统、数据库服务器等)，该计算组件被配置成接收和处理针对被存储在数据库的存储器装置中的数据的请求，并从数据库提供数据。如前所讨论的，可以将数据库1411配置成收集和/或保持与外科手术相关联的数据。数据库1411可以从多种源收集数据，例如包括在线资源。
网络1418可以包括各种计算组件之间的任何类型的连接。例如，网络1418可以经由网络连接来促进信息的交换，该网络连接可以包括互联网连接、局域网连接、近场通信(NFC)和/或能够在系统1401的组件之间发送和接收信息的其它合适的连接。在一些实施方式中，系统1401的一个或更多个组件可以直接通过一个或更多个专用通信链路进行通信。
系统1401的各种示例实施方式可以包括计算机实现方法、有形非暂时性计算机可读介质以及系统。例如，计算机实现方法可以由至少一个处理器来执行，该处理器从诸如介质1413的非暂时性计算机可读存储介质接收指令，如图14所示。类似地，与本公开一致的系统和装置可以包括至少一个处理器和存储器，并且该存储器可以是非暂时性计算机可读存储介质。如本文所使用的，非暂时性计算机可读存储介质是指可以存储至少一个处理器可读的信息或数据的任何类型的物理存储器。示例可以包括：随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CD ROM、DVD、闪存驱动器、磁盘以及任何其它已知的物理存储介质(无论该其它已知的物理存储介质中的一些部分或所有部分是物理地位于手术室中或附近、同一设施的另一房间中、遥控站点(remote captivesite)处，还是基于云的服务器群中)。单数的术语(诸如“存储器”和“计算机可读存储介质”)可以另外是指多个结构，诸如多个存储器或计算机可读存储介质。如本文所引用的，除非另外指定，否则“存储器”可以包括任何类型的计算机可读存储介质。计算机可读存储介质可以存储供至少一个处理器执行的指令，包括用于使处理器执行与本文的实施方式一致的步骤或阶段。另外，一个或更多个计算机可读存储介质可以在实现计算机实现方法方面加以利用。术语“计算机可读存储介质”应当被理解成包括有形物品并且排除载波和瞬时信号。
输入模块1414可以是向一个或更多个处理器1412提供输入的任何合适的输入接口。在示例实施方式中，输入接口可以是输入字母数字字符的键盘、鼠标、操纵杆、触摸屏、屏上键盘、智能手机、音频捕获装置(例如，麦克风)、姿势捕获装置(例如，摄像机)以及用于输入数据的其它装置。当用户输入信息时，该信息可以被显示在监测器上以确保输入的正确性。在各种实施方式中，在被提交给系统1410之前，可以对所述输入进行分析、验证或改变。
可以将软件指令1416配置成控制系统1410的操作的各个方面，其可以包括：接收和分析来自图像传感器的视觉数据、控制图像传感器的各个方面(例如，移动图像传感器、旋转图像传感器、操作图像传感器的变焦镜头朝着示例ROI变焦、和/或其它移动)、控制手术室中的其它装置的各个方面(例如，控制音频传感器、化学传感器、发光装置和/或其它装置的操作)。
如先前所描述的，图像传感器1421可以是能够捕获图像或视频数据的任何合适的传感器。例如，这种传感器可以是摄像机115至125。
音频传感器1425可以是捕获音频数据的任何合适的传感器。可以将音频传感器1425配置成通过将声音转换成数字信息来捕获音频。音频传感器1425的一些示例可以包括：麦克风、单向麦克风、双向麦克风、心形指向麦克风、全向麦克风、板载麦克风、有线麦克风、无线麦克风、上述的任何组合以及任何其它声音捕获装置。
可以将发光装置1427配置成发射光，例如以便能够通过图像传感器1421实现更好的图像拍摄。在一些实施方式中，光的发射可以与图像传感器1421的拍摄操作进行协调。另外或者另选地，光的发射可以是连续的。在一些情况下，可以在选定时间执行光的发射。所发射的光可以是可见光、红外光、紫外光、深紫外光、X射线、伽马射线和/或处于光谱的任何其它部分。
如下所述，时间表1430可以包括显示与进行中的外科手术的完成相关联的已安排时间的界面，以及开始和完成未来外科手术的已安排时间。可以使用任何合适的方法(例如，作为独立软件应用程序、作为网站、作为电子表格、或者任何其它合适的基于计算机的应用或基于纸张的文档)来实现时间表1430。示例时间表1430可以包括手术列表以及与特定手术相关联的开始时间和完成时间的列表。另外或者另选地，时间表1430可以包括数据结构，该数据结构被配置成表示与至少一个手术室的时间表相关的信息和/或与至少一个外科手术的时间表相关的信息(诸如与进行中的外科手术的完成相关联的已安排时间)，以及开始和完成未来外科手术的已安排时间。
图15示出了时间表1430，该时间表可以包括列出的手术，诸如手术A至C(例如，外科手术，或者可以在使用时间表1430的手术室中执行的任何其它合适的医疗手术)。对于各个手术A至C，可以确定对应的开始时间和结束时间。例如，对于过去的手术A，开始时间1521A和完成时间1521B可以是实际的开始时间和完成时间。(由于手术A完成，因此时间表1430可以进行自动更新以反映实际时间)。图15示出了，对于当前手术B，开始时间1523A可以是实际的时间，而完成时间1523B可以是估计的时间(并且被记录为估计时间)。另外，对于被安排为在未来执行的手术C，可以估计并记录开始时间1525A和完成时间1525B。应注意，时间表1430不限于显示和或保持列出的手术以及手术的开始/完成时间，而是可以包括与示例外科手术相关联的各种其它数据。例如，可以将时间表1430配置成允许时间表1430的用户与时间表1430的各种要素交互(对于当时间表1430由基于计算机的界面(诸如网页、软件应用和/或另一界面)表示时的情况而言)。例如，可以允许用户点击或者以其它方式选择区域1513、1515或1517，来分别获得手术A、B或C的细节。此类细节可以包括：患者信息(例如，患者的名字、年龄、医疗历史等)、外科手术信息(例如，外科手术的类型、被用于外科手术的工具类型、被用于外科手术的麻醉类型和/或外科手术的其它特征)、以及医护提供者信息(例如，外科医生的名字、麻醉师的名字、外科医生的经验、外科医生的成功率、基于外科医生的外科结果的外科医生等级、和/或与外科医生相关的其它数据)。前述信息中的一些或全部信息可能已经显现在区域1513、1515以及1517中，而无需进一步挖掘。
在各种实施方式中，外科手术的信息可以由医护提供者(例如，护士、外科手术助理、外科医生和/或其他医护专业人员)经由如图16所示的示例表格1601进行输入。例如，表格1601可以具有：“紧急性”字段，在该字段中，医护提供者可以指定已安排外科手术的紧急性；“外科手术类型”字段，在该字段中，医护提供者可以指定外科手术的类型(或者外科手术的名称)；“并发症”字段，在该字段中，医护提供者可以指定患者的在外科手术期间可能导致并发症的医疗历史事件；“患者简档”字段(诸如“名字”、“地址”、“出生日期”、“联系人”以及“紧急联系人”)，在该字段中，医护提供者可以指定关于患者的对应信息。此外，表格1601可以包括可被用于描述患者的医疗历史的“医疗历史”字段(例如，“医疗历史”字段可以是下拉列表、医护提供者可以键入描述患者的医疗历史的文本的空间、或者可以被用于患者的医疗历史描述的任何其它合适的图形用户界面要素)。另外，表格1601可以包括“外科手术团队”相关字段，其可以指定被安排为患者提供外科手术的医疗人员的名字和责任。可以通过“添加下一成员”按钮添加有关多个医护提供者的信息，如图16所示。表格1601仅是具有少数示例性字段的表格的一个例示性示例，该字段可以被用于将关于外科手术的信息输入到时间表1430中，并且可以使用允许输入时间表1430的相关信息的任何其它合适的形式。表格上的信息字段数量以及用于捕获所识别的信息类型可能是管理员偏好的问题。另外或者另选地，可以从其它来源接收外科手术的信息，诸如医院信息系统(HIS)、电子医疗记录(EMR)、计划的手术室时间表、数字日历、外部系统等。
用于使得能够调整手术室时间表的实施方式的各方面可以包括：访问包含基于历史外科手术数据的信息的数据结构；以及对进行中的外科手术的视觉数据以及历史外科手术数据进行分析，以确定进行中的外科手术的估计完成时间。在各种实施方式中，可以由执行软件指令1416的系统1410的一个或更多个处理器来执行该方法的任何步骤。
可以将该数据结构存储在数据库1411中，并且可以经由网络1418进行访问，或者可以在系统1410的存储器中进行本地存储。包含历史外科手术数据的数据结构可以包括任何合适的数据(例如，图像数据、视频数据、文本数据、数值数据、电子表格、公式、软件代码、计算机模型和/或其它数据对象)，以及各种数据值之间的任何合适的关系(或数据值的组合)。可以将数据以以下方式进行存储：线性地、水平地、分层地、有关系地、无关系地、一维地、多维地、可操作地、以有序的方式、以无序的方式、以面向对象的方式、以集中的方式、以去中心化的方式、以分布式方式、以自定义方式或者以使得能够进行数据访问的任何方式。作为非限制性示例，数据结构可以包括：阵列、关联阵列、链接列表、二叉树、平衡树、堆、堆栈、队列、集合、散列表、记录、标签联合、ER模型以及图形。例如，数据结构可以包括：XML代码、XML数据库、RDBMS数据库、SQL数据库或者用于数据存储/搜索的NoSQL另选方案，举例来说，如MongoDB、Redis、Couchbase、Datastax Enterprise Graph、Elastic Search、Splunk、Solr、Cassandra、Amazon DynamoDB、Scylla、HBase以及Neo4J。数据结构可以是所公开的系统的组件或者远程计算组件(例如，基于云的数据结构)。可以将数据结构中的数据存储在连续或非连续的存储器中。此外，如本文所使用的，数据结构不要求信息位于同一处。例如，可以将数据结构分布在多个服务器上，这些服务器可以由相同或不同的实体拥有或运营。因此，本文以单数形式使用的术语“数据结构”包括复数数据结构。
在示例实施方式中，该数据结构可以包括：手术类型(例如，搭桥外科手术、支气管镜检查或者如上所述的任何其它外科手术)、患者的一个或更多个特征(例如，年龄、性别、可能影响手术的医学考虑、过去的医疗历史和/或其它患者信息)、手术外科医生和/或麻醉师的名字和/或特征，以及完成该手术所需的时间。在一些情况下，完成手术的时间可以包括：准备手术室的时间、准备外科手术的患者的时间、需要医疗人员的时间(即，护士、外科医生、麻醉师等)、患者被麻醉或入睡所需的时间、清洁手术室所需的时间、或者将手术室置于下一外科手术的条件下所需的任何其它外科手术相关时间。
在示例实施方式中，该数据结构可以是具有一个或更多个数据库表的关系数据库。例如，图17A示出了数据结构1701的示例，其可以包括数据表1711和1713。在示例实施方式中，数据结构1701可以是关系数据库的部分、可以被存储在存储器中等。表1711和1713可以包括多个记录(例如，如图17A所示的记录1和2)，并且可以具有各种字段，诸如字段“记录编号”、“手术”、“年龄”、“性别”、“医疗注意事项”、“时间”以及“其它数据”。例如，字段“记录编号”可以包括可以作为整数的记录用标记，字段“手术”可以包括外科手术的名称，字段“年龄”可以包括患者的年龄，字段“性别”可以包括患者的性别，字段“医疗注意事项”可以包括有关患者的医疗历史的信息(其可以与具有如字段“手术”所示的名称的外科手术相关)，字段“时间”可以包括外科手术所需的时间，以及字段“其它数据”可以包括针对与外科手术相关的任何其它合适的数据的链接。例如，如图17A所示，1711可以包括针对以下数据的链接：可以对应于图像数据的数据1712A、可以对应于视频数据的数据1712B；可以对应于文本数据(例如，在外科手术期间或之后记录的注释、患者记录、术后报告等)的数据1712C，和可以对应于音频数据的数据1712D。在各种实施方式中，可以在外科手术期间捕获图像、视频或音频数据。在一些情况下，视频数据还可以包括音频数据。图像、视频、文本或音频数据1712A至1712D只是在外科手术期间可以收集的数据中的一些。其它数据可以包括患者的生命体征数据，诸如心率数据、血压数据、血检数据、血氧水平、或者在外科手术期间记录的任何其它患者相关数据。数据的一些附加示例可以包括：室温、所使用的外科手术器械的类型、或者与外科手术相关并且在外科手术之前、期间或之后记录的任何其它数据。
如图17A所示，表1711和1713可以包括外科手术的记录。例如，表1711的记录1表明对患有肾病的65岁男性执行搭桥外科手术并且在4小时内完成搭桥外科手术。例如，表1711的记录2表明对没有可能使外科手术变复杂的背景医疗状况的78岁女性执行搭桥外科手术并且在3小时内完成搭桥外科手术。表1713表明，由Dr.Mac对65岁男性进行了搭桥外科手术，以及由Dr.Doe对78岁女性进行了搭桥外科手术。表1711中列出的诸如年龄、性别以及医学考虑事项的患者特征只是示例性患者特征的一些，并且可以使用任何其它合适的特征来区分一个外科手术与另一外科手术。例如，患者特征还可以包括：患者过敏、患者的麻醉耐受性、患者的各种细节(例如，在搭桥外科手术期间需要处理多少动脉)、患者的体重、患者的体型、患者的解剖学细节、或者可能对外科手术的持续时间(和成功)产生影响的任何其它患者相关特征。
数据结构1701可以具有任何其它数量的合适表，其可以表征外科手术的任何合适的方面。例如，1701可以包括以下表：该表指示关联的麻醉师身份、外科手术在一天中的时间、该外科手术是否是由外科医生(例如，在外科医生一生中、在特定的一天内等)进行的第一、第二、第三台手术、关联的麻醉师护士助理、在外科手术期间是否存在任何并发症、以及与手术相关的任何其它信息。
访问数据结构可以包括从数据结构读取信息和/或将信息写入数据结构。例如，从数据结构读取和/或向数据结构写入可以包括读取和/或写入任何合适的历史外科手术数据，诸如历史视觉数据、历史音频数据、历史文本数据(例如，示例历史外科手术期间的注释)、和/或其它历史数据格式。在示例实施方式中，访问数据结构可以包括从数据库111或任何其它合适的电子存储储存库读取数据和/或向该数据库或任何其它合适的电子存储储存库写入数据。在一些情况下，写入数据可以包括打印数据(例如，纸张上的包括历史数据的打印报告)。
所公开的实施方式还可以包括：使用数据结构对进行中的外科手术的视觉数据进行分析，以确定进行中的外科手术的估计完成时间。所估计的完成时间可以是外科手术的估计完成的任何合适的指示符，例如包括：外科手术被预期完成的一天中的时间、完成前剩余的时间、外科手术的所估计的总持续时间、外科手术的完成的概率分布时间值等。而且，完成时间可以包括基于历史外科手术数据(例如，与历史完成时间相关联的标准偏差、平均历史完成时间、历史完成时间的均值、和/或完成时间的其它统计指标)来指示完成的可能性的附加统计信息。在一些示例中，可以使用训练示例来对机器学习模型进行训练，以根据图像和/或视频来估计外科手术的完成时间，并且可以将经训练的机器学习模型用于对视觉数据进行分析并确定进行中的外科手术的估计完成时间。这种训练示例的示例可以包括外科手术的图像和/或视频，以及指示外科手术的估计完成时间的标记。例如，训练示例的标记可以是基于包含基于历史外科手术数据的信息的数据结构、历史数据、用户输入等中的至少一者的。例如，训练示例可以包括来自包含基于历史外科手术数据的信息的数据结构、历史数据等中的至少一者的图像和/或视频。
在一个示例中，在开始外科手术之前，可以对历史外科手术数据进行分析，以确定进行中的外科手术的初始估计完成时间(在本文中也被称为完成时间)，或者进行中的外科手术的初始估计完成时间可以通过其它方式(例如，从用户、从调度系统、从外部系统等)接收。
在一些实施方式中，可以将平均历史完成时间用于确定估计完成时间。例如，平均历史完成时间可以针对与进行中的外科手术具有相同类型的历史外科手术来计算，并且可以将平均历史完成时间用作估计完成时间。在另一示例中，可以选择类似的历史外科手术(例如，使用K最近邻算法、使用外科手术之间的相似性量度等)，并且可以针对所选择的类似历史外科手术来计算平均历史完成时间。
历史数据的分析可以涉及任何合适的统计数据分析(诸如基于概率分布函数确定预期完成时间值、使用贝叶斯推理(interference)，以确定概率分布函数如何受到各种患者/外科医生特征的影响(例如，患者的年龄))、线性回归和/或量化统计关系的其它方法。例如，图17B示出了表示不同年龄患者的特定外科手术(例如，搭桥外科手术)的完成时间分布的点1715的示例图1703。例如，点1715A示出了在特定情况下，对于年龄A0的患者，完成外科手术需要时间T0。可以将点1715的数据用于构造线性回归模型1717，并且可以将回归模型1717用于根据线性回归模型上的点1718来确定年龄A1的患者的预期完成时间T1。虽然示例图1703示出了完成时间对患者的一个特征参数(例如，患者年龄)的依赖性，但是完成时间可以取决于多个特征参数(例如，患者的体重、进行外科手术的医护专业人员的特征、麻醉师的特征以及描述患者或手术的其它数据)，如先前所讨论的，并且可以在多维笛卡尔坐标系中标绘点1715，并且回归模型1717可以包括多变量回归模型。在其它示例中，回归模型1717可以包括非线性回归模型。
在示例实施方式中，确定估计完成时间可以是基于与进行该进行中的外科手术的医护专业人员相关联的一个或更多个存储的特征。这样的特征可以包括医护专业人员的年龄、名字、经验年限、位置、过去的表现和/或描述医护专业人员的其它信息，例如如上所述。该特征可以使用任何合适的电子(或者在一些情况下，纸质)存储装置，使用任何合适的数据结构来进行存储。在示例实施方式中，可以将该特征存储在数据库(例如，如图14所示的数据库1411)中。例如，基于针对给定类型外科手术的给定医护专业人员的历史数据的分析，可以估计预期完成时间(例如，预期完成时间可以是针对给定类型外科手术的给定医护专业人员的历史数据确定的平均完成时间)。而且，使用针对给定类型外科手术的给定医护专业人员的历史数据，可以确定其它统计(例如，相对于预期完成时间的标准偏差、预期完成时间与外科手术的其它特征(诸如患者的年龄或者执行手术的一天中的时间)的相关性、和/或根据历史完成时间生成的其它统计)。
图18示出了使用机器学习模型1813获得完成时间1815的示例性实施方式。模型1813可以把患者的各种特征、医疗人员的各种特征以及向患者施用的外科手术的类型作为输入参数1811。例如，如图18所示，参数P1可以指示外科手术的类型，参数P2可以指示患者的年龄，参数PN可以指示患者的体重，等等。可以使用各种其它参数，诸如正被使用的外科手术器械的类型、正在进行手术的解剖结构的尺寸，等等。
在各种实施方式中，完成时间1815可以使用模型1813来计算，该模型可以包括机器学习模型(诸如神经网络、决策树、基于集成学习方法(诸如随机森林)的模型)，或者任何其它机器学习模型，例如如上所述。在一些情况下，可以将模型1813配置成返回与完成时间相关的单个数字，并且在一些实施方式中，可以将模型1813配置成返回完成时间的概率分布。
在各种实施方式中，模型1813可以使用以下数据集来进行训练：该数据集包含对应于历史外科手术数据的合适的参数1811，该历史外科手术数据可以包括经历给定外科手术的各种患者的历史完成时间。
本公开的实施方式还可以包括：对进行中的外科手术的视觉数据以及历史外科手术数据进行分析，以确定进行中的外科手术的估计完成时间。通过机器学习和/或本文所描述的其它技术可以进行这种分析，以确定估计完成时间。在一个示例实施方式中，为了确定外科手术的完成时间，该方法可以利用机器学习模型：该机器学习模型把信息(诸如外科手术的类型、进行中的外科手术的视觉数据(诸如外科手术的图像或外科手术的视频数据)中的一个或更多个、患者和/或医疗人员特征)作为输入，并且返回估计的完成时间作为输出。在一些示例中，可以例如使用视觉相似性函数、对表示视觉数据的图形使用不精确的图形匹配算法、使用K最近邻算法等来对历史外科手术数据以及进行中的外科手术的视觉数据进行分析，以识别历史外科手术数据中的与进行中的外科手术相似的记录。此外，在一些示例中，可以将所识别的记录用于确定进行中的外科手术的估计完成时间。例如，可以根据所识别的记录来计算完成时间函数(诸如均值、中值、模式、统计函数、线性函数、非线性函数等)，进行中的外科手术的估计完成时间可以是基于所计算的函数的。在示例实施方式中，可以在按照预定时间间隔分隔开的时间来收集进行中的外科手术的视觉数据(例如，可以每秒钟、每几秒钟、每几十秒钟、每分钟或者任何以其它恰当的间隔来收集视觉数据)。另外或者另选地，可以在由医疗人员请求的时间来收集视觉数据(例如，可以在由外科医生和/或麻醉师和/或护士或者任何其他指定的个人所请求的时间来收集视觉数据)。例如，外科医生可以生成以下视觉/音频信号(例如，手势、身体姿势、由医疗器械产生的光源所生成的视觉信号、说的话或者任何其它触发)：该视觉/音频信号可以由一个或更多个图像传感器/音频传感器捕获并且被识别为用于收集视觉数据的触发。另外或者另选地，可以基于外科手术期间检测到的特征事件来收集视觉数据，如下进一步描述的。
在各种实施方式中，调整手术室时间表可以包括：使用历史视觉数据来训练机器学习模型以估计完成时间，并且其中，计算估计完成时间包括：实现所训练的机器学习模型。机器学习模型的输入数据的示例可以包括多个视觉数据记录和参数。视觉数据的记录可以是在外科手术期间由图像传感器针对特定时间间隔拍摄的图像集和/或视频的多个帧。例如，视觉数据记录可以是外科手术的前几分钟的视频数据，视觉数据记录可以是外科手术的接下来几分钟的视频数据，并且视觉数据记录可以是外科手术的后续几分钟的视频数据。在一些示例中，可以如上所述地训练和/或使用机器学习模型。
所公开的实施方式的各方面可以包括访问外科手术室的时间表，包括与进行中的外科手术的完成相关联的已安排时间。在示例实施方式中，访问可以包括从时间表读取信息和/或将信息写入时间表。这种时间表的一个示例可以包括时间表1430，或者包含与关于时间表1430所描述的信息类似的信息的数据结构。例如，从时间表1430读取/向该时间表写入可以包括：读取和/或写入与过去、目前或者未来的外科手术相关的任何合适的数据，所述过去、目前或者未来的外科手术相应地是在外科手术室中以前执行的或者正在进行中的或者安排要执行的外科手术。此类数据可以包括：手术的名称、执行手术的外科医生、患者的名字、与患者或/和医疗人员相关的任何特征参数、手术的开始时间(或估计开始时间)以及手术的完成时间(或估计完成时间)。在各种实施方式中，可以将系统1410用于读取和/或写入时间表1430。
各种实施方式还可以包括：基于进行中的外科手术的估计完成时间，计算预期完成时间是否很可能导致相对于与完成相关联的已安排时间的差异；以及在计算所述差异时输出通知，由此使得外科手术室的后续用户能够相应地调整他们的时间表。例如，可以使用上面所讨论的方法中的任一方法来获得进行中的外科手术的估计(也被称为预期)完成时间(例如，使用上面所描述的机器学习模型和/或历史外科手术数据的线性回归模型)。可以将预期完成时间与示例医疗手术的估计完成时间(例如，如图15所示的估计完成时间1523B)进行比较，并且如果预期完成时间基本上不匹配时间1523B(例如，预期完成时间比时间1523B晚或者在该时间之前)，那么该方法可以被配置成计算预期完成时间与时间1523B之间的差异。如果该差异小于预定阈值(例如，阈值可以是一分钟、几分钟、、五分钟、十分钟、十五分钟和/或其他时间值)，则该方法可以确定预期完成时间与时间1523B基本相同。另选地，如果该差异足够大(即，大于预定阈值)，则该方法可以基于进行中的外科手术的估计完成时间来计算(即，确定)预期完成时间很可能导致相对于与完成相关联的已安排时间的差异。在各种实施方式中，估计完成时间可以是完成外科手术的持续时间，并且预期完成时间可以是完成外科手术的预期时间。
在各种实施方式中，如果检测到差异，则可以在确定该差异时输出通知(例如，该差异可以是通过计算预期完成时间与时间1523B之间的差异来确定的)。在示例实施方式中，该通知可以包括经更新的手术室时间表。例如，对时间表1430的更新可以包括：文本更新、图形更新或者任何其它合适的更新(例如，视频数据、动画或音频数据)。另外或者另选地，可以将该通知实现为警告信号(例如，灯信号、音频信号和/或其它类型的发送信号)。在一些情况下，该通知可以是SMS消息、电子邮件、和/或向各种用户(例如，各种医疗人员、管理员、患者、患者的亲属或朋友、以及其它受关注的个人)拥有的任何合适装置(例如，智能手机、膝上型电脑、寻呼机、台式电脑、电视机以及其它先前所讨论的)递送的其它类型的通信。例如，该通知可以是向与外科手术室的后续已安排用户(例如，外科医生、麻醉师、和/或其他医护专业人员)相关联的装置(如稍早所描述的)发送的电子消息。这种通知可以使得各种用户(例如，手术室的用户)能够根据对时间表的更新来调整他们的时间表。在各种实施方式中，经更新的手术室时间表可以使得已排队的医护专业人员能够准备后续外科手术。例如，如果外科手术的预期完成时间晚于估计完成时间(例如，时间1523B)，则已排队的医护专业人员(例如，外科医生、麻醉师、护士等)可以延迟准备外科手术。另选地，如果外科手术的预期完成时间在时间1523B之前，则已排队的医护专业人员(例如，外科医生、麻醉师、护士等)可以在比先前安排的时间早的时间开始准备外科手术。
所公开的实施方式的各方面还可以包括：确定相对于与完成相关联的已安排时间的差异的程度，响应于第一确定的程度，输出通知；以及响应于第二确定的程度，放弃输出通知。例如，如果第一确定的程度超过预定阈值(例如，超过五分钟、几十分钟、和/或其它时间量度)，则一些实施方式可以确定这样的第一确定的程度可以影响其它外科手术的安排时间。对于此类情况，可以将差异的通知发送给任何合适的接收方(例如，管理后续外科手术的医护提供者)。另选地，如果确定第二确定的程度足够小(例如，小于预定阈值)，则可以将实施方式配置成不发送通知。
所公开的实施方式的各方面还可以包括：确定预期完成时间是否很可能导致至少选定阈值时间量相对于与完成相关联的已安排时间的延迟。在一些实施方式中，这样的确定可以使用合适的机器学习模型(诸如上述模型1813)来进行。选定阈值量可以是任何合适的预定量(例如，几分钟、几十分钟。半小时、一小时、和/或其它时间量度)。例如，选定阈值量可以是基于外科手术室的运营的。另外或者另选地，选定阈值量可以是基于外科手术室的时间表中的未来事件的。例如，如果在完成第一外科手术之后存在为第二外科手术安排的三十分钟，则为第一外科手术选定的阈值量不能超过三十分钟。另外或者另选地，选定阈值时间量可以基于外科手术室的后续用户来选择。例如，如果后续用户的外科手术可能需大量预先准备，那么选定阈值量可能足够小(例如，几分钟)。另选地，如果后续用户的外科手术可能不需要大量预先准备，并且可以容易地延期或重新安排，那么选定阈值量可以足够大(例如，三十分钟、一小时、和/或其它时间量度)。在一些情况下，后续用户的外科手术的紧急性或重要性可以确定选定阈值量。例如，对于紧急的后续外科手术，可能需要提早通知，由此需要短的选定阈值量。
响应于确定预期完成时间很可能导致至少选定的阈值时间量的延迟，所公开的实施方式可以包括输出通知。如前所述，通知可以是任何类型的电子或纸质数据，其可以被输出(诸如通过如图14所示的系统1410)以供对完成时间进行分析。在示例实施方式中，与所公开的实施方式一致，可以将系统1410配置成向医护提供者的装置输出通知作为电子消息。响应于确定预期完成时间不太可能导致至少选定阈值时间量的延迟，可以将该方法配置成放弃输出通知。
在一些情况下，所公开的实施方式还可以包括确定外科手术是否很可能提前结束(即，外科手术的预期完成时间短于该外科手术的计划的时间)。响应于确定预期完成时间很可能比外科手术的计划的时间短至少选定阈值时间量，可以将实施方式配置成输出通知和/或放弃输出通知。
图19示出了与所公开的实施方式一致的调整手术室时间表的示例过程1901。在步骤1911，该过程可以包括从图像传感器接收视觉数据。该视觉数据可以包括图像/视频数据，所述图像/视频数据跟踪进行中的外科手术。在示例实施方式中，视觉数据可以通过各种图像传感器进行收集。在一些情况下，两个或更多个图像传感器(例如，摄像机)可以从不同的视点捕获外科手术的同一区域(例如，ROI)的视觉数据。另外或者另选地，两个或更多个图像传感器可以使用不同的放大倍率来捕获ROI的视觉数据。例如，第一图像传感器可以捕获ROI的总览，并且第二图像传感器可以捕获位于ROI内的外科手术工具附近的最接近区域。
在步骤1913，过程1901可以包括访问如上所述包含历史外科手术数据的数据结构。在步骤1915，过程1901可以包括：对进行中的外科手术的视觉数据和历史外科手术数据进行分析，以确定进行中的外科手术的估计完成时间。如先前所描述的，该分析可以使用对第一历史外科手术数据进行分析的统计方法(例如，计算和进行中的外科手术相同类型并且具有和进行中的外科手术相似特征的外科手术的平均估计完成时间)。另外或者另选地，该分析可以涉及训练和使用机器学习方法来确定进行中的外科手术的估计完成时间。在一些情况下，可以使用多种不同的分析方法，并且可以将估计完成时间确定为使用不同的分析方法获得的完成时间的平均时间。
在步骤1917，过程1901可以包括使用任何合适的手段来访问外科手术室的时间表。例如，访问可以包括经由有线或无线网络、经由输入装置(例如，键盘、鼠标等)或者经由允许从时间表读取数据/向时间表写入数据的任何其它装置来进行访问。
在步骤1919，过程1901可以包括：计算预期完成时间是否可能导致相对于与外科手术的完成相关联的已安排时间的差异，如上所述。如果该差异是预期的(步骤1921中：是)，则过程1901可以包括在步骤1923输出通知，如上所述。在步骤1923之后，过程1901可以完成。如果该差异不是预期的(步骤1921中的否)，则过程1901可以完成。
所公开的使得能够调整手术室时间表的实施方式的各方面可以包括分析视觉数据，其中，分析过程可以包括：检测接收到的视觉数据中的特征事件，访问基于历史外科手术数据的信息，以确定在发生历史外科手术数据中的特征事件之后外科手术的预期完成时间，并且基于所确定的预期完成时间来确定估计完成时间。例如，可以在接收到的视觉数据中检测特征事件，如上所述。在一些示例中，历史外科手术数据可以包括将特征事件与外科手术的预期完成时间联系起来的数据结构。例如，历史外科手术数据可以包括以下数据结构：该数据结构指定从第一事件起完成外科手术的第一时间，以及从第二事件起完成外科手术的第二时间，第二时间可以不同于第一时间。此外，可以使用所检测到的特征事件来对数据结构进行访问，以确定从该特征事件发生起完成外科手术的时间。
在各种实施方式中，在接收到的视觉数据中检测到的特征事件可以是指由医疗专业人员(例如，由外科医生、由麻醉师、护士和/或其他医疗专业人员)执行的特定手术或动作。例如，腹腔镜胆囊切除术的特征事件可以包括：套管针放置、calot三角解剖、夹闭和切断胆囊管和动脉、胆囊切开、胆囊包装、肝床的清洁和凝固、胆囊收缩等。在另一示例中，白内障外科手术的外科手术特征事件可以包括：聚维酮碘注射、角膜切口、撕囊术、超声乳化、皮层抽吸、人工晶状体植入、人工晶状体调整、伤口封闭等。在又一示例中，垂体外科手术的外科手术特征事件可以包括：准备、鼻腔切口、鼻子牵开器安装、接近肿瘤、肿瘤移除、鼻柱置换、缝合、鼻部压迫装置等。外科手术特征事件的一些其它示例可以包括：切口、腹腔镜定位、缝合等。在这种背景下，特征事件可以包括：在外科手术的特定阶段内常发生的任何事件、常常表明在外科手术内的特定并发症的任何事件、或者响应于外科手术内的特定并发症而常发生的任何事件。此类特征事件的一些非限制性示例可以包括：使用特定医疗工具、执行特定动作、注入特定物质、呼叫特定专科医生、订购特定装置、器械、设备、药物。血液、血液产品、或者供应、特定生理反应等。
特征事件(也被称为术中外科手术事件)可以是在外科手术或阶段期间发生的任何事件或动作。在一些实施方式中，术中外科手术事件可以包括作为外科手术的一部分执行的动作，诸如由外科医生、外科技术人员、护士、医生助理，麻醉师、医生或任何其他医护专业人员执行的动作。术中外科手术事件可以是计划的事件，诸如切口、药品的施用、外科手术器械的使用、截除、切除、结扎、移植、缝合、缝补或与外科手术或阶段相关联的任何其它计划的事件。在一些实施方式中，术中外科手术事件可以包括不利的事件或并发症。术中不利事件的一些示例可以包括：出血、肠系膜肺气肿、损伤、转为计划外开放外科手术(例如，腹壁切口)、切口明显大于计划的等。术中并发症的一些示例可以包括：高血压、低血压、心动过缓、血氧不足、粘连、疝气、非典型解剖、硬膜撕裂、periorator损伤、动脉梗塞等。术中事件可以包括其它错误，包括：技术错误、通信错误、管理错误、判断错误、判定错误、与医疗设备利用相关的错误、错误传达或者任何其它错误。
在各种实施方式中，事件可能是短暂的或者可能持续一定的持续时间。例如，短暂的事件(例如，切口)可以被确定为发生在外科手术期间的特定时间，并且延长的事件(例如，出血)可以被确定为发生在某一时间间隔内。在一些情况下，延长的事件可以包括定义明确的开始事件和定义明确的结束事件(例如，缝合的开始和缝合的结束)，并且缝合是延长的事件。在一些情况下，延长的事件也被称为外科手术期间的阶段。
访问基于历史外科手术数据的信息，以确定在发生历史外科手术数据中的特征事件之后外科手术的预期完成时间的过程可以涉及：使用合适的统计方法来对包括发生特征事件的历史外科手术的完成时间进行分析。例如，可以对完成时间进行分析，以确定此类手术的平均完成时间，并且可以将该平均完成时间用作外科手术的预期完成时间。在一些实施方式中，可以包括基于所确定的预期完成时间(即，完成外科手术所需的持续时间)来确定估计完成时间(即，包括特征事件的示例外科手术将完成的时间)。
调整手术室时间表的实施方式还可以包括：使用历史视觉数据来对机器学习模型进行训练以检测特征事件。在各种实施方式中，可以经由任何合适的方法(举例来说，如监督学习方法)来对识别特征(或者多个特征)的机器学习模型进行训练。例如，可以将包含与特征事件相对应的特征的历史视觉数据表示为机器学习模型的输入数据，并且该机器学习模型可以输出与历史视觉数据内的所述特征相对应的特征事件的名称。
在各种实施方式中，检测特征事件包括实现经训练的机器学习模型。该经训练的机器学习模型可以是图像识别模型，用于对视觉数据内的可被用作特征事件的触发(或多个触发)的特征(或多个特征)进行识别。机器学习模型可以识别一个或更多个图像内或者视频内的特征。例如，可以对视频内的特征进行识别，以便检测该视频的帧之间的运动和/或其它变化。在一些实施方式中，图像分析可以包括对象检测算法，诸如Viola-Jones对象检测、卷积神经网络(CNN)或者任何其它形式的对象检测算法。其它的示例算法可以包括：视频跟踪算法、运动检测算法、特征检测算法、基于颜色的检测算法、基于纹理的检测算法、基于形状的检测算法、基于提升(boosting)的检测算法、面部检测算法或者用于分析视频帧的任何其它合适的算法。
在一些情况下，可以将特征事件分类为肯定的(即，导致积极结果的事件)和不利的(即，导致消极结果的事件)。积极结果和消极结果可以对估计完成时间产生不同的影响。
在一些情况下，不仅可以将图像识别模型配置成识别视觉数据内的特征，而且可以配置成基于视觉数据(或历史视觉数据)的分析来形成有关进行中(或历史)的外科手术的各方面的结论。例如，通过分析示例外科手术的视觉数据，可以将图像识别模型配置成确定外科医生的技能水平，或者确定外科手术的成功量度。例如，如果确定视觉数据中不存在不利事件，则图像识别模型可以为外科手术指派高成功水平，并且更新(例如，增加)外科医生的技能水平。另选地，如果确定视觉数据中有不利事件，则图像识别模型可以为外科手术指派低成功水平，并且更新(例如，降低)外科医生的技能水平。为外科手术指派成功水平的算法以及更新外科医生的技能水平的过程可以基于多个因素来确定，诸如在示例外科手术期间检测到的不利事件的类型、在外科手术期间的不利事件的可能性、患者的给定特定特征(例如，患者年龄)、针对具有相似患者特征的患者进行的同一类型的历史外科手术的不利事件的平均数、与针对具有相似患者特征的患者进行的同一类型的历史外科手术的不利事件的平均数相对的标准偏差、和/或不利事件的其它指标。
在一些情况下，分析视觉数据的过程可以包括在视觉数据中确定外科医生的技能水平，如上面所讨论的。在一些情况下，计算估计完成时间可以是基于所确定的技能水平的。例如，针对外科手术的各个确定的技能水平，可以确定估计完成时间。在示例实施方式中，这种估计完成时间可以是基于与由具有所确定的技能水平的外科医生执行的历史外科手术相对应的历史完成时间。例如，可以将针对上述历史完成时间计算的平均历史完成时间用于确定估计完成时间。可以将这种估计完成时间存储在数据库中，并且可以基于所确定的技能水平从数据库取回。
使用机器学习方法来检测特征事件可以是一种可能的方法。另外或者另选地，可以使用各种其它方法在从图像传感器接收到的视觉数据中检测特征事件。在一个实施方式中，特征事件可以在外科手术期间由医疗专业人员(例如，外科医生)进行识别。例如，外科医生可以使用来自外科医生的视觉或音频信号(例如，手势、身体姿势、由医疗器械产生的光源所生成的视觉信号、说的话或者任何其它信号)来识别特征事件，该视觉或音频信号可以由一个或更多个图像传感器/音频传感器捕获并且被识别为特征事件的触发。
在各种实施方式中，使得能够调整手术室时间表可以包括：分析历史视觉数据中的在发生特征事件之后外科手术的历史完成时间。例如，实施方式可以包括：计算历史视觉数据中的在发生特征事件之后外科手术的平均历史完成时间(在本文中也被称为平均历史完成时间)，并且使用该平均历史完成时间作为进行中的外科手术的估计完成时间。然而，在一些情况下，可以使用上面所讨论的其它方法来计算估计完成时间(例如，使用机器学习方法)，并且可以基于进行中的外科手术的所确定的实际完成时间(如在完成进行中的外科手术之后确定的)来更新平均历史完成时间。在各种实施方式中，可以使用估计完成时间首先更新平均历史完成时间，然后可以在完成外科手术之后完成更新。
另外或者另选地，分析在发生特征事件之后的历史完成时间以便对完成时间进行估计可以包括使用机器学习模型。可以使用训练示例对机器学习模型进行训练，以估计事件发生之后的完成时间，并且可以将经训练的机器学习模型用于基于特征事件的发生来估计完成时间。这种训练示例的示例可以包括特征事件的指示以及指示希望的估计完成时间的标记。在一个示例中，训练示例可以是基于历史外科手术数据的，例如表示在历史外科手术中发生特征事件之后该历史外科手术的实际完成时间。在另一示例中，训练示例可以是基于用户输入的、可以从外部系统接收、等等。还可以将机器学习模型训练成使对完成时间的估计基于其它输入参数，诸如患者的各种特征、医疗人员的各种特征、以及向患者施用的外科手术的类型(例如，如图18所示的参数1811)和在外科手术期间的一个或更多个特征事件。此外，可以向经训练的机器学习模型提供这样的输入参数以对完成时间进行估计。
如前所述，本公开的实施方式可以包括用于对进行中的外科手术的视觉数据和历史外科手术数据进行分析，以确定进行中的外科手术的估计完成时间的系统、过程或计算机可读介质。在示例实施方式中，分析可以包括基于历史时间的分析来确定估计完成时间。对完成时间的估计可以使用诸如机器学习方法(如上所述)的任何合适的方法来确定，或者通过计算外科手术的平均历史完成时间并且使用这种平均历史时间作为估计完成时间。
用于使得能够调整手术室时间表的实施方式的各方面还可以包括：检测视觉数据中的医疗工具，并且基于所检测到的医疗工具来计算估计完成时间。医疗工具(也被称为外科手术工具)可以是外科手术的特征参数之一(诸如如图18所示的参数P1至PN)，其可能对计算外科手术的估计完成时间产生影响。如上面所讨论的，在示例实施方式中，可以将机器学习方法用于基于各种参数P1至PN(举例来说。如在外科手术期间使用的医疗工具的类型)来计算估计完成时间。而且，可以使用任何合适的方法(例如，使用如上所述的合适的图像识别算法)来实现对跟踪进行中的外科手术的视觉数据中的医疗器械进行检测。在一个示例中，响应于检测到第一医疗工具，可以估计第一完成时间，并且响应于检测到第二医疗工具，可以估计第二完成时间，第二完成时间可以不同于第一完成时间。在一个示例中，响应于检测到第一医疗工具，可以估计第一完成时间，并且响应于未检测到医疗工具，可以估计第二完成时间，第二完成时间可以不同于第一完成时间。
在一些情况下，用于分析视频数据的实施方式还可以包括：检测视觉数据中的解剖结构，并且基于检测到的解剖结构来计算估计完成时间。可以使用图像识别算法在视觉数据中检测并识别该解剖结构。另外或者另选地，该解剖结构可以通过在进行中的外科手术期间由医护专业人员进行识别(例如，医护专业人员可以使用姿势、声音、词语和/或其它信号)，以识别该解剖结构。可以将进行中的外科手术的描绘该解剖结构的视觉数据用于计算估计完成时间。例如，可以将这样的视觉数据用作机器学习方法的输入，以获得估计完成时间。在一个示例中，响应于检测到第一解剖结构，可以估计第一完成时间，并且响应于检测到第二解剖结构，可以估计第二完成时间，第二完成时间可以不同于第一完成时间。在一个示例中，响应于检测到第一解剖结构，可以估计第一完成时间，并且响应于未检测到解剖结构，可以估计第二完成时间，第二完成时间可以不同于第一完成时间。
用于分析视频数据的实施方式的各方面可以包括：在视觉数据中检测解剖结构与医疗工具之间的交互，以及基于所检测到的交互来计算估计完成时间。例如，如上所述，可以检测解剖结构与医疗工具之间的交互。该交互可以包括医疗工具的可以影响解剖结构的任何动作，反之亦然。例如，该交互可以包括医疗工具与解剖结构之间的接触、医疗工具在解剖结构上的动作(诸如切割、夹紧、抓握、施加压力、刮削等)、解剖结构的生理反应、医疗工具朝着解剖结构发射光(例如，医疗工具可以是朝着解剖结构发射光的激光器)、朝着解剖结构发射的声音、在解剖结构附近产生的电磁场、在解剖结构中感应的电流、或者任何其它合适的交互形式。在一个示例中，响应于检测到解剖结构与医疗工具之间的第一交互，可以估计第一完成时间，并且响应于检测到解剖结构与医疗工具之间的第二交互，可以估计第二完成时间，第二完成时间可以不同于第一完成时间。在一个示例中，响应于检测到解剖结构与医疗工具之间的第一交互，可以估计第一完成时间，并且响应于未检测到解剖结构与医疗工具之间的交互，可以估计第二完成时间，第二完成时间可以不同于第一完成时间。
可以将进行中的外科手术的描绘该解剖结构和医疗工具的视觉数据用于计算估计完成时间。例如，可以将这样的视觉数据用作机器学习方法的输入，以获得估计完成时间，例如如上所述。
如先前所讨论的，本公开涉及用于使得能够调整手术室时间表的方法和系统以及可以包含指令的非暂时性计算机可读介质，该指令当由至少一个处理器执行时，使所述至少一个处理器执行使得能够调整手术室时间表的操作，并且本公开可以包括如上所述的用于使得能够调整手术室时间表的方法的各个步骤。
所公开的系统和方法可以涉及对外科手术短片进行分析，以识别外科手术的特征、患者状况以及用于确定保险理赔的其它特征。保险理赔可能需要针对外科手术的各种步骤来确定。外科手术的步骤可能需要进行识别，并且保险理赔准则可能需要与所识别的步骤相关联。因此，需要使用从外科手术短片获得的信息来识别外科手术的各步骤，以及将保险理赔与这些步骤相关联。
本公开的各方面可以涉及对外科手术图像进行分析以确定保险理赔的方法、系统、装置以及计算机可读介质。为了便于讨论，下面描述了一种方法，并且对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。例如，这种方法的一些方面可以通过有线、无线或两者的网络以电子方式发生。这种方法的其它方面可以使用非电子手段发生。在最广泛的意义上，该方法不限于特定的物理和/或电子工具，而是可以使用许多不同的工具来完成。
与所公开的实施方式一致，对外科手术图像进行分析以确定保险理赔的方法可以包括：访问在对患者的外科手术期间拍摄的视频帧。用于分析外科手术图像的实施方式可以包括使用任何合适的方法(例如，使用机器学习方法)来确定外科手术的阶段、外科手术期间的事件、正在进行手术的解剖结构、在外科手术期间使用的外科手术器械、外科手术器械与解剖结构的交互、外科手术器械的运动、解剖结构的运动解剖结构的变形、解剖结构的颜色变化、解剖结构的泄漏(例如，出血)、解剖结构内的切口、或者示例外科手术期间解剖结构的任何其它变化(例如，解剖结构破裂)。
在各种实施方式中，保险理赔可以包括有关保险公司和/或保险计划(诸如政府健康保险计划)可以支付多少金额用于给定外科手术或其区段(部分)的信息。例如，保险理赔可能会覆盖与外科手术的所有区段或一些区段相关联的费用。外科手术的区段可以对应于外科手术的外科手术短片的区段。在一些情况下，保险理赔可能会覆盖与外科手术的某一区段相关联的整个成本，并且在其它情况下，保险理赔可能会部分覆盖与外科手术的某一区段相关联的成本。根据外科手术的类型(例如，如果外科手术对于患者是可选的)，保险理赔可能不会覆盖与外科手术的某一区段(或整体)相关联的费用。在其它示例中，基于患者的状况和/或外科手术的特性，不同的患者和/或不同的外科手术(或者与外科手术相关联的不同动作)可能存在不同的理赔手段(例如，不同的理赔准则)。
在一些实施方式中，访问在外科手术期间拍摄的视频帧可以包括：通过合适的基于计算机的软件应用来访问数据库(例如，如图14所示的数据库1411)。例如，数据库可以被配置成存储在各种外科手术期间拍摄的视频帧，并且可以被配置成存储与外科手术相关的任何其它信息(例如，来自进行外科手术的外科医生的注释、在外科手术期间收集的重要信号)。如本文所描述的，外科手术可以包括与在患者身体上执行的手动活动或手术活动相关联或涉及的任何医疗手术。
与所公开的实施方式一致，对在外科手术期间拍摄的视频帧进行分析，以识别该视频帧中的至少一个医疗器械、至少一个解剖结构以及所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互，例如如上所述的那样。在各种实施方式中，分析外科手术期间拍摄的视频帧可以包括使用图像识别，如本文所讨论的。当分析外科手术短片时，至少一些帧可以拍摄到解剖结构(在本文中也被称为生物结构)。外科手术短片的这种部分可以包括与一个或更多个解剖结构进行交互的一个或更多个医疗器械(如本文所描述的)。
医疗器械和解剖结构是可以使用图像识别在外科手术短片中识别的，如本公开所描述的并且与各种所公开的实施方式一致。医疗器械与解剖结构之间的交互可以包括医疗器械的可以影响解剖结构的任何动作，反之亦然。例如，交互可以包括医疗器械与解剖结构之间的接触、医疗器械在解剖结构上的动作(诸如切割、夹紧、抓握、施加压力、刮削等)、解剖结构的生理反应、医疗器械朝着解剖结构发射光(例如，外科手术工具可以是发光的激光器)、朝着解剖结构发射的声音、解剖结构附近的电磁场、在解剖结构中感应的电流、或者任何其它交互形式。
在一些情况下，检测交互可以包括识别医疗器械与解剖结构的接近。例如，通过分析外科手术视频短片，可以通过如本文所描述的图像识别技术来确定医疗器械与解剖结构的点(或点集)之间的距离。
所公开的实施方式的各方面还可以包括：访问与医疗器械、解剖结构以及医疗器械与解剖结构之间的交互相联系的理赔准则数据库。举例来说，理赔准则与一个或更多个医疗器械、一个或更多个解剖结构的相关性以及医疗器械与解剖结构之间的一个或更多个交互可以以数据结构(诸如一个或更多个表、链接列表、XML数据和/或其它形式的格式化和/或存储的数据)来表示。在一些实施方式中，可以通过代码生成机器学习模型来建立相关性。在各种情况下，可以将理赔准则连同关于该代码如何与医疗器械、解剖结构以及医疗器械与解剖结构之间的交互相联系的信息存储在数据结构中。
图20示出了用于提供关于理赔准则如何与医疗器械、解剖结构以及医疗器械之间的交互相联系的信息的数据结构2001的示例。例如，数据结构2001可以包括多个表，诸如表2011、2013以及2015。在各种实施方式中，示例表可以包括记录(例如，行)和字段(例如，列)。例如，表2011可以具有名为“记录”的字段，该字段中包含记录标记(例如，如图20所示的“1”)。对于各个记录，名为“准则”的字段可以包含理赔准则(例如，准则“1.20:11.30.50”)，名为“手术区段”的字段可以包含编号，并且可能是外科手术的某一区段的名称(例如“1，切口，搭桥手术”)、名为“第一器械”的字段可以包含编号，并且可能是在外科手术的所述区段期间使用的第一医疗器械的名称(例如，“20，手术刀”)，名为“第二器械”的字段可以包含编号，并且可能是在外科手术的所述区段期间使用的第二医疗器械的名称(若这种器械存在的话)(例如，“11，镊子”)，名为“其它数据”的字段可以包含任何相关数据，其还可以被用于表征外科手术或其区段(例如，此类数据可以包括外科手术的所述区段的持续时间、外科手术的所述区段期间的事件序列、外科手术期间所使用的一序列器械(例如，“手术刀->镊子”可以表明在镊子之前使用手术刀)、和/或所述区段的其它特征)。示例表2013可以包含其它相关字段，诸如名为“第一解剖结构”的字段，其可以包含编号，并且可能是与记录“1”相关联的解剖构的名称(例如，“30，内乳动脉”)，正如表2013中名为“记录”的字段所标记的那样。此外，示例表2015可以包括名为“记录”的用于标识记录的字段，以及字段“交互”，其可以包含医疗器械与解剖结构之间的交互的描述，该交互可以由编号表示并且可能是名称(例如，“50，左内乳动脉切口”)。此外，表2015可以包括名为“交互数据”的字段，其可以包括针对图像数据2012A、视频数据2012B、文本数据2012C和/或音频数据2012D的链接，如表2015所示。
在各种实施方式中，理赔准则可以具有内部数据结构，如结构2020所示。例如，理赔准则的第一个编号可以是与外科手术的区段相关联的编号(例如，编号“1”)，第二组编号可以与外科手术的所述区段期间使用的外科手术器械相关联(例如，编号“20:11”可以与标有“20”的第一器械和标有“11”的第二器械相关联)，第三组编号可以与正在进行手术的解剖结构相关联(例如，“30”)，并且第四组编号可以与器械和解剖结构的交互相关联(例如，“50”)。在不同的示例中，理赔准则可以由保险计划或监管机构来设定。在一些示例中，可以将单个理赔准则与整个外科手术相关联。
使用数据结构基于医疗器械、解剖结构以及医疗器械与解剖结构的交互来确定理赔准则可以是一种可能的方法。另外，可以将准则生成机器学习方法用于确定外科手术或其区段的理赔准则。例如，准则生成机器学习方法可以把外科手术短片的区段作为输入，并且输出由外科手术短片的区段表示的该外科手术的所述区段的理赔准则。在各种实施方式中，准则生成机器学习方法可以是为各种任务配置的各种机器学习方法的集合。例如，准则生成机器学习方法可以包括用于识别外科手术短片的区段中的医疗器械的第一图像识别算法和用于识别外科手术短片的区段中的解剖结构的第二图像识别算法。在各种实施方式中，图像识别算法可以是如本文所描述的并且与各种所公开的实施方式一致的任何合适的算法(例如，神经网络)。
所公开的实施方式还可以包括对所识别的所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互和理赔准则数据库中的信息进行比较，以确定与外科手术相关联的至少一个理赔准则。例如，实施方式可以包括将所识别的交互与关于存储在数据库中的交互的各种细节进行比较。因此，作为示例，机器学习模型(例如，图像识别算法)可以被配置成识别外科手术短片内的交互并对该交互进行分类(例如，可以通过向交互指派名称或确定交互的类型来对交互进行分类)。例如，交互的名称或类型可以是“左内乳动脉的切口”。在一些实施方式中，机器学习模型可以被配置成对外科手术短片进行分析，并从可能的交互的列表中选择最恰当的交互。一旦识别了交互，就可以将名称(或交互的其它标识)与被存储在数据库中的交互的标识进行比较，并且可以将数据库用于寻找与所识别的交互相对应的理赔准则，或者包括所识别的交互的外科手术。
使用机器学习算法识别交互是一种可能的方法。另外或者另选地，可以由执行外科手术的外科医生、在外科手术期间存在的护士从业者和/或其他医护专业人员来识别交互。例如，可以通过选择与交互相对应的外科手术短片的区段并指派可以向区段加标签的名称来识别交互。在各种实施方式中，基于计算机的软件应用可以用于对外科手术短片的区段进行各种操纵(诸如将名称标签指派给不同的区段、选择不同的区段和/或其它数据操作)。基于计算机的软件应用可以被配置成在数据库中存储相关数据(例如，外科手术短片的不同区段的名称标签，以及外科手术短片的区段的开始时间和完成时间)。
各种实施方式还可以包括：输出至少一个理赔准则，以供在获得外科手术的保险理赔方面使用。例如，可以将准则生成机器学习模型用于输出至少一个理赔准则，如上所述。另选地，可以经由对以下数据库的查询来输出理赔准则：该数据库包含对应于医疗器械与解剖结构的交互的理赔准则。
在一些情况下，输出理赔准则可以包括：使用与所公开的实施方式一致的并且在本文中讨论的任何合适的发送方法来将理赔准则发送给保险提供者。
在一些情况下，所输出的至少一个理赔准则包括多个输出的理赔准则。例如，多个理赔准则可以对应于外科手术的一个或更多个区段。在一个实施方式中，第一理赔准则可能对应于切口相关区段，并且第二理赔准则例如可以对应于缝合相关区段。在一些情况下，多个理赔准则可以对应于用于在外科手术的区段期间执行一个或更多个手术动作的多个医疗器械。当在外科手术期间存在多于一个的外科医生(或任何其他医护专业人员)时，可以针对每个外科医生所执行的手术来确定多个理赔准则。当在单个区段中执行多于一个的可理赔的手术时，可以为该单个区段输出多于一个的理赔准则。
在示例实施方式中，所述多个输出的理赔准则中的至少两个理赔准则可以基于和公共解剖结构的不同交互。例如，第一交互可以包括与解剖结构进行交互的第一医疗器械，并且第二交互可以包括与解剖结构进行交互的第二医疗器械。在一些情况下，可以将同一器械用于与解剖结构的不同类型的交互(例如，可以将镊子用于以不同方式与解剖结构进行交互)。
在一些实施方式中，至少两个输出的理赔准则是部分地基于两个不同的医疗器械的检测来确定的。例如，可以使用任何合适的方法(例如，使用合适的机器学习方法或者使用来自医护提供者的信息)在外科手术短片中检测第一医疗器械和第二医疗器械。第一医疗器械和第二医疗器械二者可以同时使用，并且在一些情况下，可以在使用第一医疗器械之后使用第二医疗器械。第一医疗器械的使用可以部分地重叠(在时间上)第二医疗器械的使用。在这样的情况下，可以输出两个或更多个理赔准则，而不管触发这些准则的医疗器械是在同时使用还是以不同时间使用的。
在各种实施方式中，确定至少两个理赔准则可以基于术后外科手术报告的分析。例如，为了确定外科手术的特定区段的理赔准则，可以查阅术后外科手术报告以获取有关外科手术的区段的信息。可以将与外科手术的区段相关的任何信息和/或从术后报告获得的信息用于确定理赔准则(例如，在外科手术的区段期间发生的事件、所使用的外科手术器械、进行手术的解剖结构、外科手术器械与解剖结构的交互、所执行的成像、所执行的各种测量、所涉及的外科医生的数量、和/或其它外科手术动作)。
在各种实施方式中，可以从位于患者上方的图像传感器拍摄外科手术短片的视频帧，如本文所描述的并且与各种所描述的实施方式一致。例如，可以将如上面结合图1所描述的图像传感器115、121、123和/或125用于拍摄外科手术短片的视频帧。另外或者另选地，可以从与医疗装置相关联的图像传感器拍摄视频帧，如本文所描述的并且与各种所描述的实施方式一致。图3示出了具有关联的图像传感器的医疗装置的一个示例，如本文所描述的。
对外科手术图像进行分析以确定保险理赔的实施方式可以包括：通过将至少一个理赔准则与外科手术相关联来更新数据库。可以使用任何合适的方式来更新数据库(例如，使用机器学习模型、通过向数据库发送恰当的数据、通过SQL命令、通过向存储器写入信息，等等)。例如，如上所述，可以对外科手术的外科手术短片进行分析，以确定外科手术的可以关联理赔准则的各个区段。一旦确定了理赔准则，就可以将该准则与外科手术相关联，并且配置为存储在数据结构中。数据结构可以采取任何形式或结构，只要它能够或保持数据即可。作为一个示例，数据结构可以是关系数据库，并且包括具有表字段的表，所述表字段存储关于外科手术的信息(例如，示例表字段可以包括外科手术的名称)，并且存储与外科手术相关联的理赔准则。
各种实施方式可以包括：生成已处理的理赔准则与历史视频短片中的多个医疗器械、该历史视频短片中的多个解剖结构或者该历史视频短片中的医疗器械与解剖结构之间的多个交互中的至少一个之间的相关性；以及基于所生成的相关性来更新数据库。在示例性实施方式中，可以使用任何合适的手段来生成相关性，诸如使用机器学习方法和/或使用医护专业人员、医护管理员和/或其他用户的输入。相关性可以由如上所述的表(例如，图20所示的表2011至2015)来表示。在一些情况下，可以生成经处理的理赔准则的相关性(例如，与历史外科手术的部分相关的理赔准则，对于该理赔准则，患者的健康保险公司以前已经理赔过医护提供者)。例如，可以对历史外科手术数据(例如，历史外科手术短片)进行分析(例如，使用机器学习方法)，以确定历史视频短片中的一个或更多个医疗器械、历史视频短片中的一个或更多个解剖结构、或者历史视频短片中的医疗器械与解剖结构之间的一个或更多个交互。倘若历史外科手术的区段具有关联的经处理的理赔准则(例如，使用过去可用的任何合适的方法(诸如来自医护提供者的输入)将经处理的理赔准则指派给历史外科手术的区段)，可以将经处理的理赔准则与从历史外科手术数据获得的信息(例如，有关在历史外科手术数据中识别的医疗器械、解剖结构以及医疗器械与解剖结构之间的交互的信息)相联系。
在各种实施方式中，如本公开中所讨论的，可以训练一种用于生成相关性的机器学习方法。可以将历史外科手术数据用作训练过程的部分。例如，可以提供外科手术的给定区段的历史外科手术短片作为机器学习输入，该机器学习输入此后确定理赔准则。可以将理赔准则与外科手术的给定区段的经处理的理赔准则进行比较，以确定机器学习模型是否输出正确的预测。可以例如使用反向传播训练过程来修改机器学习模型的各种参数。
在各种实施方式中，如本文所讨论的，可以将历史视频帧用于基于被包含在视频帧内的信息(即，基于任何合适的图像的信息)来训练各种任务的任何合适的机器学习模型。如先前所讨论的，机器学习模型可以检测医疗工具、解剖结构或者医疗工具与解剖结构之间的交互中的至少一者。一旦模型识别出相关性，就可以将这些相关性外推至经受分析的当前视频。
在一些情况下，生成相关性可以包括实现统计模型。例如，可以分析历史外科手术的相似区段的经处理的历史理赔准则以确定相关性。相关性可以处于理赔准则与外科手术区段的区段的各个方面之间。外科手术区段可以通过医疗器械、解剖结构以及医疗器械与解剖结构之间的交互来表征。如果将不同的经处理的理赔准则用于此类相似区段，则可以通过评估应当使用的最可能的理赔准则来生成相关性。例如，如果对于给定类型的历史手术的某一区段，经处理的理赔准则C1被使用100次，经处理的理赔准则C2被使用20次，并且经处理的理赔准则C3被使用10次，择可以选择理赔准则C1作为应当使用的最可能的理赔准则。
在一些情况下，当经处理的理赔准则对于历史外科手术的相同(或类似)区段不同时，可以对这些区段的特征进行分析，以确定这些区段的特征的某一差异是否可以对经处理的理赔准则的差异负责。在各种实施方式中，历史外科手术的区段的特征差异可以与经处理的理赔准则的差异(如使用任何合适的统计方法测得的)相联系。
在各种实施方式中，在如上所述生成相关性之后，可以基于所生成的相关性来更新数据库。例如，对于与给定解剖结构进行交互的给定医疗器械，预期理赔准则(或者在一些情况下，一组可能的理赔准则)可以与数据库相关联并且存储在数据库中。可以使用一组可能的理赔准则，基于与在外科手术短片中识别的外科手术的区段相关联的特性，来使这组理赔准则中的特定理赔准则进一步收窄。
另外或者另选地，所公开的实施方式可以包括接收与外科手术相关联的经处理的理赔准则，并且基于该经处理的理赔准则来更新数据库。经处理的理赔准则可以由医护提供者、医护管理员和/或其他用户来提供。或者，如本文所讨论的，经处理的理赔准则可以经由机器学习方法来提供，该机器学习方法用于分析历史外科手术并且识别被用于历史外科手术的经处理的理赔准则。在各种实施方式中，经处理的理赔准则可以与所输出的理赔准则中的至少一个理赔准则不同。这可能发生在通过医护专业人员手动识别正确的代码之后，或者在进一步的机器学习分析以确定更准确的理赔准则候选者之后。
如先前所描述的，一些实施方式可以包括：使用机器学习模型来检测历史视频短片中的多个医疗器械、多个解剖结构或者医疗器械与解剖结构之间的多个交互中的所述至少一个。如本文所描述的，机器学习方法可以是被训练以识别一个或更多个医疗器械、解剖结构以及器械与结构之间的交互的任何合适的图像识别方法。在示例实施方式中，机器学习方法可以采用多个图像识别算法，并且各个算法被训练为识别特定医疗器械或特定解剖结构。
所公开的实施方式的各方面还可以包括：对外科手术期间拍摄的视频帧进行分析，以确定患者的解剖结构的状况，并且基于所确定的解剖结构的状况，来确定与外科手术相关联的至少一个理赔准则。例如，与对处于较好状况的解剖结构执行的手术相比，对处于较差状况的解剖结构执行的手术可以证明较高的理赔是合理的。在示例实施方式中，可以将机器学习方法用于基于从各种传感器获得的信息来确定患者的解剖结构的状况。解剖结构的状况可以基于所观测到的解剖结构的视觉特征来确定，诸如尺寸、颜色、形状、半透明性、表面反射率、荧光性和/或其它图像特征。状况可以基于以下项中的一个或更多个：解剖结构、解剖结构的时间特征(运动、形状变化等)、声音特征(例如，通过解剖结构发送声音、由解剖结构产生的声音、以及声音的其它方面)、解剖结构的成像(例如，使用X射线、使用磁共振和/或其它方式成像)、或者结构的电磁测量(例如，解剖结构的导电性，和/或结构的其它特性)。可以将图像识别用于确定解剖结构状况。另外或者另选地，可以将其它专门传感器(例如，磁场传感器、电阻传感器、声传感器或其它检测器)用于状况确定。
在各种实施方式中，当确定解剖结构的状况时，可以例如使用合适的机器学习模式来识别理赔准则。例如，机器学习模型可以把解剖结构的状况作为用于确定一个或更多个理赔准则的一个可能参数。图21示出了用于确定一个或更多个理赔准则(例如，如图21示意性地示出的准则2137)的示例系统2101。在示例实施方式中，外科手术短片2111可以通过机器学习方法213来进行处理，并且方法213可以识别医疗器械2116、解剖结构2118、医疗器械与解剖结构的交互2120、以及各种参数2122(在本文中也称为特性或特征)，诸如描述器械2116、解剖结构2118、交互2120以及可能影响理赔准则的任何其它信息的参数C1至CN。示例参数C1可以是切口的大小，参数C2可以是解剖结构的状况(例如，解剖结构的尺寸、颜色、形状和/或其它图像特性)，并且参数CN可以是与示例医疗器械与示例解剖结构进行交互的位置。可以将有关医疗器械2116、解剖结构2118、交互2120以及参数2122的信息用作基于计算机的软件应用(诸如机器学习模型2135)的输入2110。模型2135可以对输入2110进行处理并输出与外科手术的具有由输入2110所描述的信息的区段相关联的一个或更多个理赔准则。
在这些实施方式中的一些实施方式中，对外科手术图像进行分析以确定保险理赔可以包括：对在外科手术期间拍摄的视频帧进行分析，以确定患者的解剖结构的状况在该外科手术期间的变化；以及基于所确定的解剖结构的状况变化来确定与该外科手术相关联的所述至少一个理赔准则。可以使用任何合适的机器学习方法来执行对视频帧进行分析以确定患者的解剖结构的状况变化的过程。例如，解剖结构的状况变化可以包括解剖结构的形状、颜色、尺寸、位置和/或其它图像特性的变化。这种变化可以通过如本文所描述的并且与各种所描述的实施方式一致的图像识别算法来确定。图像识别算法可以识别外科手术的第一帧集合中的解剖结构、识别外科手术的第二帧集合中的解剖结构，并且评估解剖结构从第一帧集合到第二帧集合是否发生变化。如果观测到变化，则图像识别算法可以通过指派变化相关标识符来限定该变化。作为几个示例，变化相关标识符可以是字符串“移除肿瘤”、“移除阑尾”、“移除了阻塞的颈动脉”和/或描述变化的其它数据。可以从预配置的标识符列表中选择变化相关标识符，并且可以包括外科手术的参数之一(诸如如图21所示的参数C1至CN)，该参数被用作机器学习模型(例如，模型2135)的输入，以输出理赔准则(例如，准则2137)。以这样的方式，可以基于所确定的解剖结构的状况变化来将理赔准则与外科手术相关联。
所公开的实施方式还可以包括：对在外科手术期间拍摄的视频帧进行分析，以确定特定医疗装置的使用；以及基于所确定的特定医疗装置的使用，确定与外科手术相关联的至少一个理赔准则。某些医疗器械的使用可能会影响理赔准则。例如，对某些一次性医疗装置的检测可能触发那些装置的理赔。或者昂贵的成像机器(MRI、CT等)的使用可以触发对使用该装置的理赔。而且，某些装置的使用，无论它们的成本如何都可以与复杂性相联系，并由此与手术的成本相联系。
一些实施方式还可以包括：对在外科手术期间拍摄的视频帧进行分析，以确定使用的特定医疗装置的类型；以及响应于第一确定的使用类型，确定与外科手术相关联的至少第一理赔准则；以及响应于第二确定的使用类型，确定与外科手术相关联的至少第二理赔准则，所述至少第一理赔准则不同于所述至少第二理赔准则。使用类型可以是医疗装置的任何技术或操纵，诸如切口制作、成像、缝合、表面处理、辐射治疗、化学治疗、切割和/或其它治疗形态。在各种实施方式中，可以通过对在外科手术期间拍摄的视频帧(即，外科手术短片)进行分析来分析使用类型。
与本文所描述的各种实施方式一致，对使用类型的检测可以通过图像识别来进行，如先前所讨论的。在一些情况下，装置相对于解剖结构的位置可以被用于确定医疗装置与解剖结构的交互。在各种实施方式中，对于使用医疗装置的每种处理类型，可以使用对应的理赔准则。在一些情况下，可以将同一医疗装置用于不同处理类型，它们可能具有不同的关联理赔准则。例如，镊子可以首先被用来夹紧解剖结构，然后被用于提取解剖结构。在一些示例中，可以通过对在外科手术期间拍摄的视频帧进行分析来确定特定医疗装置的使用类型。例如，可以使用训练示例来对机器学习模型进行训练，以从外科手术的图像和/或视频中确定医疗装置的使用类型，并且可以将经训练的机器学习模型用于对在外科手术期间拍摄的视频帧进行分析，并确定特定医疗装置的使用类型。这种训练示例的示例可以包括外科手术的至少一部分的图像和/或视频，以及指示该外科手术中的特定医疗装置的适用类型的标记。
在一些示例中，可以使用训练示例来对机器学习模型进行训练，以基于与外科手术相关的信息来确定该外科手术的理赔准则。这种训练示例的示例可以包括与特定外科手术相关的信息，以及指示该特定外科手术的希望理赔准则的标记。与外科手术相关的这种信息的一些非限制性示例可以包括：外科手术的图像和/或视频、基于对外科手术的图像和/或视频的分析的信息(本文描述了这种分析和信息的一些非限制性示例)、与外科手术相关的解剖结构、与外科手术相关的解剖结构的状况、在外科手术中使用的医疗器械、外科手术中的医疗器械与解剖结构之间的交互、外科手术的阶段、外科手术中发生的事件、基于对外科手术的术后报告的分析的信息，等等。此外，在一些示例中，可以将经训练的机器学习模型用于对在外科手术期间拍摄的视频帧进行分析，以确定与外科手术相关联的所述至少一个理赔准则。在其它示例中，可以将经训练的机器学习模型用于基于与外科手术相关的任何信息来确定与该外科手术相关联的所述至少一个理赔准则，该信息包括：诸如外科手术中的至少一个医疗器械与至少一个解剖结构之间的至少一个交互(例如，通过对在外科手术期间拍摄的视频帧进行分析而识别的所述至少一个医疗器械与所述至少一个解剖结构之间的所述至少一个交互)、外科手术的术后外科手术报告的分析、患者的解剖结构的状况(例如，通过对在外科手术期间拍摄的视频帧进行分析而确定的患者的解剖结构的状况)、在外科手术期间患者的解剖结构的状况变化(例如，通过对在外科手术期间拍摄的视频帧进行分析而确定的在该外科手术期间患者的解剖结构的状况变化)、特定医疗装置的使用(例如，通过对在外科手术期间拍摄的视频帧进行分析而确定的特定医疗装置的使用)、特定医疗装置的使用类型(例如，通过对在外科手术期间拍摄的视频帧进行分析而确定的特定医疗装置的使用类型)、在外科手术期间使用的特定类型的医疗供应量(例如，在外科手术期间使用的并且通过对在外科手术期间拍摄的视频帧进行分析而确定的特定类型的医疗供应的量)，等等。
另外，实施方式可以包括对在外科手术期间拍摄的视频帧进行分析，以确定在该外科手术期间使用的特定类型的医疗供应量，并且基于所确定的量来确定与该外科手术相关联的所述至少一个理赔准则。在示例实施方式中，特定类型的医疗供应量可以使用图像识别算法来确定，该图像识别算法用于观测外科手术的可以指示在该外科手术期间使用的医疗供应量的视频帧。医疗供应可以是在手术期间使用的任何材料，诸如药物、针、导管或者任何其它一次性或消耗性材料。供应量可从外科手术的视频帧来确定。例如，由患者使用的药物的量可以通过观测用于向患者供应药物和流体的静脉内(IV)装备来加以确定。可以在替换静脉血液或流体袋对它们进行计数。在各种实施方式中，可以将合适的机器学习模型用于识别在外科手术期间、之前和/或之后使用的特定类型的医疗供应量，并且基于所确定的量，来确定与外科手术相关联的至少一个理赔准则。可以使用历史外科手术的历史外科手术短片以及在历史外科手术期间使用的医疗供应量来对机器学习模型进行训练。在一些示例中，在外科手术中使用的特定类型的医疗供应量可以通过对在外科手术期间拍摄的视频帧进行分析来确定。例如，可以使用训练示例来对机器学习模型进行训练，以从外科手术的图像和/或视频中确定在该外科手术中使用的特定类型的医疗供应量，并且可以将经训练的机器学习模型用于对在外科手术期间拍摄的视频帧进行分析，并确定在该外科手术中使用的特定类型的医疗供应量。这种训练示例的示例可以包括特定外科手术的至少一部分的图像和/或视频，以及指示在该特定外科手术中使用的特定类型的医疗供应量的标记。
由图22所示的示例过程2201例示了对外科手术图像进行分析以确定保险理赔准则的方法的各方面。在过程2201的步骤2211，方法可以包括以下步骤：访问在对患者的外科手术期间拍摄的视频帧。视频帧可以使用任何合适的图像传感器来拍摄，并且可以使用机器学习方法和/或由医护提供者进行访问，如上所讨论的。在步骤2213，该方法可以包括以下步骤：对在外科手术期间拍摄的视频帧进行分析，以识别该视频帧中的至少一个医疗器械、至少一个解剖结构以及所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互，如上所述。例如，可以使用合适的机器学习方法(诸如图像识别算法)来对帧进行分析，如先前所讨论的。在步骤2215，该方法可以包括以下步骤：访问与医疗器械、解剖结构以及医疗器械与解剖结构之间的交互相联系的理赔准则数据库。在步骤2217，该方法可以包括以下步骤：对所述至少一个医疗器械与所述至少一个解剖结构之间的识别出的至少一个交互和理赔准则数据库中的信息进行比较，以确定与外科手术相关联的至少一个理赔准则，如先前所描述的，以及在步骤2219，该方法可以包括以下步骤：输出所述至少一个理赔准则，以供在获得外科手术的保险理赔方面使用。
如先前所讨论的，本公开涉及用于对外科手术图像进行分析以确定保险理赔的方法和系统以及可以包含指令的非暂时性计算机可读介质，该指令当由至少一个处理器执行时，使所述至少一个处理器执行操作，使得能够如上所述对外科手术图像进行分析以确定保险理赔。
所公开的系统和方法可以涉及对外科手术短片进行分析，以识别外科手术的特征、患者状况以及外科手术术中事件从而获得用于填写术后报告的信息。术后报告可以通过以下项来填写：对从外科手术获得的外科手术数据进行分析，以获得外科手术的特征、患者状况以及外科手术术中事件；以及从所分析的数据中提取信息，以用于填写术后报告。因此，需要对外科手术数据进行分析，并且从外科手术数据中提取可被用于填写术后报告的信息。
本公开的各方面可以涉及填写外科手术的术后报告，包括方法、系统、装置以及计算机可读介质。为了便于讨论，下面描述了一种方法，并且对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。例如，这种方法的一些方面可以通过有线、无线或两者的网络以电子方式发生。这种方法的其它方面可以使用非电子手段发生。在最广泛的意义上，该方法不限于特定的物理和/或电子工具，而是可以使用许多不同的工具来完成。
与所公开的实施方式一致，用于填写外科手术的术后报告的方法可以包括以下步骤：接收患者的标识符的输入。此外，该方法可以包括以下步骤：接收医护提供者的标识符的输入。术后报告可以是对外科手术进行文档记录的任何合适的基于计算机的或基于纸张的报告。在各种实施方式中，术后报告可以包括：外科手术短片的多个帧、音频数据、图像数据、文本数据(例如，医生注释)等。在示例实施方式中，可以填写、部分地填写或者不填写术后报告。例如，术后报告可以包含用于保存在外科手术期间获得的各种细节的字段(例如，报告的区域)。在示例实施方式中，至少一些字段可以具有关联的特征(也被称为字段名称)，其可以确定在该字段中可以输入什么类型的信息。例如，具有关联的名称“患者名字”的字段可以允许在该字段中输入患者的名字。名为“脉搏标绘图”的字段可以是用于显示根据时间标绘的外科手术期间的患者脉搏的字段。在各种实施方式中，当不填写报告时，报告中的所有字段可以空着；当部分地填写报告时，所述字段中的一些字段可以包含从外科手术获得的信息；以及当完整填写(或大部分地填写)报告时，绝大多数字段可以包含与关联的外科手术相关的信息。在一些示例中，术后报告的至少部分可以具有自由的表格格式，允许用户和/或自动过程以各种组织和/或格式输入数据(诸如自由文本)，这在一些示例中可以包括随意嵌入自由文本中或者附随该自由文本的其它要素，诸如针对外部要素的链接、图像、视频、录音、数字文件等。应理解，本文所描述的被包括在术后报告中的特定字段中的任何细节同样可以作为嵌入自由文本中或者附随该自由文本的这种自由文本信息的一部分而被包括在术后报告中。
图23示出了示例术后报告2301。报告2301可以包含多个字段、节段以及小节。不同的字段可以包含不同类型的信息。例如，字段2310可以包含外科手术的名称，字段2312可以包含患者的名字，并且字段2314可以包含医护提供者的名字。字段2316可以包括外科手术的阶段的名称，字段2318可以包括阶段的顺序编号(例如，外科手术的第一阶段)。可以将字段2314和/或2316的多个实例包括在术后报告2301中，以描述外科手术的多个阶段。报告2301可以包括可在外科手术期间描述特定事件的节段2315。报告2301中可以存在用于描述多个事件的多个节段。可以将这些事件中的一个或更多个事件连接至特定外科手术阶段，而其它的事件可以不连接至任何手术阶段。在示例实施方式中，节段2315可以包括：包含事件名称的字段2320、包含事件的开始时间的字段2321A、包含事件的完成时间的字段2321B以及包含事件的描述的字段2324(例如，字段2324可以包含来自描述事件的医护提供者的注释)。节段2315可以包括：用于包含图像字段(诸如图像字段1到图像字段N)的小节2326，以及用于包含事件相关外科手术短片的小节2328。例如，小节2328可以包括字段V1至Vn。另外，节段2315可以包括小节2329，该小节可以包含针对与外科手术相关的各种其它数据的链接。在各种实施方式中，可以将术后报告划分成由标签页2331和2333指示的不同部分，如图23所示。例如，当用户选择标签页2331时，可以显示与外科手术报告的第一部分相关的信息，而当用户选择标签页2333时，可以显示与外科手术报告的第二部分相关的信息。在各种实施方式中，外科手术报告可以包括任何合适数量的部分。
图23还示出了可以经由上传输入表格2337上传到报告2301中的信息。例如，用户可以单击字段(例如，如图23所示的字段V1，并且可以将表格2337呈现给用户以上传字段V1的数据。在各种实施方式中，如图23所示的字段、节段、小节以及标签页仅是例示性的，并且可以使用任何其它合适的字段、节段、小节以及标签页。而且，字段、节段、小节和以及标签页的数量和类型可以取决于在术后报告2301中输入的信息。
在各种实施方式中，可以从外科手术的外科手术短片获得填写术后报告的至少部分的信息。这些信息可以被称为基于图像的信息。另外，有关外科手术的信息可以得自医护提供者或用户的注释、以前提交的患者的表格(例如，患者的医疗历史)、在外科手术期间使用的医疗装置，等等。此类信息可以被称为辅助信息。在示例实施方式中，辅助信息可以包括生命体征，诸如由在外科手术期间使用的各种医疗装置报告的脉搏、血压、体温、呼吸率、血氧水平等。基于图像的信息以及辅助信息可以由合适的基于计算机的软件应用进行处理，并且可以将经处理的信息用于填写术后报告。例如，图24A示出了用于对信息进行处理以及填写术后报告2301的过程2401的示例。在示例实施方式中，可以将基于图像的信息2411和辅助信息2413用作基于计算机的软件应用2415的输入，并且可以将应用2415配置成对信息2411和2413进行处理、提取用于术后报告(例如，如图24A所示的报告2301)中存在的各种字段的数据、以及填写各个字段(如箭头2430A至2430D示意性地指示的)。图24B示出了用于对信息进行处理以及填写术后报告2301的示例系统2402。系统2402可以与系统2401的不同之处在于，在填写术后报告2301之前，可以将由应用2415处理的各种数据存储在数据库2440中。通过将数据存储在数据库2440中，可以容易地访问数据以用于生成各种其它报告。可以将数据库2440配置成执行软件应用以将数据从数据库2440映射到报告2301的字段，如箭头2431A至2431D示意性地示出的。
如上所述，填写术后报告的实施方式可以包括接收患者和医护提供者的标识符的输入。患者的标识符可以是任何合适的数据或物理指示符(例如，患者的名字、出生日期、社会安全号码或其它政府标识符、患者编号或其它唯一代码、患者图像、DNA序列、声音ID或者唯一地标识患者的任何其它指示符。在一些情况下，可以将一组标识符用作组合标识符。在示例实施方式中，标识符可以是唯一地标识患者的字母数字串。
在各种实施方式中，可以将患者标识符作为输入来接收。这可以使用任何合适的发送过程(例如，通过有线或无线网络发送数据的过程、使用合适的输入装置(诸如键盘、鼠标、操纵杆)发送数据的过程等)来进行。在一些情况下，“接收输入”可以包括通过邮件或快递进行接收(例如，亲自交付的纸质文件)。
与患者标识符类似，医护提供者的标识符可以是身份的任何合适指示，诸如名字、代码、隶属关系、地址、员工号码、医师执照号码、或者标识医护提供者的任何其它机制。在示例实施方式中，标识符可以是唯一地标识医护提供者的字母数字串。
所公开的实施方式还可以包括：接收由医护提供者对患者执行的外科手术的外科手术短片的输入。可以通过用于对输入进行分析的基于计算机的软件应用(如图24A所示的应用2415)来接收外科手术短片作为输入，和/或在一些情况下，接收输入可以包括由医护专业人员或用户接收输入。例如，当医护专业人员或用户从存储位置和/或直接从拍摄视频短片的传感器上传视频短片时，就可能发生这一点。
外科手术的外科手术短片可以包括任何形式的记录的视觉数据，包括所记录的图像和/或视频数据，其也可以包括声音数据。视觉数据可以包括由图像传感器(诸如摄像机115、121、123和/或125，如上面结合图1所描述的)拍摄的一个或更多个图像的序列。所述摄像机中上的一些(例如，摄像机115、121和125)可以捕获手术台141的视频/图像数据，并且摄像机121可以捕获执行外科手术的外科医生131的视频/图像数据。在一些情况下，摄像机可以捕获与外科手术团队人员相关联的视频/图像数据，诸如位于手术室101中的麻醉师、护士、外科技术人员等。
在各种实施方式中，可以将图像传感器配置成通过将可见光、X射线光(例如，经由荧光透视)、红外光或紫外光转换成图像、图像序列、视频等来拍摄外科手术短片。可以将图像/视频数据使用任何合适的格式存储为计算机文件，诸如JPEG、PNG、TIFF、Audio VideoInterleave(AVI)、Flash Video格式(FLV)、QuickTime文件格式(MOV)、MPEG(MPG、MP4、M4P等)、Windows Media Video(WMV)、Material Exchange Format(MXF)等。
外科手术可以包括与在患者身体上的手动处置(procedure)或手术处置相关联或涉及的任何医疗手术。外科手术可以包括切割、磨削、缝合或者涉及物理改变身体组织和/或器官的其它技术。外科手术还可以包括对患者进行诊断或者向患者使用药品。此类外科手术的一些示例可以包括：腹腔镜外科手术、胸腔镜手术、支气管镜手术、显微镜手术、开放式外科手术、机器人外科手术、阑尾切除术、颈动脉内膜切除术、腕管松解术、白内障外科手术、剖腹产术、胆囊切除术、结肠切除术(诸如部分结肠切除术、全结肠切除术等)、冠状动脉血管成形术、冠状动脉搭桥术、清创术(例如伤口、烧伤、感染等)、游离皮肤移植、痔切除术、髋关节置换术、子宫切除术、宫腔镜检查、腹股沟疝修补术、膝关节镜检查、膝关节置换术、乳房切除术(诸如部分乳房切除术、全乳房切除术、改良根治性乳房切除术等)、前列腺切除术、前列腺移除、肩关节镜检查、脊柱外科手术(诸如脊柱融合术、椎板切除术、椎间孔切开术、椎间盘切除术、椎间盘置换术、椎板间植入物等)、扁桃体切除术、人工耳蜗植入手术、脑肿瘤(例如脑膜瘤等)切除术、诸如经皮腔内冠状动脉血管成形术的介入手术、经导管主动脉瓣置换术、用于清除脑出血的微创外科手术、或者涉及某一形式切口的任何其它医疗手术。虽然本公开是参照外科手术来进行描述的，但是要理解，它也可以适用于其它形式的医疗手术或者一般的手术。
在各种实施方式中，可以由医护提供者对患者执行外科手术，并且如上所述，患者是通过标识符进行标识的。医护提供者可以是一个人、一群人、组织或者经授权向患者提供健康服务的任何实体。例如，医护提供者可以是外科医生、麻醉师、护士从业者、一般儿科医生或者可能经授权和/或能够执行外科手术的任何其他人或一群人。在各种实施方式中，医护提供者可以是执行外科手术的外科手术团队，并且可以包括首席外科医生、助理外科医生、麻醉师、护士、技术人员等。医护提供者可以管理外科手术、协助患者的外科手术等。与所公开的实施方式一致，医院、诊所或其他组织或设施也可以被表征为医护提供者。同样地，患者可以是被执行外科手术的人(或任何活物)。
所公开的实施方式的各方面可以包括对外科手术短片的多个帧进行分析，以导出基于图像的信息以供填写外科手术的术后报告。在各种实施方式中，基于图像的信息可以包括：关于在外科手术期间发生的事件的信息、关于外科手术的阶段的信息、关于在外科手术期间使用的外科手术工具的信息、关于被执行外科手术的解剖结构的信息、来自各种装置的数据(例如，生命体征，诸如脉搏、血压、体温、呼吸率、血氧水平等)、或者可以从图像获得的并且可以适用于在术后报告中进行文档记录的任何其它合适的信息。本公开中描述了基于对外科手术短片的分析的信息和/或用于分析外科手术短片并确定所述信息的算法的一些其它非限制性示例。
在各种实施方式中，基于图像的信息可以使用任何合适的经训练的机器学习模型(或其它图像识别算法)从外科短片中导出，该机器学习模型用于识别外科手术短片内的事件、外科手术的阶段、外科手术工具、解剖结构等，例如如上所述。在一些情况下，机器学习方法可以识别事件、阶段、外科手术工具、解剖结构等的各种特性。例如，事件(诸如切口)的特性可以包括切口的长度，并且解剖结构的特性可以包括结构的尺寸或者结构的形状。在各种实施方式中，任何合适的特性均可以使用机器学习方法来识别(例如如上所述)，并且一旦进行了识别就可以被用于填写手术报告。
在各种实施方式中，可以将所导出的基于图像的信息用于填写外科手术的术后报告。填写术后报告的过程可以包括利用专用于字段的信息来填写报告的字段。在示例实施方式中，填写术后报告可以通过基于计算机的应用(例如，如图24A所示的应用2415)来完成。例如，可以将基于计算机的应用配置成从术后报告中取回字段、确定与该字段相关联的名称、基于所确定的名称来确定需要在字段中输入什么类型的信息(例如，基于图像的信息或者任何其它合适的信息)、从外科手术短片或从辅助信息(例如如图24A所示的辅助信息2413)取回这样的信息。在示例实施方式中，取回信息可以包括从外科手术短片中导出基于图像的信息。例如，如果字段名为“所使用的外科手术工具”，那么取回信息可以包括：使用用于识别(在外科手术短片中)在外科手术期间使用的外科手术工具的图像识别算法，并且利用所识别的工具的名称填写手术报告。因此，可以将所导出的基于图像的信息用于填写外科手术的术后报告。可以被用于填写报告的基于图像的信息的其它示例可以包括：手术或其部分的开始时间和结束时间、所遇到的并发症、器官的状况以及可以通过对视频数据的分析来导出的其它信息。这些也可能包括，患者的特征、一个或更多个医护提供者的特征、关于手术室的信息(例如，手术室中存在的装置的类型、手术室中可用的图像传感器的类型等)、或者任何其它相关数据。
通过如图25所示的示例过程2501例示了填写外科手术的术后报告的方法的各方面。在过程2501的步骤2511，该方法可以包括以下步骤：接收患者的标识符的输入，以及在步骤2513，该方法可以包括以下步骤：接收医护提供者的标识符的输入，如上所述。在步骤2515，该方法可以包括以下步骤：接收由医护提供者对患者执行的外科手术的外科手术短片的输入。接收外科手术短片的输入可以包括：接收合适的基于计算机的软件应用或者医护专业人员的输入，如上面所讨论的。在步骤2517，该方法可以包括以下步骤：对外科手术短片的多个帧进行分析，以导出基于图像的信息以供填写外科手术的术后报告(如本文所描述的)，以及在步骤2519，该方法可以包括以下步骤：使所导出的基于图像的信息填写外科手术的术后报告，如先前所描述的。
填写外科手术的术后报告的方法的各方面可以包括：对外科手术短片进行分析，以识别外科手术的一个或更多个阶段。可以基于训练模型来自动地彼此区分各阶段，该训练模型被训练以区分外科手术的一个部分与另一部分，例如如本文所描述的。
对于本公开的目的来说，阶段可以是指过程或一系列事件的特定时段或阶段。因此，外科手术阶段可以是指外科手术的子部分。例如，腹腔镜胆囊切除术的外科手术阶段可以包括：套管针放置、准备、calot三角解剖、夹闭和切断胆囊管和动脉、胆囊解剖、胆囊包装、肝床的清洁和凝固、胆囊收缩等。在另一示例中，白内障外科手术的外科手术阶段可以包括：准备、聚维酮碘注射、角膜切口、撕囊术、超声乳化、皮层抽吸、人工晶状体植入、人工晶状体调整、伤口封闭等。在又一示例中，垂体外科手术的外科手术阶段可以包括：准备、鼻腔切口、鼻子牵开器安装、接近肿瘤、肿瘤移除、鼻柱置换、缝合、鼻部压迫装置等。外科手术阶段的一些其它示例可以包括：准备、切口、腹腔镜定位、缝合等。
在一些示例中，用户可以通过利用识别阶段的名称或类型的单词/句子/字符串对外科手术短片的区段进行标记来识别阶段。用户还可以识别事件、手术或所使用的装置，该输入可与特定视频短片相关联(例如，通过查找表或其它数据结构)。可以通过用户装置的用户界面接收用户输入，诸如台式计算机、膝上型电脑、平板电脑、移动手机、可佩戴装置、物联网(IoT)装置或者用于接收来自用户的输入的任何其它装置。例如，该界面可以提供：具有一个或更多个阶段名称选择列表的一个或更多个下拉菜单；允许用户输入阶段名称和/或一旦输入几个字母就提议阶段名称的数据输入字段；可以选择阶段名称的选择列表；一组可选择的图标，各个图标与不同的阶段相关联；或者允许用户识别或选择阶段的任何其它机制。
在一些实施方式中，对外科手术进行分析以识别外科手术的一个或更多个阶段可以涉及使用计算机分析(例如，机器学习模型)来对视频短片的帧进行分析，例如如上所述。计算机分析可以包括使用计算装置的任何形式的电子分析。在一些实施方式中，计算机分析可以包括使用一种或更多种图像识别算法来识别视频短片的一个或更多个帧的特征。计算机分析可以针对单个帧执行，或者可以跨多个帧执行，例如，以检测帧之间的运动或其它变化。
在一些实施方式中，对外科手术进行分析以识别外科手术的至少一个阶段可以涉及将名称与至少一个阶段相关联。例如，如果所识别的阶段包括胆囊剖分，那么可以将名称“胆囊剖分”与该阶段相关联。在各种实施方式中，所导出的基于图像的信息(通过对阶段进行识别而从外科手术的外科手术短片导出的)可以包括如上所述的关联阶段名称。
此外，填写外科手术的术后报告的方法的各方面可以包括：对所识别的阶段中的至少一个阶段的特性进行识别。阶段的特性可以是阶段的任何特征，诸如阶段的持续时间、在外科手术期间的阶段序列中的阶段的位置、阶段复杂性、所使用的技术的识别、与阶段中所使用的医疗器械相关的信息、与阶段中执行的动作相关的信息、在阶段期间的解剖结构的状况变化、或者可以表征阶段的任何其它信息。阶段特性可以以字母数字串的形式进行表达。例如，“第一阶段”可以将该阶段标识为外科手术期间的阶段序列中的第一阶段，“一个小时”可以描述该阶段的持续时间为一个小时，“支气管镜检查”可以将该阶段标识为支气管镜检查，等等。另外或者另选地，阶段的特性可以是在外科手术期间收集的非文本数据(例如，图像、音频、数值和/或视频数据)。例如，在外科手术的阶段期间执行的解剖结构(或外科手术器械，或者外科手术器械与示例解剖结构的交互)的代表性图像可以被用作阶段的特性。在一个示例中，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中识别外科手术阶段的特性。这种训练示例的示例可以包括外科手术的外科手术阶段的至少一部分的图像和/或视频，以及指示该外科手术阶段的一个或更多个特性的标记。此类特性的一些非限制性示例可以包括：外科手术阶段的名称、外科手术阶段的文本描述、或者上述外科手术阶段的任何其它特性。此外，在一些示例中，可以将经训练的机器学习模型用于对外科手术短片进行分析，以识别所标识的阶段中的所述至少一个阶段的特性。在各种实施方式中，所导出的基于图像的信息(被用于填写外科手术记录)可以基于所识别的至少一个阶段以及所述至少一个阶段的所识别的特性。例如，将阶段和特性两者组合在一起可以使得能够以更有意义的方式记录该阶段。例如，在瓣膜的缝合阶段期间，如果检测到术中泄漏(阶段的特性)，则可以将阶段/特性组合记录在外科手术记录中。在一些情况下，所导出的基于图像的信息可以包括在外科手术的阶段期间拍摄的视频的区段。
填写外科手术的术后报告的方法的各方面可以包括：至少确定所述至少一个阶段的开始；并且其中，所导出的基于图像的信息是基于所确定的开始的。可以通过对外科手术短片执行计算机图像分析来确定至少一个阶段的开始，例如如上所述。例如，使用经训练的机器学习模型(诸如经回归卷积神经网络)，可以将特定阶段的开始与在先阶段的结束区分开，并且可以对位置进行识别并存储在外科手术记录中。在另一示例中，当特定医疗器械首次显现在视频短片中时，阶段可以开始，并且可以将对象检测算法用于识别外科手术短片中的特定医疗器械的第一外观。
在一些情况下，可以将时间标记与至少一个阶段相关联，并且所导出的基于图像的信息可以包括与所述至少一个阶段相关联的时间标记。可以以多种方式记录时间标记，包括从外科手术的开始起经过的时间、按一天中的时间测得的时间或者与某一其它术中记录的时间相关的时间。在各种实施方式中，时间标记可以与各个所识别的阶段的开始相关联(例如，可以将时间标记与外科手术短片内的外科手术阶段的开始位置相关联)。时间标记可以是任何合适的字母数字标识符或者任何其它数据标识符(例如，音频信号或图像)，并且可以包括关于与所识别的阶段的开始相关联的时间(和/或可能是时间范围)的信息。
示例外科手术事件(诸如切口)可以使用动作检测算法来进行检测，例如如上所述。这种识别的外科手术事件可以识别外科手术阶段的开始。在示例实施方式中，可以基于机器学习技术来检测开始外科手术阶段的事件。例如，可以使用包括开始外科手术阶段的已知事件的历史外科手术短片来训练机器学习模型。
此外，所公开的实施方式可以包括至少确定所述至少一个阶段的结束，并且所导出的基于图像的信息可以基于所确定的结束。可以通过对外科手术短片内的外科手术阶段的结束位置进行检测，来确定该外科手术阶段的结束。在各种实施方式中，时间标记可以与所识别的各个阶段的结束相关联(例如，可以将时间标记与外科手术短片内的外科手术阶段的结束位置相关联)。如上面所讨论的，可以将结束标记以与开始标记相同的方式进行记录，并且可以通过任何合适的字母数字标识符或任何其它数据标识符进行表征。例如，可以对外科手术短片进行分析，以识别相继的外科手术阶段的开始，并且一个阶段的结束可以与相继的外手术科阶段的开始相同。在另一示例中，当特定医疗器械最后显现在视频短片中时，阶段可以结束，并且可以将对象检测算法用于识别外科手术短片中的特定医疗器械的最后外观。
自动填写外科手术的术后报告的实施方式还可以包括：将数据发送给医护提供者，所发送的数据包括患者标识符和所导出的基于图像的信息。在外科手术期间或之后，可以将在外科手术期间拍摄的视频发送给医护提供者，以填写患者的关联外科手术记录。为了确保视频填写恰当的记录，患者标识符可以附随发送中的视频。在一些实施方式中，这可以使得外科手术记录能够自动地随着视频进行更新，而无需人为干预。在其它的实施方式中，在发送端和/在接收端，人类可以选择视频进行发送，或者接受视频以并入患者的医疗记录中。在一些情况下，发送数据可能涉及邮寄(或亲自交付)描述数据的文档的物理拷贝(例如，纸质副本、CD-ROM、硬盘、DVD、USB驱动器等)。另外或者另选地，发送数据可以包括将数据发送给健康保险提供者或医疗事故承保人中的至少一者。
本公开的各方面可以包括：对外科手术短片进行分析，以识别术后治疗的至少一个建议；以及提供所识别的至少一个建议。如稍早所描述的，可以以各种方式(例如，使用机器学习方法、通过医护提供者等)来对外科手术短片进行分析。在各种实施方式中，机器学习方法不仅可以被配置成识别视频帧内的事件，而且可以被配置成基于外科手术短片的分析来形成关于外科手术的各个方面的结论。例如，术后伤口护理可以根据外科手术伤口的特性而改变。视频分析可能会确定该性质，并且还可能会提供对伤口部位的术后治疗的建议。可以将此类信息发送给外科手术记录并进行存储。在一些情况下，机器学习方法可以识别术中事件(例如，不利事件)，并且可以提供这些事件需要特定术后治疗的指示。这可以通过机器学习进行分析，并且可以自动地提供用于术后治疗的建议。在一个示例中，响应于在外科手术短片中识别的第一外科手术事件，可以识别术后治疗的第一建议，并且响应于在外科手术短片中识别的第二事件，可以识别术后治疗的第二建议，第二建议可以不同于第一建议。在一个示例中，响应于在外科手术短片中识别的解剖结构的第一状况，可以识别术后治疗的第一建议，并且响应于在外科手术短片中识别的解剖结构的第二状况，可以识别术后治疗的第二建议，第二建议可以不同于第一建议。在一些示例中，可以使用训练示例来对机器学习模型进行训练，以从外科手术图像和/或外科手术视频生成术后治疗的建议，并且可以将经训练的机器学习模型用于对外科手术短片进行分析，并识别术后治疗的所述至少一个建议。这种训练示例的示例可以包括外科手术的至少一部分的图像或视频，以及指示与外科手术相对应的术后治疗的希望建议的标记。
此类建议可以包括：提议物理治疗、药物、进一步体检，继续外科手术等。在一些情况下，建议可能不与医疗活动直接相关，而是可能包括饮食建议、睡眠建议、身体活动建议或者压力管理建议。在各种实施方式中，可以向负责患者的术后治疗的医护专业人员提供所识别的建议。另外或者另选地，该建议可以提供给第三方，这可能是患者、家庭成员、朋友等。
在一个实施方式中，对外科手术短片的分析可以包括：识别在外科手术的给定时间期间，外科医生可能与患者的肠道非常紧密地工作(例如，使用能量装置)。当识别出这样的事件时(例如使用对象检测算法、使用经训练的机器学习模型等)，可以发送通知(例如，推送通知)，以提醒外科医生(或者监督患者的术后治疗的任何其他医护专业人员)，以进一步分析外科手术短片以及计划出专门的程序以避免灾难性的术后事件(例如，出血、心脏骤停等)。
在各种实施方式中，填写外科手术的术后报告可以包括：使得医护提供者能够更改术后报告中的所导出的基于图像的信息的至少部分。例如，医护提供者(也被称为医护专业人员)可以经由被配置成显示术后报告中的信息的软件应用来访问该术后报告。在各种实施方式中，可以使得医护专业人员能够更改术后报告内的一些或所有字段。在一些实施方式中，可以将特定字段锁定为在没有管理权限的情况下不可更改。可更改字段的示例可以是包含以下内容的那些字段：基于文本的数据(例如，可通过经由键盘、鼠标、麦克风等来输入新数据而更改)、图像数据(例如，通过上传与外科手术相关的一个或更多个图像、叠加在所述一个或更多个图像上的信息等)、视频数据(例如，通过上传叠加在所述一个或更多个视频的一个或更多个帧上的与外科手术相关的一个或更多个视频等)、音频数据(例如，在外科手术期间捕获的音频数据等。
在各种实施方式中，可以使用版本跟踪系统来跟踪术后报告的更新。在示例实施方式中，版本跟踪系统可以保持以前被用于填写术后报告的所有数据。版本跟踪系统可以被配置成跟踪术后报告的不同版本之间的差异，并且可以被配置成跟踪关于对报告进行改变的一方(例如，医护专业人员的名字、更新的时间等)的信息。
在一些实施方式中，可以将填写外科手术的术后报告配置成使要在术后报告中识别的所导出的基于图像的信息的至少部分作为自动生成的数据。在各种实施方式中，由于将所导出的基于图像的信息用于填写术后报告，因此填写报告可以包括识别如何生成所导出的基于图像的信息。例如，如果使用检测到的血管脉搏的计算机视觉分析确定升高的心率，则可以将该确定的来源注释为是基于视频确定。类似地，视频分析可能会自动估计作为破裂结果的血液损失量，并且连同估计的损失，手术报告可能会注释损失量是基于视频分析的估计。实际上，从视频分析中导出的任何指示可能会使用任何基于文本、图形或图标的信息在术后报告中如此进行注释以反映数据的来源。例如，电影图标可以紧挨着从视频导出的数据显示。另选地，如果医护专业人员识别外科手术短片内的事件，并且提供外科手术短片的与所识别的事件相对应的区段作为所导出的基于图像的信息，则此类信息可以被认为是由医护专业人员生成的，并且可能不会被分类为自动生成的数据。
所公开的实施方式可以包括：对外科手术短片进行分析，以识别外科手术短片内的外科手术事件，例如如上所述。如先前所讨论的，该分析可以使用机器学习模型来进行。可以根据已经被识别出手术事件的历史数据以及该事件的名称来导出识别。因此，当通过机器学习检测到类似事件时，可以将先前所识别的该事件的名称类似地应用于当前事件识别。
此外，与所公开的实施方式一致，不仅可以识别事件，而且也可以识别外科手术事件的特性。外科手术事件的特性可以是事件的类型或者表征该事件的任何其它信息。例如，如果事件是切口，则可以将机器学习模型配置成返回名称“切口”作为事件的类型，并且返回切口的长度和深度作为事件的特性。在一些情况下，可以向机器学习模型提供各种事件的可能类型的预定列表，并且可以将机器学习模型配置成从事件类型列表中选择类型以准确地表征事件。特性的数量可以根据所识别的事件类型而改变。一些相当简单的事件可能具有相对较短的关联特性列表，而其它事件可能具有更多的关联的另选特性。
如所讨论的，机器学习模型是识别事件的一种方式，其中使用示例训练的模型用于识别(或确定)事件。训练可以涉及任何合适的方法，举例来说如监督学习方法。例如，可以将包含与一事件相对应的特征的历史外科手术短片表示为机器学习模型的输入数据，并且该机器学习模型可以输出与该短片内的特征相对应的事件的名称。可以调整机器学习模型的各种参数，以训练机器学习模型正确地识别与历史视觉数据中的特征对应的事件。例如，如果机器学习模型是神经网络，则这种神经网络的参数(例如，网络的权重、神经元数量、激活函数、网络的偏置(bias)、网络内的层数等)可以使用任何合适的方法来进行调整(例如，可以使用反向传播过程来调整神经网络的权重)。
在一个实施方式中，该事件可以由医疗专业人员(例如，外科医生)识别，并且该事件可以在发生时被加标签。如果机器学习模型将外科手术活动识别为潜在关注的但缺乏该活动的关联名称，则可以保存关联的短片，并且稍后可以提示用户以提供关联的名称。
在一些情况下，外科医生可以对外科手术期间的事件进行标记，以用于后续识别。例如，外科医生可以使用视觉或音频信号(例如，手势、身体姿势、由医疗器械产生的光源所生成的视觉信号、说的话等)来对事件进行标记，该视觉或音频信号可以由一个或更多个图像传感器/音频传感器拍摄并且被识别为事件的触发。
在各种实施方式中，所导出的基于图像的信息可以基于所识别的外科手术事件和事件的所识别的特性。在如稍早所讨论地识别了事件以及该事件的一个或更多个特性之后，可以分析该组合以确定不可能单独从事件或者特性导出的基于图像的信息。例如，如果将特定事件的特定特性与术后并发症的已知风险相关联，则该风险可以被确定并且被包括在基于图像的信息中。另选地，作为示例，所导出的基于图像的信息可以包括以下项中的一个或更多个：事件的名称、外科手术短片的与事件相对应的区段、在事件期间使用的外科手术器械的名称和/或图像、在事件期间进行手术的解剖结构的名称和/或图像、外科手术器械与解剖结构的交互的图像、事件的持续时间和/或从视频导出的任何其它信息。
如所提及的，可以对外科手术短片进行分析，以确定所识别的外科手术事件的事件名称。如上所述，可以使用合适的机器学习模型来确定事件名称。另选地，可以由医护专业人员识别事件的名称。在各种实施方式中，所导出的基于图像的信息可以包括所确定的事件名称。
所公开的实施方式的各方面还可以包括将时间标记与所识别的外科手术事件相关联。将时间标记与所识别的外科手术事件相关联的过程可以类似于将时间标记与外科手术的阶段相关联的过程。例如，可以将时间标记与外科手术的事件的开始相关联(例如，外科手术短片内的外科手术事件的开始或某一其它中间位置或位置范围)。时间标记可以是任何合适的字母数字标识符或任何其它图形或数据标识符。例如，时间标记可以是在外科手术中的一些或全部手术的活动或静态时间线上显现的图标或其它图形。如果是活动的，则可以时间标记是可点击的(或者可以其它方式选择的)，以呈现关联事件的短片。可以通过短片上的文本或图形叠加或者通过用于回放呈现的被嵌入的标识音频指示器，来使标记显现在短片中。此类指示符可以包括一条或更多条信息，诸如时间数据(发生的时间或时间范围)、位置数据(其中发生事件)、或者表征数据(描述发生的特性)。在一些情形下，可以将时间标记与事件的结束相关联(例如，可以将时间标记与外科手术短片内的事件的结束位置相关联)。所导出的基于图像的信息可以包括这种针对多个事件和/或事件内的多个位置的多个时间标记。
在一些实施方式中，提供所导出的基于图像的信息可以以使得能够更新电子医疗记录的形式来进行。例如，所导出的基于图像的信息可以包括文本数据、图像数据、视频数据、音频数据等，它们可以采用可以上传到可存储和显示电子医疗记录的软件应用的形式(例如，用于存储和显示医疗记录的独立应用、用于使用存储在数据库中的信息显示医疗记录的Web界面等)。在各种实施方式中，用于存储和显示医疗记录的软件应用可以包括用于使用所导出的基于图像的信息来更新电子医疗记录的界面。该界面可以包括用于上传图像、视频以及音频数据的、用于上传文本数据的、用于将文本数据键入电子医疗记录的、用于使用计算机鼠标更新电子医疗记录等的图形用户要素。
在各种实施方式中，所导出的基于图像的信息可以部分地基于用户输入。例如，诸如医护专业人员的用户可以在拍摄外科手术短片时提供输入，例如如上所述，并且所导出的基于图像的信息可以部分地基于这样的输入。例如，这种输入可以指示外科手术短片内的特定时间点。
在各种实施方式中，所导出的基于图像的信息可以包括与外科手术的第一部分相关联的第一部分以及与外科手术的第二部分相关联的第二部分。将基于图像的信息分成多部分可以促进对基于图像的信息进行分类。例如，如果外科手术的第一部分涉及制作多个切口，并且外科手术的第二部分涉及缝合，那么可以将这种部分用于对外科手术的那些部分进行分类。在一些情况下，在外科手术的第一部分期间，可以将第一组传感器用于收集基于图像的信息，并且在外科手术的第二部分期间，可以将不同组的传感器用于收集基于图像的信息。例如，在第一部分期间，可以将位于外科手术器械上的图像传感器用于拍摄外科手术短片，并且在外科手术的第二部分期间，可以将空中的图像传感器(即，位于手术台上方的图像传感器)用于拍摄外科手术短片。
在各种实施方式中，术后报告可以包括对应于外科手术的第一部分的第一部分以及对应于外科手术的第二部分的第二部分。术后报告的第一部分的开始可以由第一位置指示(例如，第一位置可以是数据文件中的指针、文本文件中光标的位置、数据库中的数据记录等)。术后报告的第二部分的开始可以由第二位置指示，该第二位置可以是文件中的以下位置的任何合适指示：该位置是术后报告的第二部分的起点(例如，第一位置可以是数据文件中的指针、文本文件中光标的位置、数据库中的数据记录等)。在各种实施方式中，可以将术后报告基于外科手术的对应部分分成多个部分。在示例实施方式中，机器学习方法(或医护提供者)可以识别外科手术的各个部分，并且配置术后报告以具有此类所识别的部分。术后报告可以不限于两个部分，而是可以包括多于或少于两个部分。
所公开的实施方式的各方面可以包括接收初步术后报告。术后报告可以由任何实体接收，无论是组织、个人还是计算机(例如，保险公司或医护组织、医护专业人员或者用于填写术后报告的基于计算机的程序，诸如如图24A所示的应用2415)。在各种实施方式中，对初步术后报告进行分析可以涉及以选择初步术后报告内的第一位置和第二位置，第一位置与外科手术的第一部分相关联，第二位置与外科手术的第二部分相关联。这样的选择可以使得某人(或机器)能够分析报告以直接跳至报告中的关注区域。因此，分析初步术后报告可以包括识别第一位置和第二位置中的一个或更多个位置的指示符。所述指示符可以是任何合适的字母数字指示符或图形指示符。例如，第一位置的指示符可以是文本串“这是术后报告的第一部分的开始”或图形开始图标。在一个示例中，可以将自然语言处理(NLP)算法用于对初步术后报告中包括的文本信息进行分析，以识别讨论外科手术的不同方面(诸如不同的外科手术阶段、不同的外科手术事件、不同的医疗器械的使用等)的文本信息部分，并且将文本信息的所识别的部分与外科手术的不同部分(例如，与对应的外科手术阶段、与对应的外科手术事件、与对应的医疗器械的使用等)相关联。此外，在一些示例中，初步术后报告内的第一位置和第二位置(以及附加位置)可以是基于文本信息的所识别的部分和/或与文本信息的所识别的部分链接。
此外，实施方式可以包括：使所导出的基于图像的信息的第一部分插入在所选定的第一位置处，使所导出的基于图像的信息的第二部分插入在所选定的第二位置处。例如，术后报告的第一部分可以包括第一组字段，第一组字段可以通过所导出的在外科手术的第一部分期间捕获的基于图像的信息来填写，并且术后报告的第二部分可以包括第二组字段，第二组字段可以通过所导出的在外科手术的第二部分期间捕获的基于图像的信息来填写。在另一示例中，所导出的基于图像的信息的第一部分可以对应于外科手术的第一部分，并且所导出的基于图像的信息的第二部分可以对应于外科手术的第二部分，可以将初步术后报告内的第一位置识别为对应于外科手术的第一部分(如上所述)，可以将初步术后报告内的第二位置识别为对应于外科手术的第二部分(如上所述)，并且作为响应，可以将所导出的基于图像的信息的第一部分插入在第一位置处，并且可以将所导出的基于图像的信息的第二部分插入在第二位置处。外科手术的第一部分和第二部分的一些非限制性示例可以包括：不同的外科手术阶段、不同的外科手术事件、不同的医疗器械的使用、不同的动作等。
本公开的各方面还可以包括：对外科手术短片进行分析，以选择该外科手术短片的至少一个帧的至少部分；以及使该外科手术短片的至少一个帧的所选定的至少部分被包括在外科手术的术后报告中。例如，如果术后报告包括被配置成保持在外科手术期间使用的外科手术器械的一个或更多个图像的字段，那么可以将示例机器学习模型配置成识别外科手术短片一个或更多个帧，并且选择所识别的帧的包含外科手术器械的部分。此外，可以将至少一个帧的所选择的部分(或多个部分)插入(例如填入)术后报告中。还可以将机器学习模型配置成提取外科手术短片的其它相关的帧。例如，可以提取外科手术短片的描绘作为手术焦点的解剖结构的帧，或者描绘外科手术器械与解剖结构之间的交互的帧。这些相关的帧也可以填写术后报告。
所公开的实施方式还可以包括：接收初步术后报告，并且分析初步术后报告和外科手术短片以选择外科手术短片的至少一个帧的所述至少一部分。例如，可以将机器学习模型配置成对术后报告进行分析并识别不利事件(例如，出血)的讨论。不利事件例如可以通过被存储在术后报告中的指示，使用NLP算法等来识别。该指示例如可以是不利事件的名称的指示。它可以包括当在外科手术期间发生不利事件时的时间。不利事件可以使用机器学习模型来加以确定，该机器学习模型被配置成取回外科手术的外科手术短片以及识别帧的示出了表示不利事件的视觉数据的一部分(例如，帧的示出了出血的部分)。此外，在一些示例中，可以将帧的所识别的部分结合不利事件的讨论来插入术后报告，或者以另一种方式与不利事件的讨论相关联。
所公开的实施方式的附加方面可以包括：对初步术后报告以及外科手术短片进行分析，以识别该初步术后报告与外科手术短片之间的至少一个不一致性。在各种实施方式中，可以通过将报告中存储的信息与通过确定错误的机器学习模型导出的信息进行比较来确定不一致性。出于例示的目的，当医疗专业人员在报告中表明外科手术部位是利用缝合线闭合的而视频揭示了该部位是利用钉书钉闭合时，可能会出现假想不定数量的潜在不一致性中的一个。例如，利用基于计算机的软件应用(例如，如图24A所示的应用2415)可能进行该视频揭示，其中将术后报告与关联的手术的视频短片进行了比较。如果对差异进行了注释，则基于计算机的软件应用可以确定错误的来源，可以对该错误进行注释，可以发送错误的通知和/或可以自动纠正错误。例如，该应用可以分析初步术后报告的各种版本(例如，如上所述的版本跟踪系统)，以识别该差异是在生成初步术后报告的哪个步骤首次出现的。
如先前提及的，本公开的实施方式可以包括提供所识别的至少一个不一致性的指示。可以通过使用任何合适的手段向医护专业人员发送通知来提供该指示，如上面所讨论的。
如前所述，各种实施方式可以包括接收患者标识符的输入和医护提供者的标识符的输入。此外，该方法可以包括以下步骤：接收由医护提供者对患者执行的外科手术的外科手术短片的输入，如先前所述。该方法还可以包括以下步骤：对外科手术短片的多个帧进行分析，以基于医疗器械与生物结构之间的所检测到的交互来识别外科手术的阶段，并且基于所述交互，将名称与各个识别的阶段相关联。例如，外科手术短片的所述帧中的至少一些帧可以指示外科手术短片的正在对生物结构(在本文中也被称为解剖结构)执行外科手术的一部分。如上面所讨论的，交互可以包括医疗器械的可以影响生物结构的任何动作，反之亦然。例如，交互可以包括医疗器械与生物结构之间的接触、医疗器械在生物结构上的动作(诸如切割、夹紧、抓握、施加压力、刮削等)、生物结构的生理反应、医疗器械朝着生物结构发射光(例如，外科手术工具可以是朝着生物结构发射光的激光器)、朝着解剖结构发射的声音、在生物结构附近产生的电磁场、在生物结构中感应的电流、或者任何其它合适的交互形式。
在一些情况下，检测交互可以包括识别医疗器械对生物结构的接近。例如，通过分析外科手术视频短片，可以将图像识别模型配置成确定医疗器械与生物结构上的点(或一组点)之间的距离。
本公开的各方面可以涉及基于医疗器械与生物结构之间的检测到的交互将名称与所识别的各个阶段相关联。可以使用任何合适的方式将该名称与所识别的各个阶段相关联。例如，如上所述，可以由用户提供该名称，或者可以使用如上所述的合适的机器学习方法来自动确定名称。特别地，识别外科手术的阶段的过程涉及将名称与所识别的各个阶段相关联。在各种实施方式中，与阶段相关联的名称可以包括生物结构的名称以及与结构交互的外科手术器械的名称。
在各种实施方式中，可以在进行中的外科手阶段期间或者在外科手术阶段完成之后更新、修改、量化或者以其它方式更改与所识别的阶段相关联的名称。例如，机器学习模型最初可以将外科手术阶段的名称确定为“切口”，并且稍后基于所检测到的医疗器械与生物结构之间的交互，可以将外科手术阶段的名称更新成例示性名称“经由腹腔镜外科手术使用腹腔镜剪刀制作的朝着腹直肌居中延伸的Lanz切口”。另外或者另选地，可以将单独的记录(在本文中也被称为注释)添加至标识外科手术阶段的名称，并且该注释包含外科手术阶段的各种细节和/或特征。这些细节可以包括：在外科手术阶段期间使用的器械、在外科手术阶段期间使用的灯、在示例生物结构上施加的压力的压力值、施加压力的区域、在外科手术阶段期间生物结构和/或医疗器械的一个或更多个图像、事件的标识(例如，诸如出血的不利事件)、或者表征外科手术阶段的任何其它相关信息。
本公开的各方面还可以涉及将数据发送给医护提供者，发送的数据包括患者标识符、外科手术的所识别的阶段的名称、以及与所识别的阶段相关联的时间标记。
实施方式可以包括：至少确定所识别的各个阶段的开始，并且将时间标记与所识别的各个阶段的开始相关联，如上面所讨论的。另外或者另选地，时间标记可以识别所识别的阶段的结束，如上面所讨论的。所发送的数据可以包括：文本、图形、视频数据、动画、音频数据等。在一些情况下，所发送的数据可以是向各种医护提供者(例如，各种医疗人员、管理员以及其它受关注的个人或系统)所拥有的任何合适的装置(智能手机、膝上型电脑、台式电脑、TV等)递送的SMS消息、电子邮件等。在一些情况下，还可以将所述发送的数据提供给患者、患者的亲属或朋友。
此外，本公开的各方面可以包括：按照以下方式向术后报告填写所发送的数据：使得医护提供者能够更改术后报告中的阶段名称。这种更改可以通过使得能够实现术后报告更改的界面来进行。例如，该界面可以允许医护提供者通过使用键盘键入新的阶段名称来更新阶段名称。在各种实施方式中，还可以将该界面配置为更改在外科手术短片中识别的并且在术后报告中记录的各种事件的名称。
所公开的系统和方法可以涉及对外科手术短片进行分析，以识别外科手术期间的事件，将事件与建议的事件的序列进行比较，并且确定在外科手术期间是否没有执行来自该建议的事件的序列中的任何事件。可能需要在外科手术期间或之后识别略过的外科手术事件。可以将事件与建议的事件的序列进行比较，并且当在外科手术期间未执行一些事件时，就像通过与该建议的事件的序列进行比较所确定的那样，可以提供通知以指示已经略过了哪个事件。因此，需要对外科手术短片进行分析并且识别在外科手术期间略过的事件。
本公开的各方面可以涉及使得能够确定和通知外科手术中的略过的事件，包括相关的方法、系统、装置以及计算机可读介质。
为了便于讨论，下面描述了一种方法，其中对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。例如，这种方法的一些方面可以通过有线、无线或两者的网络以电子方式发生。这种方法的其它方面可以使用非电子手段发生。在最广泛的意义上，该方法不限于特定的物理和/或电子器械，而是可以使用许多不同的器械来完成。
所公开的实施方式可以包括：使得能够确定和通知略过的事件可以涉及访问在特定外科手术期间拍摄的视频帧。如本文所使用的，视频的帧可以包括由图像拍摄装置拍摄的连续或不连续的图像。这种图像可以例如由摄像机115、121、123和/或125来进行拍摄，如上面结合图1所描述的。在一些情况下，视频的帧可以具有形成视频的音轨的对应音频信号，其中音频信号是通过音频拍摄装置(例如，如图1所示的麦克风D111)来捕获的。可以将该视频帧存储为单独的文件或者可以以组合的格式(诸如视频文件)进行存储，其可以包括对应的音频数据。在一些实施方式中，可以将视频存储为原始数据和/或从图像拍摄装置输出的图像。在其它的实施方式中，可以对视频帧进行处理。例如，视频文件可以包括：AudioVideo Interleave(AVI)、Flash Video格式(FLV)、QuickTime文件格式(MOV)、MPEG(MPG、MP4、M4P等)、Windows Media Video(WMV)、Material Exchange格式(MXF)、未压缩视频文件、无损压缩视频文件、有损压缩视频文件或者任何其它合适的视频文件格式。
如本文所使用的，特定的外科手术可以包括任何医疗动作、操作、诊断或者其它医疗相关处置或动作。此类手术可以包括切割、切除、缝合或者涉及物理改变身体组织和器官的其它技术。此类外科手术的一些示例可以包括：腹腔镜外科手术、胸腔镜手术、支气管镜手术、显微镜手术、开放式外科手术、机器人外科手术、阑尾切除术、颈动脉内膜切除术、腕管松解术、白内障外科手术、剖腹产术、胆囊切除术、结肠切除术(诸如部分结肠切除术、全结肠切除术等)、冠状动脉搭桥、清创术(例如伤口、烧伤、感染等)、游离皮肤移植、痔切除术、髋关节置换术、宫腔镜检查、腹股沟疝修补术、袖状胃切除术、腹疝修补术、膝关节镜检查、膝关节置换术、乳房切除术(诸如部分乳房切除术、全乳房切除术、改良根治性乳房切除术等)、前列腺切除术、前列腺移除、肩关节镜检查、脊柱外科手术(诸如脊柱融合术、椎板切除术、椎间孔切开术、椎间盘切除术、椎间盘置换术、椎板间植入物等)、扁桃体切除术、人工耳蜗植入手术、脑肿瘤(例如脑膜瘤等)切除术、诸如经皮腔内冠状动脉血管成形术的介入手术、经导管主动脉瓣置换术、用于清除脑出血的微创外科手术、胸腔镜手术、支气管镜术、疝气修补术、子宫切除术(例如，简单子宫切除术或根治性子宫切除术)、根治性前列腺切除术、部分肾切除术、甲状腺切除术、部分结肠切除术，或者涉及以下某一形式的任何其它医疗手术：切口、诊断、治疗或组织改变，或者例如涉及治疗、诊断、药品施用、截除、修补、移植、重建或改善。
特定外科手术与建议的事件序列之间的偏差可以特定于外科手术，这是由于各种类型的外科手术皆可能涉及其自己的建议的事件序列中的一个或更多个事件。当未遵循一个这样的建议序列时，可以说发生了偏差，并且可以提供通知(例如如下所述)。在一些胆囊外科手术(诸如腹腔镜或机器人胆囊切除术)中，例如，偏差可以包括忽视清除肝细胞三角形的脂肪和纤维组织、分离胆囊与肝脏、暴露胆囊板，或者无法识别进入胆囊的胆囊管和胆囊动脉。再例如，在一些阑尾外科手术(诸如腹腔镜或机器人阑尾切除术)中，偏差可以包括忽视剖开阑尾与周围的粘连，或者可以包括无法沿周向识别阑尾的基部。在一些疝气外科手术(诸如腹腔镜腹疝修补术)中，偏差可能包括忽视减少疝气含量、在锚定网格之前忽视围绕疝气的筋膜、忽视隔离疝气周围的筋膜或者忽视识别和/或隔离腹股沟管部件等。这种腹股沟管部件的示例可以是睾丸动脉、蔓状静脉丛、神经、脉管等。在一些子宫外科手术(诸如腹腔镜简单子宫切除术)中，偏差可以包括忽视识别和/或绑扎子宫动脉、忽视识别输尿管等。在一些其它子宫外科手术(诸如机器人根治性子宫切除术)中，偏差可以包括忽视识别髂血管、忽视识别闭孔神经等。在一些前列腺外科手术(诸如机器人根治性前列腺切除术)中，偏差可以包括忽视识别前膀胱壁中的膀胱颈、忽视识别后膀胱壁的膀胱颈、忽视识别输尿管孔和/或忽视识别其它解剖结构。在涉及肾脏的手术(诸如腹腔镜或机器人部分肾切除术)中，偏差可以包括忽视识别肾门，在忽视识别肾门的情况下，可以包括忽视识别动脉、静脉以及包括输尿管的收集系统中的至少一者。在甲状腺手术(诸如开放或机器人甲状腺切除术)中，偏差可以包括忽视识别喉返神经。在结肠手术(诸如结肠切除术或部分结肠切除术术，无论开放、腹腔镜还是机器人方式)中，偏差可以包括忽视剖开结肠和腹膜后腔、忽视剖开结肠和肝脏、忽视剖开结肠和脾曲，或者忽视执行吻合术、忽视可视化无粘连和/或没有张力的结肠、忽视执行吻合术、忽视可视化无张力和/或良好灌注和/或技术上良好密封的吻合术。前述只是几个示例。更广泛地，相对于预期或公认的动作过程的任何分歧都可以被视为偏差。
外科手术可以在手术室或任何其它合适的位置进行。手术室可以是设施(例如，医院内的房间)，其中外科手术可以在无菌环境中执行。手术室可以被配置成灯光明亮的并且具有头顶上方的外科手术灯。手术室可以以温度和湿度受控为特色，并且可能是无窗户的。在示例性实施方式中，手术室可以包括空气处理器，其过滤空气并在手术室内保持稍高的压力以防止污染。手术室可以包括断电情况下的电力备用系统，并且可以包括氧气和麻醉气体的供应。房间可以包括用于常见外科手术供应的储存空间、一次性用品的容器、麻醉推车、手术台、摄像机、监测器以及其它用于外科手术的物品。在外科手术前由外科医生、麻醉师、运营部门医生(ODP)以及护士使用的专用擦洗区域可以作为手术室的部分。另外，手术室中包括的地图可以使得终末清洁人员能够在清洁期间将手术台和设备重新排列成希望的布局。在各种实施方式中，一个或更多个手术室可以是手术套房的一部分，它们可以在医护设施内形成不同的区段。手术套房可以包括一个或更多个洗手间、准备和恢复室、储存和清洁设施、办公室、专用走廊以及可能还有其它支持单元。在各种实施方式中，手术套房可以对气候和/或空气进行控制，并且与其它部门分隔开。
访问在特定外科手术期间拍摄的视频的视频帧可以包括：从位于手术室中的图像传感器(或多个图像传感器)接收帧。图像传感器可以是能够拍摄图像或视频数据的任何检测器。视频帧可以包括组成电影(任何持续时间的短片)的许多静止图像中的一个静止图像的至少一部分。当从图像传感器接收到一个或更多个静止图像或其部分时，可以进行视频拍摄。另选地或者另外，当从存储位置中的存储器中取回一个或更多个静止图像或其部分时，可以进行拍摄。例如，可以从本地存储器(诸如本地硬盘驱动器)访问或者可以从远程源(例如，通过网络连接)访问视频帧。在示例实施方式中，可以从如图14所示的数据库1411取回视频帧。例如，可以将系统1410的处理器1412配置成执行指令(例如，被实现为软件1416的指令)以从数据库1411取回视频帧。可以取回特定外科手术的视频帧。
使得能够确定和通知略过的事件的实施方式的各方面还可以包括：访问所存储的标识外科手术的所建议的事件序列的数据。如本文所使用的，外科手术的事件(也被称为外科手术事件)可以是指作为外科手术的一部分(例如，术中外科手术事件)执行的动作，诸如由外科医生、外科技术人员、护士、医生助理，麻醉师、医生或任何其他医护专业人员执行的动作。术中外科手术事件可以是计划的事件，诸如切口、药品的施用、外科手术器械的使用、截除、切除、结扎、移植、缝合、缝补或与外科手术或阶段相关联的任何其它计划的事件。
腹腔镜胆囊切除术的外科手术事件的示例可以包括：套管针放置、calot三角解剖、夹闭和切断胆囊管和动脉、胆囊解剖、胆囊包装、肝床的清洁和凝固、胆囊收缩等。在另一示例中，白内障外科手术的外科手术事件可以包括：聚维酮碘注射、角膜切口、撕囊术、超声乳化、皮层抽吸、人工晶状体植入、人工晶状体调整、伤口封闭等。在又一示例中，垂体外科手术的外科手术特征事件可以包括：准备、鼻腔切口、鼻子牵开器安装、接近肿瘤、肿瘤移除、鼻柱置换、缝合、鼻部压迫装置等。前述只是几个示例，以例示外科手术与外科手术内的事件之间的区别，并且不旨在限制本文所描述的实施方式。普通外科手术事件的其它一些示例可以包括：切口、腹腔镜定位，缝合等。
在一些实施方式中，外科手术事件可以包括：计划外事件、不利事件或并发症。不利外科手术事件的一些示例可以包括：出血、肠系膜肺气肿、损伤、转为计划外开放外科手术(例如，腹壁切口)、切口明显大于计划的等。术中并发症的一些示例可以包括：高血压、低血压、心动过缓、血氧不足、粘连、疝气、非典型解剖、硬膜撕裂、periorator损伤、动脉梗塞等。在一些情况下，外科手术事件可以包括其它错误，包括：技术错误、通信错误、管理错误、判断错误、情况感知错误、判定错误、与医疗识别利用相关的错误等。在各种实施方式中，事件可能是短暂的或者可能持续一定的持续时间。例如，短暂的事件(例如，切口)可以被确定为发生在外科手术期间的特定时间，并且延长的事件(例如，出血)可以被确定为发生在某一时间间隔内。在一些情况下，延长的事件可以包括明确的开始事件和明确的结束事件(例如，缝合的开始和缝合的结束)，并且缝合是延长的事件。在一些情况下，延长的事件也被称为外科手术期间的阶段。
在各种实施方式中，所建议的事件可以是外科手术期间所需的事件。类似地，所建议的事件可以是被提议在外科手术期间发生的事件。例如，支气管镜检查期间的建议的事件可以包括将支气管镜插入通过患者的鼻子或嘴巴、向下通过患者的喉咙进入患者的肺部。所建议的事件序列可以包括所建议的建议事件序列。在一些情况下，外科手术事件可以标识一组子事件(即，多于一个子事件或步骤)。例如，向患者施用全身麻醉的事件可以包括几个步骤，诸如经IV管线向患者提供药物以诱发无意识的第一步骤，以及施用合适的气体(例如，异氟烷或脱氟烷)以维持全身麻醉的第二步骤。
在示例实施方式中，所建议的事件可以包括向患者施用疼痛缓解药物、将患者放置在优选位置、从患者获得活组织检查样本或者不需要的任何其它提议的事件。
所建议的事件序列可以包括在外科手术期间使用的任何合适的所建立的事件序列。可以通过医护专业人员(例如，外科医生、麻醉师或其他医护专业人员)对历史外科手术进行分析并确定外科手术方针，来建立所建议的事件序列。所建议的事件序列的示例例如可以包括在周向视图中检查阑尾基部。在一些情况下，所建议的事件序列可以基于关键安全视野(CVS)，如本领域所已知的。例如，在腹腔镜胆囊切除术期间，可以将关键安全视野用于识别胆囊管和胆囊动脉，以最小化对胆管的损伤。在其它的实施方式中，强制性和建议的事件序列的确定可以通过向历史外科手术视频短片应用人工智能来自动地确定。
作为例示，在一些实施方式中，可以使用CVS来避免胆管损伤。可以将CVS用于识别在胆囊切除术中分割的两个管状结构，即，胆囊管和胆囊动脉。可以将CVS用作开放的胆囊切除术中的过程，其中推定地识别两个胆囊结构，此后，将胆囊取出胆囊板，以使其自由悬挂并且由两个胆囊结构附接着。在腹腔镜手术中，胆囊主体与胆囊板的完全分离使修剪胆囊结构变得困难。因此，对于腹腔镜检查，要求可以是可以将胆囊的下部(约三分之一)与胆囊板分离。其它两个要求可以是从肝细胞三角形清除脂肪和纤维组织，以及有两个并且只有两个被附接至胆囊的结构。直到获得CVS的所有三个要素才可以对胆囊结构进行修剪和分割。术中CVS应在展示了CVS的三个要素的“超时”中确认。应注意，CVS不是解剖的方法，而是类似于在安全狩猎(safe hunting)过程期间使用的概念的目标识别方法。
所建议的事件序列可以包括有条件的条款。作为例示性示例，搭桥手术的建议的事件序列可以包括：(1)向患者施用全身麻醉，(2)准备将被用作搭桥移植的动脉，(3)在患者的胸部中心制作切口，通过胸板(胸骨)、接近患者的心脏和冠状动脉，(4)连接心肺体外循环机、(5)在患者心脏跳动的同时，将动脉的绕患病冠状动脉中的堵塞下方的开口的一段缝住，(6)检查患者心脏是否持续泵血，(7)如果患者心脏停止跳动，则启用心肺体外循环机，(8)将另一端附接至在主动脉上制作的开口，等等。如上所述，启用心肺体外循环机的事件可以是所建议的事件序列的部分，并且可以通过任何合适的外科手术事件(或缺少该外科手术事件)来触发，诸如心跳停止的外科手术事件。在一些情况下，所建议的事件序列可以包括用于在事件序列中确定下一事件的决策树。在一些示例中，所建议的事件序列可以包括需要在可以在所建议的事件序列中指定的特定时间间隔内发生的事件。例如，可能需要事件发生在外科手术的特定时间间隔内、在外科手术开始之后的特定时间间隔内、在外科手术完成之前的特定时间间隔内、在外科手术的发生第二事件之后(例如，在第二事件完成之后、在第二事件开始之后等)的特定时间间隔内、在外科手术的第二事件发生之前的特定时间间隔内，等等。
访问所存储的标识外科手术的所建议的事件序列的数据可以包括：从合适的存储位置(例如，诸如存储器、硬盘、数据库、服务器等的数据存储装置)取回所存储的数据。在示例实施方式中，可以从如图14所示的数据库1411中取回所存储的数据。例如，可以将系统1410的处理器1412配置成执行指令(例如，被实现为软件1416的指令)以从数据库1411取回所存储的数据。可以取回特定外科手术的所存储的数据。在一些示例中，识别所建议的事件序列可以包括：选择多个另选序列中的所建议的事件序列。例如，所建议的事件序列可以基于以下项来选择：基于外科手术的类型、基于正在使用或被计划用于外科手术的医疗器械、基于与外科手术相关的解剖结构的状况、基于与外科手术相关联的患者的特征(上面描述了此类特征的一些示例)、基于与外科手术相关联的外科医生或医护专业人员的特征(上面描述了此类特征的一些示例)、基于与外科手术相关联的手术室的特征，等等。在一些示例中，可以在外科手术期间根据已经发生的一个或更多个事件来选择(或修改)所建议的事件序列。例如，在外科手术中发生特定事件可以表明外科手术的类型(例如，切口的位置和/或长度可以指示外科手术是开放的外科手术还是腹腔镜外科手术、特定医疗器械的使用可以指示特定技术(该技术可能需要特定的事件序列的选择等)，或者外科医生为特定的外科手术而选择的技术，并且可以选择对应的所建议的事件序列。在另一示例中，在外科手术中发生特定事件可以表明使不同的建议事件序列成为必需的并发症，并且可以选择对应的事件序列。在又一示例中，响应于在特定的进行中的外科手术中发生的第一事件，可以为该特定的进行中的外科手术的剩余部分选择第一建议的事件序列，并且响应于在特定的进行中的外科手术中发生的第二事件，可以为该特定的进行中的外科手术的剩余部分选择第二建议的事件序列，第二建议的事件序列可以不同于第一建议的事件序列。在一些示例中，可以对从特定的进行中的外科手术拍摄的图像数据进行分析，以为该特定进行中的外科手术的剩余部分选择所建议的事件序列。例如，可以对该图像数据进行分析，以检测该特定的进行中的外科手术中的事件和/或状况(例如，如上所述)，并且可以基于所检测到的事件和/或状况来选择所建议的事件序列。在另一示例中，可以使用训练示例来对机器学习模型进行训练，以基于图像和/或视频来选择所建议的事件序列，并且可以将经训练的机器学习模型用于对图像数据进行分析，并为特定的进行中的外科手术的剩余部分选择所建议的事件序列。这种训练示例的示例可以包括描绘外科手术的第一部分的图像和/或视频，以及指示针对外科手术的剩余部分的所建议的事件序列的希望选择的标记。
图26示意性地例示了示例建议的事件序列2601。例如，事件E1(例如，连接心肺体外循环机)可以是所建议的序列中的第一事件。事件E1可能需要在外科手术的时间间隔T1A至T1B期间发生。事件E2(例如，缝合)可以是第二事件，并且可能需要在外科手术的时间间隔T2A至T2B期间发生(或者在其它示例中，在事件E1完成之后的时间间隔T2A至T2B期间发生、在事件E1完成之后的时间间隔T2A至T2B期间发生等)。在事件E2完成之后，可以评估状况声明C1(例如，确定患者心脏的脉搏)。如果状况声明C1评估为值V1(例如，如果患者没有脉搏)，则在时间间隔T3A至T3B期间可能需要事件E3(例如，启用心肺体外循环机)。如果声明C1评估为值V2(例如，每分钟十次脉搏)，则在时间间隔T4A至T4B期间，可能需要事件E4(例如，向患者施用第一药物)，而如果声明C1评估为值V3(例如，每分钟百次脉搏)，则在时间间隔T5A至T5B期间，可能需要事件E5(例如，向患者施用第二药物)。
使得能够确定和通知略过的事件的方法的各方面还可以包括：对所访问的视频帧与所建议的事件序列进行比较，以识别特定外科手术与该外科手术的所建议的事件序列之间的偏差的指示。在一些示例中，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中识别外科手术与该外科手术的所建议的事件序列之间的偏差的指示，并且可以将经训练的机器学习模型用于对视频帧进行分析，并识别特定外科手术与该外科手术的所建议事件序列之间的偏差的指示。这种训练示例的示例可以包括事件序列以及描绘外科手术的图像和/或视频，以及指示该外科手术是否相对于事件序列发生偏差的标记。
在一些示例中，将所访问的视频帧与所建议的事件序列进行比较可以包括：对视频帧进行分析并识别视频帧内的事件，例如如上所述。例如，可以使用经训练的机器学习模型来完成视帧内的事件的识别，例如如上所述。在一个示例中，识别事件可以包括以下项中的至少一个：识别事件的类型、识别事件的名称、识别事件的特性(上面描述了此类特性的一些示例)、识别事件的发生时间(或时间间隔)等。此外，在一些示例中，可以将所识别的事件与所建议的事件序列进行比较，以识别特定外科手术与该外科手术的所建议的事件序列之间的偏差的指示。在一些示例中，视频帧的分析以及视频帧内的事件的识别可以在特定外科手术在进行中时发生，并且特定外科手术与该外科手术的所建议的事件序列之间的偏差可以在特定外科手术正在进行中时发生。在其它示例中，视频帧的分析以及视频帧内的事件的识别可以在特定外科手术完成之后发生，和/或特定外科手术与该外科手术的所建议的事件序列之间的偏差可以在特定外科手术完成之后被识别。
使用机器学习方法检测特征事件可以是一种可能的方法。另外或者另选地，可以使用各种其它方法在从图像传感器接收到的视频帧中检测特征事件。在一个实施方式中，特征事件可以在外科手术期间由医疗专业人员(例如，外科医生)识别。例如，可以使用来自外科医生的视觉或音频信号(例如，手势、身体姿势、由医疗器械产生的光源所生成的视觉信号、说的话等)来识别特征事件，该视觉或音频信号可以由一个或更多个图像传感器/音频传感器拍摄并且被识别为特征事件的触发。
此外，将所访问的视频帧与所建议的事件序列进行比较可以包括：将视频帧内的所识别的事件序列与外科手术的所建议的事件序列进行比较。例如，图27示出了所建议的(或强制性)事件序列2701和视频帧内的所识别的事件序列2702。在将序列2702与序列2702进行比较时，可以确定序列2702相对于序列2701的偏差。序列2702可以以多种方式相对于序列2701发生偏差。在一些情况下，序列2702可以具有与序列2701不同的事件。例如，如图27所示，序列2701可以具有事件E1至E4，序列2702可以具有事件S1至S5。可以针对图27所示的间隔I1至I4中的各个间隔，将序列2701和序列2702进行比较。例如，针对序列的间隔I1，可以将序列2701中的事件E1与序列2702中的事件S1进行比较。在示例实施方式中，事件E1可能相对于事件S1发生偏差。另选地，事件E1可能与事件S1基本相同。在一些情况下，事件E1可以与事件S1基本不同。
在各种实施方式中，为了量化事件E1与事件S1之间的差异，可以定义合适的量度函数F(E1,S1)，其可以具有值范围。在示例实施方式中，量度函数F可以返回单个数字，该数字确定事件E1与S1之间的差异。例如，如果F(E1,S1)<F0(E1)，则事件E1和S1被确定为基本相同，而如果F(E1,S1)>F1(E1),，则事件E1和S1确定基本不同。这里，值F0和F1可以是任何合适的预定阈值，其可以针对各个事件类型来选择(即，事件E1的阈值F0(E1)和F1(E1)可以不同于事件E2的阈值F0(E2)和F1(E2))。在各种情况下，事件E1和S1可以由参数集(也被称为事件特征)来表征。例如，事件E1可以由参数P1E1至PNE1来表征，如图27所示。参数P1E1至PNE1可以包括文字、数字、或者可以由数字阵列(例如，图像)表示的数据。例如，参数P1E1可以指示事件E1的由文本串(例如，“切口”)表征的类型，参数P2E1可以是表征切口长度(例如，一厘米)的数字，参数P3E1可以是切口深度(例如，三毫米)，参数P4E1可以是可以由两个数字表征(例如，{10、20})的切口位置。切口位置可以通过识别在外科手术期间拍摄的视频帧中的一个或更多个视频帧中的切口来指定，并且参数PNE1可以指示被用于切口的外科手术工具类型(例如，“CO2激光器”)。事件E1可以具有和根据需要一样多的参数，以充分表征该事件。此外，事件E1可以由开始时间和TSE1和完成时间TFE1来表征，开始时间和TSE1和完成时间TFE1可以被定义为任何合适的精度(例如，精确到毫秒)。TSE1和TFE1可以使用任何合适的时间格式来表示(例如，该格式可以是小时:分钟:秒钟:毫秒)。类似地，事件S1可以由参数P1S1至PNS1、开始时间TSS1以及完成时间TFS1来表征，如图27所示。作为例示性示例，参数{P1E1、P2E1、P3E1、P4E1、PNE1、TSE1、TFE1}可以由任何合适的数据结构表示(例如，{P1E1、P2E1、P3E1、P4E1、PNE1、TSE1、TFE1}＝{“切口”、1[cm]、3[mm]、{10、20}、“CO2激光器”、13:20:54:80、13:20:59:76})。
在各种实施方式中，可以以任何合适的方式定义量度函数F(E1,S1)。作为示例实施方式，可以将量度函数定义为
Figure BDA0003308024900001541
其中，当事件E1和事件S1具有相同类型(例如，两个事件均具有类型“切口”)时，
Figure BDA0003308024900001542
和
Figure BDA0003308024900001543
是相关的数字参数，其中，参数
Figure BDA0003308024900001544
和
Figure BDA0003308024900001545
是文本串(或者可以由数字阵列表示的数据(诸如图像))，并且其中，如果文本串
Figure BDA0003308024900001546
和
Figure BDA0003308024900001547
包含相同的含义，则函数M返回零，或者如果文本串
Figure BDA0003308024900001548
和
Figure BDA0003308024900001549
包含不同的含义，则函数返回一。对于
Figure BDA00033080249000015410
和
Figure BDA00033080249000015411
对应于图像时的情况，如果图像基本相同，则函数M可以返回零，或者如果图像不同，则函数返回一。在各种实施方式中，可以使用下面进一步描述的任何合适的图像识别算法来对图像进行比较。另选地，可以将函数M配置成执行任何合适的算法，以根据由参数
Figure BDA00033080249000015412
和
Figure BDA00033080249000015413
表示的数据的类型对
Figure BDA00033080249000015414
和
Figure BDA00033080249000015415
进行比较，其中，数据可以包括文本串、数字阵列、图像、视频、音频信号等。
对于事件E1和S1不具有相同类型时(例如，事件E1可以对应于“切口”，而事件S1可以对应于“施用药物”)以及序列2702不包含与事件E1相同类型的事件时的情况，可以将量度函数F(E1,S1)评估为指示事件E1和S1基本不同的较大预定数字(或串)。
如上所述，事件序列2701和2702之间的偏差可以通过针对外科手术I1至I4的各个间隔对合适的量度函数F(Ei,Si)进行评估来确定。可以计算完整的偏差作为量度函数∑i(Ei,Si)的和，其中，i＝{I1…I4}。然而，在各种实施方式中，计算所有事件S1至S4相对于对应的事件E1至E4的所有偏差可能不是重要的和/或必要的。在各种情况下，只有较大的偏差(即，偏差，其中F(Ei,Si)>F1(Ei))可能是重要的。对于这样的偏差，事件Ei、Si可以被识别并存储以供进一步分析。另外，同样可以存储量度函数F(Ei,Si)的值以供进一步分析。在各种实施方式中，与事件Ei、Si以及量度函数F(Ei,Si)相关的数据可以使用任何合适的方式来存储(例如，硬盘、数据库111等)。
使用量度函数可以是识别特定外科手术与该外科手术的所建议的事件序列之间的偏差的指示的一种可能的方法。例如，用于对列表和/或图形进行比较的任何算法可以用于对实际的事件序列与所建议的事件序列进行比较，并且识别特定外科手术与该外科手术的所建议的事件序列之间的偏差的指示。另选地或者另外地，识别偏差的指示可以使用机器学习模型来进行，该机器学习模型使用训练示例进行训练，以识别事件序列与外科手术短片之间的偏差的指示，例如如上所述。在示例实施方式中，例示性训练示例可以包括外科手术短片(诸如在特定类型的外科手术(例如，胆囊切除术)期间拍摄的视频的帧)，以及该类型的外科手术的所建议的事件序列。可以将训练示例用作机器学习训练算法的输入，并且最终所得的机器学习模型可以是特定外科手术与该外科手术的所建议的事件序列之间的偏差的合适量度。偏差的量度可以是任何合适的量度。在示例实施方式中，该量度可以列出或分类在外科手术期间与所建议的事件基本不同的事件。例如，如果所建议的事件需要缝合，但是在外科手术期间代替地使用手术胶水，那么可以将此类事件列出或分类为与所建议的事件基本不同。另外或者另选地，该量度可以列出在外科手术期间未执行的所建议的事件(例如，如果需要缝合，但未被执行，那么可以将此类事件列为未被执行)。而且，该量度可以列出在外科手术期间被执行但不是所建议的事件。例如，在外科手术期间向患者施用止痛药的事件可以被执行并且可能不是所建议的。另外，机器学习模型可以输出在外科手术期间执行的事件的特征与对应的建议事件的特征之间的偏差，如上所述。例如，如果在外科手术期间的切口事件期间，切口长度比由所建议的事件描述的切口短，那么这种偏差可以由机器学习方法来识别并记录(例如，存储)以供进一步分析。
在各种实施方式中，识别偏差的指示包括：对帧与描绘所建议的事件序列的参考帧进行比较。参考帧可以是在历史外科手术期间拍摄的历史帧。在示例实施方式中，视频帧和描绘所建议的事件序列的参考帧可以根据事件(在本文中也被称为开始事件)进行同步，该事件可以和所建议的(或强制性)事件序列中的对应的开始事件相同或(基本相似)。在一些情况下，描绘开始事件的开始的帧可以与描绘所建议的事件序列中的开始事件的参考帧同步化。在一些情况下，可以首先使用上述任何合适的方法(例如，使用用于识别事件的图像识别算法)来使外科手术的事件与所建议的序列中的对应参考事件相联系。在使示例外科手术事件与所建议的序列中的对应参考事件相联系之后，可以使描绘外科手术事件的开始的帧与描绘对应的建议事件的开始的参考帧同步。
另外或者另选地，识别偏差的指示可以是基于与术中外科手术相关联的经过时间的。例如，如果与外科手术相关联的经过时间明显长于(短于)与具有所建议的事件序列的外科手术相关联的平均经过时间，则可以将该方法配置成确定已经发生与所建议的事件序列相对的偏差。
该方法的各方面还可以包括：识别与外科手术的偏差相关联的帧集合，并且提供已经发生偏差的通知。该通知可以包括：显示所识别的与偏差相关联的帧集合。例如，与该偏差相关联的帧集合可以描绘外科手术期间的与参考的对应建议事件不同的特定事件(例如，具有不同的特征)。另选地，与偏差相关联的帧集合可以包括所建议的事件序列中不存在的事件的帧。在各种实施方式中，通知可以包括将帧显示为静止图像或者将帧显示为视频数据。这些帧可以被显示在电子装置的任何合适的屏幕上，或者(在一些情况下)可以被打印。在一些实施方式中，这些帧中的一些帧可以是从该帧集合中选择并使用任何合适的手段(例如，使用电子装置的显示屏幕)显示的。
使得能够确定和通知略过的事件的方法的各方面还可以包括：使用训练示例对机器学习模型进行训练，以识别事件序列与外科手术短片之间的偏差，例如如上所述。例如，可以将训练示例用作机器学习模型的输入，并且可以对由模型返回的偏差的量度进行分析(例如，偏差的量度可以由诸如医护专业人员的模型训练专家进行分析)。如果由模型返回的偏差的量度没有与偏差的希望量度一致，则可以对机器学习模型的各种参数进行调整，以正确地预测的偏差的量度。例如，如果机器学习模型是神经网络，则这种神经网络的参数(例如，网络的权重、神经元数量、激活函数、网络的偏置、网络内的层数等)可以使用任何合适的方法来调整(例如，可以使用反向传播过程来调整神经网络的权重)。在各种实施方式中，这样的调整可以自动地进行(例如，使用反向传播处理)，或者在一些情况下，调整可以由训练专家来进行。
在各种实施方式中，可以使用任何合适的、恰当的数学量度函数G来断言偏差的量度在多大程度上与偏差的希望量度一致。例如，如果对事件的偏差的量度是数字(例如，d)，并且偏差的希望量度是另一数字(例如，d0)，则给定事件Ei的示例数学量度函数可以是Gi(d,d0)可以是Gi(d,d0)＝d-d0，并且量度函数例如可以是数字
Figure BDA0003308024900001571
另选地，在另一示例实施方式中，G可以是向量
Figure BDA0003308024900001572
为了进一步例示确定序列2702与序列2701的偏差的过程，图27示出了间隔I1至I4，在所述间隔，可以将序列2701的事件E1至E4与序列2702的事件S1-S5进行比较。例如，在间隔I1期间，事件S1可能与事件E1基本相同，而在间隔I2期间，事件S2可能偏离事件E2，但是可以与事件E2充分相似。例如，事件S2可以对应于具有三厘米的切口长度的“切口”，并且事件E2可以对应于具有二厘米的切口长度的“切口”。在示例实施方式中，在外科手术的间隔I3期间，事件E3可以与事件S3基本不同(例如，可以将事件E3识别为“切口”，而可以将事件S3识别为“缝合”)。在间隔I4期间，事件E4可以与事件S4基本不同，但是可以与在间隔I5期间识别的事件S5基本相同(如图27所示的箭头2711所指示的)。当计算序列2702与序列2701的偏差时，可以将序列2702的事件S4识别为“插入的”事件，该事件在序列2701中没有对应的事件。可以记录事件S4的这种表述(例如，存储在硬盘上、数据库111或某一其它位置)以供进一步分析。
所公开的实施方式的各方面还可以包括：识别特定外科手术与该外科手术的所建议的事件序列之间的偏差的指示。在一些情况下，识别偏差的指示可以包括：在进行中的外科手术期间(举例来说，如在外科手术期间实时地)识别偏差的指示。在各种实施方式中，由于与识别偏差的指示相关的处理，因此可以利用从外科手术的进行中事件所测得的小延迟来识别该偏差。该延迟可以是一毫秒、一秒钟、几秒钟、几十秒钟、一分钟、几分钟等。一旦识别了偏差，所公开的实施方式就可以包括在进行中的外科手术期间提供通知(例如，一识别偏差就提供通知)。例如，提供通知可以在外科手术期间实时发生。
所公开的实施方式的各方面可以包括：接收特定动作将在特定外科手术中发生的指示。特定动作将要发生的指示可以基于外科手术的帧的分析。在示例性实施方式中，该指示可以从基于计算机的软件应用接收，诸如用于分析进行中的外科手术的外科手术短片的机器学习模型。例如，机器学习模型可以是与本文所描述的公开的实施方式一致的图像识别算法。
在一些实施方式中，图像识别算法可以识别接近解剖结构的外科手术工具，并且基于所识别的外科手术工具，确定将要在外科手术中发生的特定动作。在一些实施方式中，外科手术工具、解剖结构和/或外科手术工具与解剖结构之间的交互的存在可以用作特定动作将要发生的指示符。如本文所公开的，图像识别算法可以分析外科手术的帧以标识前述中的任一者。例如，图像识别算法可以确定器械与解剖结构之间的交互的类型、交互的名称、交互中涉及的解剖结构的名称、或者交互的任何其它可识别方面。
另外或者另选地，手术室中医护专业人员的位置、医护专业人员中的任一人员的移动、医护专业人员中的任一人员的手的运动、患者的位置和/或定位、医疗装置的布置、以及医护专业人员、患者或器械的其它空间特征可以进一步指示特定行动将要发生。在一些情况下，特定动作将要发生的指示可以基于来自执行特定外科手术的外科医生的输入。例如，来自医护专业人员中的任一人的音频声音、姿势或者可在外科手术短片、音频数据、图像数据或基于装置的数据(例如，与患者的生命体征相关的数据)内识别的任何其它信号中可以用作特定动作将要发生的指示。
所公开的实施方式可以包括：使用所建议的事件序列来识别特定动作的初步动作。例如，对于诸如缝合的特定动作，初步动作可以是利用镊子夹紧解剖结构的部分、向患者施用药物、在手术室内重新定位图像传感器、测量体征信号、将医疗装置连接至患者(例如，将ECMO机器连接至患者)、或者在执行特定动作之前需要执行的任何其它操作。
所公开的实施方式还可以包括：基于所访问的帧的分析，来确定所识别的初步动作尚未发生；并且作为响应，识别偏差的指示。在一个示例中，确定所识别的初步动作尚未发生可以使用图像识别来完成，如先前所讨论的。例如，图像识别可以通过以下步骤来识别初步动作尚未发生：确定外科手术器械尚未显现在外科手术短片中，或者外科手术器械与解剖结构之间不存在交互(如通过分析外科手术短片所识别的)；或者确定解剖结构不存在变化(例如，确定解剖结构的形状、颜色、尺寸或位置无变化)。另外或者另选地，图像识别可以以其它方式(例如，通过确定医护专业人员尚未接近患者、通过确定ECMO机器尚未连接至患者)或通过使用可以在外科手术短片中识别的任何其它指示来确定不存在初步动作。在示例实施方式中，特定外科手术与所建议的事件序列之间的偏差的指示可以是不存在初步动作。另选地，如果识别出初步动作，则初步动作的一个或更多个特征可以是偏差的指示。例如，当初步动作是切口时，切口的长度可以是初步动作的特征。例如，如果预期切口长度处于10cm至20cm的范围内，并且该长度被识别为3cm，则初步动作的这种特征可以指示偏差。
所公开的实施方式的各方面可以包括：在执行特定动作之前提供特定外科手术与所建议的事件序列之间的偏差的通知。该通知可以是如本文所描述的并且与所公开的实施方式一致的任何合适的电子通知。另选地，该通知可以是任何合适的声音信号、视觉信号或者任何其它信号(例如，触觉信号(诸如振动))，其可以被发送给医护专业人员(例如，施用外科手术的外科医生)。
所公开的实施方式的各方面可以包括在术后(即，在完成外科手术之后)提供通知。例如，可以在外科手术期间或者之后识别偏差，并且可以在使用上面描述的方法中的任一方法(或任何组合)评估偏差之后提供通知。另外或者另选地，可以由医护专业人员分析和/或评估特定外科手术与该外科手术的所建议的事件序列之间的偏差。
所公开的实施方式的各方面可以包括：确定与偏差相关联的术中外科手术事件的名称。例如，当识别特定外科手术与所建议的事件序列之间的偏差时，可以识别对偏差负责的事件的名称和/或类型。例如，识别序列2702的事件与所建议的序列2701的事件之间的偏差(例如，当事件E3与事件S3基本不同时)，可以确定事件S3的名称和/或类型(例如，该名称可以是“缝合”)。另外，可以确定事件E3的名称和/或类型。在示例实施方式中，如上所述，可以使用机器学习图像识别模型来识别事件S3的名称。
在各种实施方式中，与偏差相关联的术中外科手术事件的名称可以是在外科手术事件中识别的特定动作之前的初步动作的名称。另选地，与偏差相关联的术中外科手术事件的名称可以是特定动作的名称。在一些情况下，术中外科手术事件的名称可以是包含导致偏差的事件或动作的多个名称的文本串。在一些情况下，可以将标点符号(或任何其它合适的方式，诸如字符、段落标记或新行)用于分隔文本串内的不同名称。例如，与偏差相关联的术中外科手术事件的名称可以是“利用列子夹紧动脉；施加激光束；缝合动脉”。
在一些实施方式中，确定名称包括访问使名称与视频短片特征相联系的数据结构。数据结构可以是任何合适的数据结构，诸如图17A所示的结构1701。例如，确定名称可以包括访问外科手术短片(本文中被称为视频短片)并且确定视频短片特征(诸如事件、动作或事件特征)，如本公开所描述的并且与本公开的各种实施方式一致。
在各种实施方式中，当确定与所确定的偏差相关联的术中外科手术事件的名称时，可以提供偏差的通知，该通知包括与偏差相关联的术中外科手术事件的名称。在示例实施方式中，可以将通知提供给各种用户(例如，医疗人员、管理者等)。在一些情况下，可以将通知提供给患者、患者的亲属或朋友等。通知可以包括：文本数据、图形数据或者任何其它合适的数据(例如，视频数据、动画或音频数据)。另外或者另选地，可以将该通知实现为警告信号(例如，光信号、音频信号等)。在一些情况下，通知可以是向被授权接收该通知的各种用户(例如，各种医疗人员、管理员、患者、患者的亲属或朋友等)所拥有的任何合适的装置(例如，智能手机、膝上型电脑、台式电脑、监测器、寻呼机、TV等)递送的SMS消息、电子邮件等。
所公开的实施方式的各方面可以包括：接收指示医护专业人员将要执行的动作的输入。此类输入可以使得能够在外科医生采取动作之前，提供偏差的通知(例如，根据所建议的事件序列需要的跳过的步骤)。在一些情况下，来自外科医生或来自另一医护专业人员的此类输入可以包括指示该外科医生将要执行的特定动作的按钮的按压、可听输入、姿势或者或任何其它合适的输入，如上面所讨论的。
(将要由医疗专业人员执行的)动作可以是任何手术相关动作。例如，该动作可以包括缝合、切口、解剖、抽吸、与患者身体相邻或在或者身体内部放置摄像机、或者在手术期间可能发生的任何别的动作。在一些情况下，该动作可以包括向患者施用药物或者测量患者体征信号，诸如脉搏、血压、氧气水平等。
在各种情况下，接收输入可以包括接收来自医护专业人员的输入。例如，外科医生可以经由视觉或音频信号(例如，使用手势、身体姿势、由医疗器械产生的光源所生成的视觉信号、说的话等)来提供输入，该视觉或音频信号可以由一个或更多个图像传感器/音频传感器拍摄并且被识别为指示医护专业人员将要执行动作的输入。在一些情况下，医护专业人员可以按压按钮，或者使用任何其它装置(例如，智能手机、膝上型电脑等)来提供输入。
在一些情况下，输入可以指示什么动作类型将会被执行。例如，外科医生可以宣告将要执行的动作的名称，并且可以使用麦克风捕获来自外科医生的音频信号。在示例实施方式中，可以将语音识别模型用于识别由外科医生宣告的一个或更多个单词。
在一些情况下，接收指示医护专业人员将要执行动作的输入可以包括接收来自不是医护专业人员的用户的输入。例如，可以从观察外科手术的人员接收输入。
另外或者另选地，可以从机器学习算法接收输入，该机器学习算法被训练为识别在外科手术期间导致可能的未来动作的各种外科手术事件。例如，可以将机器学习算法配置成基于特定外科手术事件(诸如外科医生在解剖结构附近保持和/或移动手术刀)来识别将要执行切口。
在各种实施方式中，关于特定动作将要发生的指示可以是特定医疗器械进入选定关注区域(ROI)。例如，可以使用对象检测算法来确定此类指示，以检测选定ROI中的特定医疗器械的存在。在各种实施方式中，使用在外科手术的时间(或时间间隔)期间在给定ROI的附近存在的外科手术工具(例如，通过机器学习模型)，可以识别将要采取特定动作。对于在外科手术期间的不同时间，在ROI附近存在的外科手术工具可以指示将要采取的不同动作。在一些情况下，该方法可以包括以下步骤：当在ROI附近存在给定外科手术工具时提供通知，以及当在ROI中不存在外科手术工具时放弃提供通知。如上所述，通知可以是提供给医护专业人员、医护管理员或者经授权接收此类信息的任何其他人的任何合适的通知。
在各种实施方式中，识别特定医疗器械进入选定关注区域(ROI)可以使用任何合适的方法来完成，诸如使用用于分析外科手术的帧的图像识别，如本文所描述的并且与所公开的实施方式一致。在一些情况下，可以基于解剖结构的位置来选择ROI。或者，如果在外科手术期间使用第二医疗器械，则可以基于第二医疗器械的位置来选择ROI。另外或者另选地，可以基于图像传感器的视场来选择ROI。例如，可以将特定图像传感器(例如，显示解剖结构的放大部分的传感器)的视场用于选择ROI。
在各种实施方式中，基于指示医护专业人员将要执行动作的输入，该方法可以包括以下步骤：访问标识所建议的事件序列的所存储的数据结构。所存储的数据结构可以是任何合适的数据结构，诸如阵列、关联阵列、链接列表、二叉树、平衡树、堆、堆栈、队列、集合、散列表、记录、标签联合、XML代码、XML数据库、RDBMS数据库、SQL数据库等。数据结构可以包括所建议的事件序列。例如，数据结构可以以一个事件接一个事件的方式在表中列出事件的名称。另选地，可以经由链接的列表来组织和链接事件。在各种实施方式中，数据结构可以是任何合适的数据结构，该数据结构被配置成识别所建议的事件并对事件进行排序以形成序列。
所公开的实施方式的各方面还可以包括：检测预定解剖区域中的外科手术工具的存在。如本文所使用的，外科手术工具可以是可以在外科手术期间使用的任何器械或装置，其可以包括但不限于切割器械(诸如手术刀、剪刀、锯等)、抓握和/或夹持器械(诸如Billroth夹、“蚊式”止血钳、无创止血钳、Deschamp针、Hopfner止血钳等)、牵开器(诸如Farabef C形层流钩、钝齿钩、尖齿钩、带槽探头、压实钳等)、组织统一器械和/或材料(诸如持针器、外科手术针、吻合器、夹子、胶带、网等)、防护设备(诸如面部和/或呼吸防护设备、头套、鞋套、手套等)、腹腔镜、内窥镜、患者监测装置等。外科手术工具(还被称为医疗工具或医疗器械)可以包括被用作医疗手术的部分的任何装备或设备。
解剖区域可以是包括活生物体的解剖结构的任何区域。例如，解剖区域可以包括腔(例如，外科手术腔)、器官、组织、管、动脉、细胞或任何其它解剖部分。在一些情况下，假肢、人工器官等可以被认为是解剖结构并且显现在解剖区域内。在一个示例中，可以使用训练示例来对机器学习模型进行训练，以识别图像和/或视频中的解剖区域，并且可以将经训练的机器学习模型用于分析外科手术的各种拍摄的帧并检测解剖区域。这种训练示例的示例可以包括图像和/或视频，以及指示该图像内和/或视频内的解剖区域的标记。
可以使用任何合适的方式来检测外科手术工具在预定解剖区域中的存在。在示例实施方式中，可以将经训练的机器学习模型用于分析外科手术的各种拍摄的帧，以检测预定解剖区域中的外科手术工具的存在。经训练的机器学习模型可以是用于识别图像特征(诸如预定解剖区域中的外科手术工具)的图像识别模型。在各种实施方式中，基于预定解剖区域中的外科手术工具的存在，该方法可以包括以下步骤：访问所存储的标识所建议的事件序列的数据结构，如上面所讨论的。
优选实施方式的各方面还可以包括：通过确定外科手术工具存在于特定解剖区域中，来识别特定外科手术与该外科手术的所建议的事件序列之间的偏差的指示。例如，如果确定(例如，使用机器学习方法，或者使用来自医护专业人员的指示)外科工具存在于特定解剖区域中，则一些实施方式可以确定发生了偏差。在一些情况下，如果在外科手术的、不应存在外科手术工具的时间(或时间间隔)期间在特定解剖区域存在该外科手术工具，则一些实施方式可以确定发生了偏差。另选地，在一些情况下，识别偏差的指示可以包括：确定外科手术工具未处于特定解剖区域。例如，如果在外科手术的某一时间(或时间间隔)期间，外科手术工具不存在于特定解剖区域，则可以将一些实施方式配置成确定发生了偏差。
另外或者另选地，识别偏差的指示可以包括：识别外科手术工具与解剖结构之间的交互。识别外科手术工具与解剖结构之间的交互的过程可以涉及对外科手术的帧进行分析以识别交互，例如如上所述。例如，外科手术的所述帧中的至少一些帧可以指示外科手术的正在对解剖结构执行外科手术的一部分。如上面所讨论的，该交互可以包括外科手术工具的可影响解剖结构的任何动作，反之亦然。例如，该交互可以包括外科手术工具与解剖结构之间的接触、外科手术工具在解剖结构上的动作(诸如切割、夹紧、抓握、施加压力、刮削等)、解剖结构的生理反应、外科手术工具朝着解剖结构发射光(例如，外科手术工具可以是朝着解剖结构发射光的激光器)、朝着解剖结构发射的声音、在解剖结构附近产生的电磁场、在解剖结构中感应的电流、或者任何其它可识别的交互形式。
在一些情况下，识别交互可以包括识别外科手术接近解剖结构。例如，通过分析外科手术的外科手术视频短片，可以将图像识别模型配置成确定外科手术工具与解剖结构的表面上或解剖结构内的点(或点集)之间的距离。
在各种实施方式中，如果识别出在外科手术期间外科手术工具与解剖结构之间的交互，并且此类交互对于参考外科手术(即，遵循所建议的事件序列的外科手术)不是预期的，则可以将实施方式配置成确定已经发生偏差。另选地，如果未识别出外科手术工具与解剖结构之间的交互(例如，如果在外科手术期间不存在交互)，并且该交互对于参考外科手术是预期的，则可以将实施方式配置成确定已经发生偏差。一些实施方式可以被配置成如果在外科手术和参考手术两者中存在(或不存在)外科手术工具与解剖结构之间的交互，则确定外科手术和参考外科手术不存在实质偏差。
图28通过过程2801例示了用于使得能够确定和通知外科手术中的略过事件的实施方式的各方面。在步骤2811，过程2801可以包括使用任何合适的方式访问在特定外科手术期间拍摄的视频帧。例如，访问可以包括经由有线或无线网络、经由输入装置(例如，键盘、鼠标等)或者经由允许读取/写入数据的任何其它装置来访问。
在步骤2813，过程2801可以包括访问所存储的标识外科手术的所建议的事件序列的数据，如上所述。在步骤2815，过程2801可以包括：对所访问的帧与所建议的事件序列进行比较，以识别特定外科手术与该外科手术的所建议的事件序列之间的偏差的指示。可以使用上面描述的任何合适的方法(例如，通过使用合适的量度函数、通过使用机器学习模型等来计算不同的事件之间的差异)，来确定特定外科手术与该外科手术的所建议的事件序列之间的偏差。在步骤2817，过程2801可以包括：使用上面描述的任何合适的方法(例如，使用机器学习模型来识别术中外科手术事件)，确定与偏差相关联的术中外科手术事件的名称。过程2801可以在步骤2819结束，该步骤用于提供偏差的通知，包括与偏差相关联的术中外科手术事件的名称。如上所述，通知可以是任何合适的通知(例如，SMS文本、视频、图像等)，并且可以被传递给医护专业人员、管理员或者任何其他经授权的个人。
如先前所讨论的，本公开涉及用于使得能够确定和通知外科手术中的略过事件的方法和系统以及可以包含指令的非暂时性计算机可读介质，该指令当由至少一个处理器执行时，使所述至少一个处理器执行使得能够确定和通知外科手术中的略过事件的操作。该操作可以包括用于使得能够确定和通知外科手术中的略过事件的方法的各种步骤，如上所述。
所公开的系统和方法可以涉及对当前和/或历史外科手术短片进行分析，以识别外科手术的特征、患者状况以及其它特征以预测和改善外科手术结果。提供外科手术的决策支持的常规方法可能无法实时执行，或者可能无法确定外科手术视频中的决策制定节点并开发出执行改善外科手术结果的特定动作的建议。在这种情况下，外科医生可能错过关键判定点和/或未能执行可以改善结果的特定动作，并且手术可能导致患者的次优结果。与此相反，本公开的一些实施方式提供了高效、有效且实时地提供外科手术的决策支持的非常规方法。
根据本公开，公开了一种提供外科手术的决策支持的方法。外科手术可以包括由一个或更多个外科医生执行的手术。外科医生可以包括执行外科手术的任何人，包括医生或其他医疗专业人员、协助外科手术的任何人和/或外科手术机器人。患者可以包括经历外科手术的任何人，外科手术的非限制性示例可以包括：将植入物插入患者体内、切割、缝合、移除组织、移植、烧灼、移除器官、插入器官、移除肢体或其他身体部分、添加假肢、移除肿瘤、执行活组织检查、执行清创术、搭桥和/或用于治疗或诊断患者的任何其它动作。植入物或植入物单元可以包括：支架、监测单元和/或在身体内使用的任何其它材料，以代替缺失的生物结构、支持受损的生物结构、或者增强现有的生物结构。在外科手术期间，可以使用外科手术工具，诸如腹腔镜、摄像机、切割器、针、钻头和/或任何其它装置或植入物。另外，在外科手术期间，可以使用药物(诸如麻药品、静脉内液体、治疗药品和/或任何其它化合物或制剂)。
决策支持可以包括提供可以引导外科医生进行判定的建议。决策支持可以包括：分析在先的相似外科手术的视频短片，识别最有可能导致积极结果的动作的过程、以及向做手术的外科医生提供对应的建议。更一般地，外科手术的决策支持可以包括在外科手术期间向医疗专业人员提供信息，诸如采取或避免动作的建议(在照明决策的信息中)。在一些实施方式中，决策支持可以包括提供一种用于向医疗专业人员警告某情形的计算机化界面。界面例如可以包括：显示器、扬声器、灯、触觉反馈组件和/或任何其它输入和/或反馈结构。在一些实施方式中，提供外科手术的决策支持可以包括：向外科医生提供实时建议(即，可以在外科手术期间实时地执行提供外科手的决策支持的方法)。实时建议可以包括：经由手术室(例如，图1所描绘的手术室)中的界面提供建议。可以在外科手术期间更新实时建议。
在一些实施方式中，一种方法可以包括以下步骤：接收在手术室中由外科医生对患者执行的外科手术的视频短片。视频短片可以包括由一个或更多个摄像机和/或传感器拍摄的视频。视频短片可以包括：连续视频、视频短片、视频帧、腔内视频和/或任何其它视频短片。视频短片可以描绘外科手术的任何方面，并且可以描绘患者(内部或外部)、医疗专业人员、机器人、医疗工具、动作和/或外科手术的任何其它方面。在一些实施方式中，视频短片可以包括来自内窥镜或体内摄像机中的至少一个的图像(例如，腔内视频的图像)。内窥镜可以包括：刚性或柔性管、灯、光纤、镜头、目镜、摄像机、通信组件(例如，有线或无线连接)和/或帮助从患者体内收集和发送图像的任何其它组件。体内摄像机可以包括被用于在外科手术之前、期间或之后从患者体内收集图像的任何图像传感器。
接收视频短片可以经由传感器(例如，患者上方、患者体内或者位于手术室内的别的地方的图像传感器)、手术机器人、摄像机、移动装置、使用通信装置的外部装置、共享存储器、和/或能够拍摄和/或发送图像的任何其它连接的硬件和/或软件组件来进行的。可以经由网络和/或经由有线和/或无线连接直接从装置接收视频短片。接收视频短片可以包括从数据存储装置(诸如数据库、磁盘、存储器、远程系统、在线数据存储装置、和/或可以保留信息的任何位置或介质)读取、取回和/或以其它方式访问视频短片。
与所公开的实施方式一致，手术室可以包括被配置为执行手术的任何房间，包括医院中、诊所中、临时诊所(例如，在救灾或战争事件期间为外科手术配置的房间或帐篷)中的房间，和/或在可以执行外科手术的任何其它位置。图1描绘了示例性手术室。
与所公开的实施方式一致，用于提供外科手术的决策支持的方法可以包括以下步骤：访问包括表征外科手术的图像相关数据的至少一个数据结构。访问数据结构可以包括：经由网络和/或经由有线和/或无线连接直接从装置接收数据结构中的数据。访问数据结构可以包括从数据存储装置取回数据结构中的数据，与一些所公开的实施方式一致。
与本实施方式一致，数据结构可以包括：基元类型(诸如布尔(Boolean)、字符、浮点、整数、参考以及枚举类型)；复合类型(诸如容器、列表、元组、多图、关联阵列、集、多集、堆栈、队列、图形、树、堆)；任何形式的基于散列的结构或图。进一步的示例可以包括关系数据库、表格式数据、和/或被组织用于取回的其它形式的信息。数据结构内的数据可以遵循包括数据类型、键值对、标记、元数据、字段、标签、索引和/或其它索引特征的数据模式(data schema)进行组织。
可以在数据结构内包括表征外科手术的视频和/或图像相关数据。这种图像相关数据可以包括视频表征信息和/或视频短片本身、图像和/或视频和/或图像数据的预处理版本中的一些或全部。在另一示例中，这种视频和/或图像相关数据可以包括基于视频和/或图像的分析的信息。在又一示例中，这种视频和/或图像相关数据可以包括用于分析图像数据的信息和/或一个或更多个规则。图17A例示了数据结构的一个示例。
与所公开的实施方式一致，表征外科手术的图像相关数据可以包括：与事件特征、事件位置、结果、外科手术与强制性事件序列之间的偏差、技能水平、事件位置、术中外科手术事件、术中外科手术事件特征、特征事件、泄漏情形、手术阶段内的事件、标签、强制性事件序列、略过的事件、所建议的事件序列、解剖结构、状况、解剖结构与医疗器械之间的接触、交互、和/或描述或定义外科手术各方面的任何其它信息相关的数据。
在一些实施方式中，用于提供外科手术的决策支持的方法可以包括以下步骤：使用图像相关数据对接收到的视频短片进行分析，以确定外科手术决策制定节点的存在。外科手术决策制定节点可以包括手术视频中的时间(例如，时间点或时段)。例如，它可能涉及造成追求另选动作过程的机会的事件或情形。例如，决策制定节点可以反映外科医生可能采取一个或更多个动作以改变手术结果、遵循外科手术、改变成不同的外科手术、偏离外科手术和/或改变任何其它方法的时间。
分析接收到的视频短片可以包括：对接收到的视频短片的一个或更多个帧执行图像分析方法，与所公开的实施方式一致。分析接收到的视频短片例如可以包括：对象识别方法、图像分类方法、单应性(homography)方法、姿态估计法、运动检测方法和/或其它视频分析方法，例如如上所述。分析接收到的视频短片可以包括：使用经训练的机器学习模型和/或训练和/或实现机器学习模型，与所公开的实施方式一致。例如，可以使用机器学习模型对接收到的视频短片进行分析，该机器学习模型被使用训练示例进行训练以从图像和/或视频中检测和/或识别外科手术决策结点。例如，可以使用人工神经网络对接收到的视频短片进行分析，该人工神经网络被配置成从图像和/或视频中检测和/或识别外科手术决策结点。在一些实施方式中，可以将接收到的视频短片与图像相关数据进行比较，以确定外科手术决策制定节点的存在。这例如可以通过视频分析发生或者可以实时发生。(例如，随着拍摄外科医生操作的视频，可以实时对该视频执行分析，并且可以识别外科手术结点。)在一个示例中，图像相关数据可以包括用于分析图像数据的一个或更多个规则(诸如经训练的机器学习模型、人工神经网络等)，并且可以将所述一个或更多个规则用于对接收到的视频短片进行分析，以确定外科手术决策制定节点的存在。在一个示例中，可以基于来自接收到的视频短片的帧的分析来利用Markov模型，以确定外科手术决策制定节点的存在。在其它示例中，可以将人工神经网络(诸如回归神经网络或长短期记忆神经网络)用于对接收到的视频短片进行分析，并确定外科手术决策制定节点的存在。
举例来说，决策制定节点可以在以下情况时出现：当检测到不恰当的接近或暴露时、解剖结构的缩回、解剖结构或流体泄漏的误解、和/或造成追求另选动作过程的机会的任何其它外科手术事件。不恰当的接近或暴露可以包括打开和/或切割错误的组织、器官和/或其它解剖特征。缩回可以涉及组织的移动、牵引和/或反牵引以暴露组织、或器官、和/或其它解剖结构以供外科医生观察。解剖结构或流体泄漏的误解可以包括错误分类(例如，错误的结构或流体类型的分类)和/或流体泄漏的源和/或严重性的不正确估计。更一般地，误解可以包括在外科手术期间由系统或人所得出的任何不正确的结论。
在一些实施方式中，决策制定节点可以通过多个不同的历史手术的分析来确定，其中，不同的动作过程是在共同的外科手术情形之后发生的。例如，多个不同的历史手术可以被包括在历史视频短片和/或接收到的视频短片中。历史手术可以描绘一个或更多个外科手术、一个或更多个患者、一个或更多个状况、一个或更多个结果和/或一个或更多个外科医生。在一些实施方式中，不同的动作过程可以包括在外科手术期间的不同动作，如本文所述。不同的动作过程可以包括不相同的动作(例如，缝合撕裂的动作和钉住撕裂的动作可以被认为是不同的动作)。不同的动作过程可以包括执行相同动作的不同方法(例如，施加一个接触力并施加另一接触力可以是执行相同动作的不同方法)。不同的动作过程可以包括使用不同的医疗工具。常见的外科手术情形可以指的是包括一类外科手术(诸如胆囊切除术)、外科手术事件(例如，切口、流体泄漏事件等)和/或可能是多个历史外科手术常见的外科手术的任何其它方面的情形。
在一些实施方式中，确定决策制定节点的存在可以基于所检测到的解剖结构的生理反应和/或与外科手术工具相关联的运动。生理反应可以包括解剖结构的移动、泄漏和/或任何其它生理活动。生理反应可以包括心率、呼吸率、血压、体温、血流的变化，和/或任何其它生物参数或健康状态的变化。上面描述了可能的生理反应的其它非限制性示例。与外科手术工具相关联的运动包括外科手术工具的任何移动(例如，平移和/或旋转)。外科手术工具可以包括任何外科手术工具，如本文所公开的。检测生理反应和/或与外科手术工具相关联的运动可以包括执行图像分析方法，也如本文所描述的。
在一些实施方式中，一种提供外科手术的决策支持的方法可以包括以下步骤：在至少一个数据结构中访问结果与在决策制定节点采取的特定动作之间的相关性。访问相关性可以包括：确定相关性的存在、从存储器读取相关性、和/或以任何其它方式确定在特定动作与结果之间存在相关性。在一些实施方式中，可以基于索引在数据结构中访问相关性，该索引包括特定动作、决策制定节点和/或结果的标签、标记、名称或其它标识符中的至少一个。在一些实施方式中，访问相关性可以包括使用诸如模型、公式和/或任何其它逻辑方法的算法来确定(例如，生成、查找或识别)相关性。与所公开的实施方式一致，相关性可以指示与特定动作相关联的希望结果(例如，积极结果)和/或不希望结果(例如，消极结果)的概率(例如，可能性)。相关性可以包括：相关性系数、拟合优度量度、回归系数、优势比(oddsratio)、概率和/或任何其它统计或逻辑相互关系。在一个示例中，可以将一种相关性用于特定类型的所有决策制定节点，而在另一示例中，可以将多个相关性用于特定类型的所有决策制定节点的组的不同子集。例如，这种子集可以对应于特定患者组、特定外科医生组(和/或其他医护专业人员)、特定外科手术组、特定手术室组、外科手术中的特定先前事件、此类组的任何并集或交集等。
特定动作可以包括由外科医生(例如，人类或机器人外科医生)在外科手术期间或者由协助外科手术的人或机器人执行的任何动作。特定动作的示例可以包括：补救动作、诊断动作、外科手术之后的动作、偏离外科手术的动作和/或在外科手术期间可能发生的任何其它活动。此类动作可以包括：接合医疗器械与生物结构、施用药物、切割、缝合、更改外科手术接触、进行医学检验、清洁解剖结构、移除过量流体、和/或在外科手术期间可能发生的任何其它动作。
特定动作可以包括单个步骤或多个步骤(例如，在外科手术期间执行的多个动作)。步骤可以包括如本文所描述的任何动作或动作的子集。特定动作的非限制性示例可以包括制作切口、插入植入物、附接植入物以及密封切口的步骤中的一个或更多个。
在一些实施方式中，特定动作可以包括将额外的外科医生引入手术室。例如，相比手术室中已经存在的外科医生，额外的外科医生可以具有更多的经验、更高的技能水平、特殊的专业知识(例如，技术专业知识、解决特殊问题的专业知识和/或其它专业知识)。将外科医生带到手术室可以包括发送请求或指示外科医生来手术室的通知。在一些实施方式中，额外的外科医生可以是外科手术机器人，而且将额外的外科医生带到手术室可以包括启用所述机器人和/或向所述机器人提供指令以执行和/或协助外科手术。向机器人提供指令可以包括执行一个或更多个动作的指令。
在一些实施方式中，提供外科手术的决策支持的方法可以包括以下步骤：将建议输出给用户以采取和/或避免特定的动作。这种建议可以包括任何指导，而不管指导的形式如何(例如，外科手术机器人的基于音频、视频、文本的控制命令，或者或提供建议和/或方向的其它数据传输)。在一些情况下，指导可以采用指令的形式，在其它情况下，指导可以采用建议的形式。此类指导的触发可以是决策制定节点的所确定的存在以及所访问的相关性。输出建议可以包括：将建议发送给装置、在界面上显示建议、和/或用于向判定者提供信息的任何其它机制。向用户输出建议可以包括：将建议输出给手术室中的人、外科医生(例如，人类外科医生和/或外科手术机器人)、协助外科手术的人(例如，护士)、和/或任何其它用户。例如，输出建议可以包括：将建议发送给计算机、移动装置、外部装置；智能眼镜、投影仪、外科手术机器人、和/或能够向用户传达信息的任何其它装置。在一些实施方式中，外科医生可以是外科手术机器人，并且可以以外科手术机器人的指令的形式来提供建议(例如，用于采取特定动作和/或避免特定动作的指令)。
输出建议可以经由网络和/或经由直接连接来进行。在一些实施方式中，输出建议可以包括在手术室中的界面处提供输出。例如，输出建议可以包括使建议经由接口(例如，手术室中的视觉和/或音频接口)来呈现。在一些实施方式中，输出建议可能包括：播放声音、更改灯光(例如，开启或关闭灯、脉冲灯光)、提供触觉反馈信号、和/或提醒人或者向人或外科手术机器人提供信息的任何其它方法。
举例来说，建议包括进行医学检验的建议。在一些实施方式中，医学检验可以包括：血液分析、患者的医学成像、尿液分析、由传感器收集的数据、和/或任何其它分析。医学成像可以包括：术中医学成像(即，在外科手术期间发生的成像)，诸如X射线成像、计算机断层扫描(CT)、磁共振成像(MRI)、涉及造影剂的其它技术、超声、或者创建用于诊断和/或治疗目的的身体部分图像的其它技术。
在一些实施方式中，一种提供外科手术的决策支持的方法可以包括以下步骤：基于决策制定节点的所确定的存在、所访问的相关性以及接收到的医学检验的结果，向用户输出建议(例如，第一建议、第二建议和/或附加建议)，以采取或避免特定动作。因此，一种提供外科手术的决策支持的方法可以包括以下步骤：接收医学检验的结果。医学检验的结果可以包括：医学数据、传感器数据、器械数据、和/或反映生物状况的任何其它信息。医学检验的结果可以包括患者的健康状态和/或的状况的指示。结果例如可以包括：生物标记物的存在或不存在、肿瘤的存在或不存在、解剖特征的位置、代谢活动指标(例如，葡萄糖摄取)、酶水平、心脏状态(例如，心率)、体温、呼吸指标、和/或任何其它健康或状况指标。结果可以经由网络和/或从所连接的装置接收。接收结果可以包括接收和/或访问数据存储装置，与所公开的实施方式一致。例如，响应于医学检验的接收到的结果的第一值，可以输出采取(或避免)第一动作的建议，并且响应于医学检验的接收到的结果的第二值，可以制止输出采取(或避免)第一动作的建议。
在一些实施方式中，建议可以包括额外的外科医生的名字和/或其它标识符(例如，员工ID)。在一些实施方式中，输出建议可以包括提供向额外的外科医生提供指示。指示可以包括：通知、警告、前来手术室的请求、医学检验的结果、在外科手术期间可能需要协助的信息指示、和/或任何其它指示。在一个示例中，额外的外科医生可以基于以下项中的一个或更多个来选择(例如，从多个备选的额外外科医生)：经历该外科手术的患者的特征、当前执行外科手术的外科医生、手术室、在外科手术中使用的工具、与外科手术相关的解剖结构的状况、外科手术中的医疗器械与解剖结构之间的交互、与外科手术相关的生理反应、额外的外科医生的特征等。
与本实施方式一致，建议可以包括：当前手术情形的描述、指导、抢先(preemptive)或纠正措施的指示、另选方法的指示、危险区域映射、和/或可能通知与外科手术有关的外科医生的任何其它信息。当前手术情形的描述可以包括健康状态和/或患者的状况(例如，在传感器数据中反映的状况，诸如心率监测数据、大脑活动数据、体温数据、泄漏数据和/或任何其它健康数据)。当前手术情形的描述还可以或者另选地包括对当前的或可能的未来结果的评估。抢先措施和/或纠正措施可以包括遵循和/或改变外科手术的动作。抢先措施和/或纠正措施可以包括外科医生和/或协助外科手术的人的任何动作，以及可能导致避免消极结果的动作。纠正措施可以包括可以改善结果的动作。在一些实施方式中，危险区域映射可以包括标识一个或更多个特定动作和很可能的结果(例如，与诸如死亡、残疾或其它不希望的不测事件的消极结果相关联的一组特定动作)。危险区域映射例如可以包括解剖区域标识，如果没有正确接近该解剖区域，则可能对患者的安全和外科手术结果产生不利影响。例如，在腹股沟疝中，危险区域可以包括：“危险三角(triangle ofdoom)”，其位于男性的输精管或女性的子宫圆韧带((内侧)与男性的睾丸血管(横侧)之间，并且保持重要的结构，诸如髂血管、股神经、生殖股神经的生殖支；和/或“疼痛三角”，其位于睾丸血管(内侧)、腰大肌(横侧)以及髂耻束(ileopubic tract)(上侧)之间，并且保持诸如生殖股神经的生殖支和侧向股皮神经的重要结构是至关重要的。“危险三角”内的结构的损伤在一些情况下可能是致命的。“疼痛三角”内的结构的损伤在一些情况下可能导致慢性疼痛。在一些示例中，可以使用训练示例来对机器学习模型进行训练，以识别外科手术图像和/或外科手术视频中的危险区域，并且可以将经训练的机器学习模型用于分析视频短片并识别和/或映射危险区域。这种训练示例的示例可以包括图像和/或视频，以及指示在该图像中和/或视频中描绘的危险区域的标记。在一个示例中，危险区域映射的描述可以包括相关标识的危险区域的文本描述。在另一示例中，危险区域映射的描述可以包括相关标识的危险区域的视觉标记，举例来说，叠加在视频短片的至少一个帧上、在增强现实系统中等。
举例来说，建议可以包括外科手术引流管(drain)的建议放置，如从患者体内排出炎性流体、血液、胆汁和/或其它流体。
建议可以包括：如果采取特定动作则将出现希望的外科手术效果的置信水平，和/或如果不采取特定动作则将不会出现希望结果的置信水平。置信水平可以基于历史外科手术的分析，与所公开的实施方式一致，并且可以包括将出现的结果的概率(即，可能性)。所希望的结果可以是积极结果，诸如改善的健康状态、医学植入物的成功放置和/或任何其它有益的不测事件。在一些实施方式中，所希望的结果可以包括避免在决策制定节点之后的可能的不希望情形(例如，避免副作用、术后并发症、流体泄漏事件、患者健康状态的消极变化和/或任何其它不希望的情形)。
在一些实施方式中，输出建议可以基于自外科手术中的特定点起经过的时间。例如，建议可以基于自外科手术事件起经过的时间，与所公开的实施方式一致。建议可以基于在决策制定节点之前的至少指定的分钟数发生的外科手术事件。在一些实施方式中，外科手术事件可以包括外科医生在决策制定节点之前执行的过去动作。建议还可以包括另选动作过程。动作过程可以包括动作集合、动作序列和/或动作模式。另选动作过程可能不同于与正被外科医生执行的进行中的外科手术相关联的动作。
在一些实施方式中，建议可以包括如果不采取特定动作则很可能出现不希望的外科手术结果的指示。这样的指示可以包括：置信水平、不希望的外科手术结果的描述(例如，结果的名称)和/或任何其它指示。
在一些实施方式中，建议可以基于外科医生的技能水平。例如，相比具有较低技能水平的外科医生，具有高技能水平的外科医生可以接收不同的建议。在一些实施方式中，建议可以包括从多个另选动作中选择的特定动作，并且特定动作的选择可以基于外科医生的技能水平以及与多个另选动作相关联的复杂程度。技能水平可以基于历史表现评分、所执行的外科手术的数量、作为外科医生所度过的总时间(例如，年数、手术中度过的小时数)、培训水平的指示、外科医生的技能分类、和/或外科医生的技能的任何其它评估(无论是从手动输入、数据分析还是视频图像分析得出的)。
在一些实施方式中，建议可以基于在决策制定节点之前在外科手术中发生的外科手术事件(即，在先外科手术事件)。在先外科手术事件可以包括如本文所描述的任何外科手术事件，并且它是先于决策制定节点的。在先外科手术事件可以与决策制定节点之后的积极或消极结果相联系，并且建议可以包括执行特定动作的建议，该特定动作增加了实现稍后的积极结果或避免稍后的消极结果的可能性。因此，这种方法可以包括以下步骤：确定在先外科手术事件与稍后的结果相联系。这种相关性可以是基于时间的，因为可以基于外科手术事件与决策制定节点之间的经过的时间来确定相关性。
在一些实施方式中，输出建议可以包括：呈现执行第一步骤的第一指令，接收成功地执行第一步骤的指示，以及响应于接收到的成功地执行了第一步骤的指示，呈现执行第二步骤的第二指令。在一些实施方式中，输出建议可以包括：呈现执行第一步骤的第一指令，以及接收未成功地执行第一步骤的指示。在一些实施方式中，输出建议可以包括：响应于接收到的未成功地执行第一步骤的指示而放弃呈现第二指令。在一些实施方式中，响应于接收到的未成功地执行第一步骤的指示，输出建议可以包括：呈现执行另选步骤的另选指令，该另选步骤不同于第二步骤。
第一步骤被成功地执行或未成功地执行的指示可以基于对视频短片的分析，与所公开的实施方式一致。接收指示可以包括在呈现执行第一步骤的指令之后接收视频短片，并且基于该视频短片的分析来生成指示。
在一些实施方式中，一种提供外科手术的决策支持的方法可以包括以下步骤：接收患者的生命体征，并且建议可以基于所访问的相关性和生命体征。生命体征可以是从医疗器械、装置、外部装置、数据存储装置、传感器和/或任何其它计算组件接收的，并且可以包括患者健康状态的任何指标或状况(例如，心率、呼吸率、大脑活动和/或其它生命体征)。在一些实施方式中，生命体征可以是经由网络从所连接的装置接收的，并且可以经由传统的传感器或者通过视频短片的分析来检测。
在一些实施方式中，建议可以基于患者的组织的状况和/或患者的器官的状况。通常，组织或器官的状况可以指的是指示组织或器官的状态或特征的任何信息。例如，状况可以基于诸如组织或器官是否正常、异常、受损、泄漏、水合、氧化、脱水、缩回、放大、皱缩、存在、不存在和/或任何其它的外观或状态的评估。与所公开的实施方式一致，可基于视频短片的分析来确定患者的组织和/或器官的状况。例如，这样的分析可以确定组织的颜色、解剖结构的纹理、心率、肺容量、存在肿块或其它不规则性、和/或解剖结构的任何其它特征。在一些实施方式中，建议可以基于在传感器数据中反映的状况，诸如心率监测数据、大脑活动数据、体温数据、泄漏数据和/或任何其它健康数据。
作为另一示例，特定动作的建议可以包括形成造口(stoma)或特定类型的造口(例如，袢式(loop)造口、终端造口、袢式结肠造口术、终端结肠造口术、袢式回肠造口术、终端回肠造口术，尿道再生术和/或任何其它类型的造口)的提议或方向。建议可以提议造口创建技术、结肠和/或回肠的创建造口的一部分的指示、和/或患者皮肤上的创建造口的位置。或者，建议可以提议，例如当造口的创建与不希望的结果相联系时不会创建造口。
创建或避免创建造口(或者采取任何其它动作过程)的建议可以基于对患者的生理影响，以及对结果的可能改善的量度阈值。阈值可以是基于患者特征(例如，年龄、在先健康状态、家族史、生命体征和/或其它特征)来选择的。例如，对于先前具有与希望结果相关联的造口的患者，可以选择较低的阈值。阈值还可以基于患者在外科手术之前是否获悉造口的可能性。
决策制定节点的一个示例可以包括：例如在阑尾切除术的准备阶段，决策是否使回肠和/或盲肠移动，并且建议可以包括使回肠和/或盲肠移动的提议或者使回肠和/或盲肠不移动的提议。可能影响该决策的因素的一些非限制性示例可以包括：手术复杂程度、患者的年龄、患者的性别、先前的炎症以及在先外科手术。建议可以基于这些因素中的至少一个因素。在这个结点做出的决策可能会影响到切除病变阑尾的能力。决策制定节点的另一示例可以包括：例如在阑尾切除术的解剖和骨架化阶段，决策是否可以安全地分割阑尾，并且建议可以包括解剖还是不解剖阑尾的提议。可能影响该决策的因素的一些非限制性示例可以包括：手术复杂程度、实现不被束缚的阑尾以及是否适当地移动回肠/盲肠。建议可以基于这些因素中的至少一个因素。在该结点做出的决策可能指示是否将会复发阑尾炎(“残端阑尾炎”)。决策制定节点的另一示例可以包括：例如在阑尾切除术的分割阶段，判定使用什么器械来分割阑尾，并且该建议可以包括：用于分割的器械的提议。可能影响该决策的因素的一些非限制性示例可以包括：手术复杂程度、是否实现了阑尾的圆形视图、以及患者的身体质量指数。建议可以基于这些因素中的至少一个因素。在该结点做出的决策可能会影响治疗时间(length)和成本。决策制定节点的另一示例可以包括：例如在阑尾切除术的分割备阶段，判定是否处理阑尾残端。避免用于治疗阑尾残端的动作的一些选项可能包括烧灼，或对缝(oversew)。建议可以包括：是否治疗阑尾残端的提议，和/或对治疗阑尾残端要采取的特定动作的提议。可能影响该决策的因素的一些非限制性示例可以包括：手术复杂程度以及使用那种器械来分割阑尾。建议可以基于这些因素中的至少一个因素。在该结点做出的决策可能影响术后感染和瘘管率。决策制定节点的另一示例可以包括：例如在阑尾切除术的包装阶段，决策如何移除所切除的样本(例如，在内视镜袋(endobag)中或通过套管针)，并且建议可以包括关于如何移除所切除的样本的提议。例如，该决策可以基于手术复杂程度。在该结点做出的决策可能会影响外科手术部位感染率。决策制定节点的另一示例可以包括：例如在阑尾切除术的最终检查阶段，判定是否执行冲洗，并且建议可以包括执行冲洗的提议，或者不执行冲洗的提议。可能影响该决策的因素的一些非限制性示例可以包括：手术复杂程度、患者预先存在的合并症以及患者性别。建议可以基于这些因素中的至少一个因素。在该结点做出的决策可能会影响感染率。决策制定节点的另一示例可以包括：例如在阑尾切除术的最终检查阶段，判定是否放置引流管，并且建议可以包括放置引流管的提议或者不放置引流管的提议。可能影响该决策的因素的一些非限制性示例可以包括：手术复杂程度、患者年龄以及患者预先存在的合并症。建议可以基于这些因素中的至少一个因素。在该结点做出的决策可能会影响感染率、并发症率以及术后停留时间。
在腹腔镜胆囊切除术的进入阶段的决策制定节点的一个示例可以包括：选择插入方法(诸如Veres针、Hasson技术、OptiView)和/或选择端口布置安排(诸如“常规”和“备选”)，并且建议可以包括插入方法的提议和/或端口布置安排的提议。在腹腔镜胆囊切除术的粘连松解(adhesiolysis)阶段的决策制定节点的一个示例可以包括：选择是否进行胆囊解压，并且建议可以包括是否对胆囊进行解压的提议。例如，当胆囊肿大和/或绷紧时，或当存在急性胆囊炎的其它征兆时，建议可以包括对胆囊进行解压的提议。腹腔镜胆囊切除术中的决策制定节点的一个示例可以包括：选择胆囊解剖方法(诸如Traditional、Dome-downDissection、Sub-total等)，并且建议可以包括胆囊解剖方法的提议。例如，在严重胆囊炎的情况下，可以提供Dome-down Dissection的建议。在另一示例中，对于无法获得暴露的情况来说，可以提供放弃的建议，例如由于肝床中的大侧支(collaterals)的风险增加。腹腔镜胆囊切除术中的决策制定节点的一个示例可以包括：选择是否放置引流管，并且建议可以包括放置引流管的提议或者不放置引流管的提议。
在一些示例中，向用户输出采取和/或避免特定动作的建议可以使用经训练的机器学习模型来确定。例如，可以使用训练示例来对机器学习模型进行训练，以基于与外科手术决策制定节点相关的信息来确定建议，并且可以将经训练的机器学习模型用于基于与外科手术决策制定节点的特定出现相关的信息，确定要向用户输出的、针对外科手术决策制定节点的特定出现而采取和/或避免特定动作的建议。上面描述了与外科手术决策制定节点的出现相关的这种信息的一些非限制性示例。例如，该信息可以包括：外科手术决策制定节点的类型、外科手术决策制定节点的特性、外科手术决策制定节点的时间(例如，在外科手术内)、经历外科手术的患者的特征、执行外科手术的至少部分的外科医生(或另一医护专业人员)的特征、与外科手术相关的手术室的特征、与外科手术决策制定节点相关的解剖结构、与外科手术决策制定节点相关的解剖结构的状况、在外科手术中使用的医疗器械、外科手术中的医疗器械与解剖结构之间的交互、与外科手术决策制定节点相关的生理反应、外科手术中在外科手术决策制定节点之前发生的一个或更多个外科手术事件、外科手术中在外科手术决策制定节点之前发生的一个或更多个外科手术事件的持续时间、外科手术中的外科手术阶段的持续时间、结果与可以在外科手术决策制定节点采取的可能动作之间的一个或多个相关性、用户对先前提供的建议的过去反应等。这种训练示例的示例可以包括与外科手术决策制定节点相关的信息，以及指示希望建议的标记。例如，标记可以包括希望建议的希望文本和/或图形内容。在另一示例中，标记可以基于结果与在此类外科手术决策制定节点采取的特定动作之间的相关性。
图29是例示与所公开的实施方式一致的进行外科手术的决策支持的示例过程2900的流程图。可以使用至少一个处理器(诸如一个或更多个微处理器)来执行过程2900。在一些实施方式中，过程2900不一定限于所例示的步骤，并且本文所描述的各种实施方式中的任一实施方式也可以被包括在过程2900中。如本领域技术人员应意识到，过程2900的步骤可以由例如包括系统组件1401的系统来执行。在一些实施方式中，一种非暂时性计算机可读介质，该介质包括在由至少一个处理器执行时使所述至少一个处理器根据过程2900执行提供外科手术的决策支持的操作的指令。在一些实施方式中，可以在外科手术期间实时执行过程2900。基于过程2900中描述的步骤，外科医生或其它用户能够在具有积极结果和/或避免消极结果的情况下更有效且更高效地执行外科手术。
在步骤2902，该过程可以包括：接收在手术室中由外科医生对患者执行的外科手术的视频短片，与所公开的实施方式一致并且如先前通过示例所描述的。图1提供了手术室、外科医生、患者以及被配置为拍摄外科手术的视频短片的摄像机的示例。视频短片可以包括来自内窥镜或体内摄像机中的至少一个的图像(例如，腔内视频的图像)。
在步骤2904，该过程可以包括：访问包括表征外科手术的图像相关数据的至少一个数据结构，与所公开的实施方式一致并且如先前通过示例所描述的。在一些实施方式中，访问数据结构可以包括：经由网络和/或经由连接从装置接收数据结构中的数据。访问数据结构可以包括：从数据存储装置取回数据，与所公开的实施方式一致。
在步骤2906，该过程可以包括：使用图像相关数据对接收到的视频短片进行分析，以确定外科手术决策制定节点的存在，与所公开的实施方式一致并且如先前通过示例所描述的。分析接收到的视频短片可以包括：针对接收到的视频短片的一个或更多个帧执行图像分析方法，与所公开的实施方式一致。对接收到的视频短片进行分析可以包括：实现被训练以确定外科手术决策制定节点的存在的模型。决策制定节点可以包括：不恰当的接近或暴露、解剖结构的缩回、解剖结构或流体泄漏的误解、和/或任何其它外科手术事件，如先前所描述的。在一些实施方式中，决策制定节点可以通过对多个不同的历史手术的分析来确定，其中，不同的动作过程是在共同的外科手术情形之后发生的。在一些实施方式中，确定决策制定节点的存在可以基于检测到的解剖结构的生理反应和/或与外科手术工具相关联的运动。
在步骤2908，该过程可以包括：在所述至少一个数据结构中访问结果与在决策制定节点采取的特定动作之间的相关性，如先前通过示例所描述的。如所讨论的，可以使特定动作与积极或消极结果相联系，与所公开的实施方式一致。访问相关性可以包括：生成相关性，从存储器读取相关性和/或访问数据结构中的相关性的任何其它方法。特定动作可以包括单个步骤或多个步骤(例如，由外科医生执行的多个动作)。特定动作可以包括将额外的外科医生召唤到手术室。
在步骤2910，该过程可以包括：向用户输出采取特定动作的建议，与所公开的实施方式一致并且如先前通过示例所描述的。输出建议可以基于所确定的决策制定节点的存在以及所访问的相关性，与本实施方式一致。在一些实施方式中，输出建议可以包括经由手术室中的界面提供输出。在一些实施方式中，外科医生是外科手术机器人，并且可以以外科手术机器人的指令的形式来提供建议(例如，用于采取特定动作和/或避免特定动作的指令)。举例来说，建议包括进行医学检验的建议。建议(例如，第一建议、第二建议和/或附加建议)可以包括：基于决策制定节点的所确定的存在、所访问的相关性以及接收到的医学检验的结果，向用户建议以采取或避免特定动作。建议可以包括额外的外科医生的名字和/或其它标识符(例如，员工ID)。建议可以包括：当前手术情形的描述、抢先或纠正措施的指示、和/或危险区域映射。在一个示例中，如先前提及的，建议可以包括外科手术引流管(drain)的建议布置，以从患者体内去除炎性流体、血液、胆汁和/或其它流体。在采取或者不采取特定动作的情况下将会发生或者不会发生希望的外科手术结果的置信水平可以作为建议的部分。建议可以基于外科医生的技能水平、相关性和生命体征、和/或在决策制定节点之前在外科手术中发生的外科手术事件(即，在先外科手术事件)。在一些实施方式中，建议可以基于患者的组织的状况和/或患者的器官的状况。作为另一示例，特定动作的建议包括创建造口，如先前通过示例所讨论的。
所公开的系统和方法可以涉及对当前和/或历史外科手术短片进行分析，以识别外科手术的特征、患者状况以及其它特征以估计外科手术接触力。在手术期间施加过多的接触力可能对患者产生不利的健康后果。相反地，接触力不足可能导致某些手术的次优效果。评估在任何给定的外科手术情形中施加的恰当的力水平可能是困难的，从而导致患者的次优结果。因此，需要非常规的方法来高效、有效地且实时地或者在术后确定外科手术接触力。
根据本公开，公开了一种估计在外科手术期间解剖结构上的接触力的方法。接触力可以包括在外科手术期间由外科医生或由外科手术工具在一个或更多个解剖结构(例如，组织、肢体、器官或者患者的其它解剖结构)上施加的任何力。如本文所使用的，术语“接触力”指的是可以向解剖结构施加的任何力，无论该力是以重量单位(例如，施加的千克或磅)、力单位(例如，牛顿)、向区域施加的压力(例如，每平方英寸施加的磅)、张力(例如，拉力)还是压力(例如，推力)来表征的。
可以以许多方式直接或间接地施加接触力。例如，可以通过外科医生与解剖结构的直接接触来施加接触力(例如，由外科医生的手施加的)，或者可以通过外科手术器械、工具或者外科医生手中的其它结构来施加接触力。在外科医生是外科手术机器人的情况下，机器人可以经由机器人结构(机器人臂、手指、抓具)直接地或者通过工具、器械或由机器人操纵的其它结构来施加接触力。
接触力可以包括法向(即，正交)力、剪切力和/或法向力与剪切力的组合。更一般地，接触力可以包括在外科手术期间向患者身体的任何部分施加的任何力或压力。
与本实施方式一致，对接触力进行估计可以包括：对图像和/或外科手术手术视频进行分析，以根据标度来生成对实际接触力的量值的估计。通过图像分析的力估计可以涉及检查组织/形态界面以观察对组织的影响。例如，如果形态是诸如镊子的医疗器械压抵诸如胆囊的器官，则向力施加的位置应用机器视觉技术可以揭示该器官的反应所施加的力的移动和/或变化。基于来自先前观测到力的施加的在先手术的历史视频短片，可以针对当前视频进行所施加的力的量值的估计。力量值估计可以包括测量单位(例如，磅、每平方英寸磅、牛顿、千克或其它物理单位)，或者可以基于相对标度。相对标度可以包括分类标度、数字标度和/或任何其它量度。分类标度可以反映力水平(例如，包括多个水平的标度，诸如高的力、中度的力、低的力，或者任何其它数量的水平)。可以根据诸如标度1至10的数字标度来估计接触力。而且，可以以离散时间点来估计力，或者可以连续地估计力。在一些实施方式中，接触力的估计可以包括：接触位置的估计、接触角度和/或接触力的任何其它特征的估计。
在一些实施方式中，提供了一种估计解剖结构上的接触力的方法，该方法可以包括以下步骤：从手术室中的至少一个图像传感器接收外科手术的图像数据。图像传感器可以包括摄像机和/或任何其它图像拍摄装置。可以将图像传感器配置成收集图像数据和/或视频数据，并且可以定位在任何手术室中的任何位置，举例来说，如患者上方或患者体内(例如，在体内腔中)。图像数据可以包括：外科手术视频、视频短片、视频短片、图像帧、连续视频和/或从视频导出的任何其它信息。例如，图像数据可以包括：像素数据、颜色数据、饱和度数据和/或表示图像的任何其它数据，而不管存储格式如何。图像数据可以包括：时间数据(例如，图像被传感器拍摄的时间)、位置数据、与外科手术相关的信息(例如，患者标识符、外科手术的名称)和/或任何其它元数据。在一些实施方式中，外科手术的图像数据可以通过手术室中的图像传感器来收集，并且被存储在手术室中、手术室附近甚或远离手术室的数据结构(例如，图17A的数据结构)中。虽然力估计可以实时进行，但是也可以非实时地进行估计，诸如在数据被从数据结构取回的时候。
在一些实施方式中，提供了一种估计解剖结构上的接触力的方法，该方法可以包括以下步骤：对接收到的图像数据进行分析，以确定在图像数据中反映的解剖结构的身份。对接收到的图像数据进行分析可以包括任何图像分析方法，与本实施方式一致。上面描述了用于识别图像和/或视频中的解剖结构的算法的一些非限制性示例。对接收到的图像数据进行分析例如可以包括：对象识别方法、图像分类、单应性、姿态估计、运动检测和/或其它图像分析方法。对接收到的图像数据进行分析可以包括人工智能方法，该人工智能方法包括实现使用训练示例进行训练的机器学习模型，与所公开的实施方式一致。例如，可以使用机器学习模型对接收到的图像数据进行分析，该机器学习模型被使用训练示例进行训练，以检测和/或识别解剖结构，例如如上所述。例如，可以使用人工神经网络对接收到的图像数据进行分析，该人工神经网络被配置成从图像和/或视频中检测和/或识别解剖结构。训练示例可以包括被标记或者以其它方式分类为描绘解剖结构的图像数据(例如，被分类为描绘胰腺的图像)。
在一些实施方式中，提供了一种估计解剖结构上的接触力的方法，该方法可以包括以下步骤：对接收到的图像数据进行分析，以确定解剖结构的状况。通常，解剖结构的状况可以指的是指示解剖结构的状态或特征的任何信息。例如，状况可以指的是解剖结构是否正常、异常、受损、泄漏、水合、脱水、氧化、缩回、放大、皱缩、存在、不存在和/或任何其它评估。状况可以包括：解剖结构的活力的量度、氧合水平、水合水平、疼痛水平和/或解剖结构的任何其它状态的量度。在一个示例中，可以将解剖结构的状况表示为对应于数学空间中的点的数值向量。在一些示例中，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中识别解剖结构的状况，并且可以将经训练的机器学习模型用于分析接收到的图像数据并确定解剖结构的状况。这种训练示例的示例可以包括解剖结构的图像和/或视频，以及指示解剖结构的状况的标记。
在一些实施方式中，分析可以基于解剖结构的指示状况的特征来确定状况。作为非限制性示例，分析可以确定组织的颜色、解剖结构的纹理、心率、肺容量和/或解剖结构的任何其它特征。在一些实施方式中，建议可以基于在传感器数据中反映的特征，诸如心率监测数据、大脑活动数据、体温数据、血压数据、血流数据、泄漏数据和/或任何其它健康数据。解剖结构的这种特征可以指示解剖结构的状况，并且可以与已知状况相联系。例如，降低的脑活动可能表明血管阻塞，或者增加的颅压可能表明脑出血。可以将这种相关性存储为数据结构，诸如图17A的数据结构。
在一些实施方式中，一种估计解剖结构上的接触力的方法可以包括以下步骤：选择与解剖结构相关联的接触力阈值。接触力阈值可以包括最小或最大接触力。在一些实施方式中，选择接触力阈值可以基于指示施加高于或低于阈值的力与相关联的很可能发生的结果的信息。选择接触力阈值可以基于指示所建议的接触力(例如，最大安全力或最小有效力)的数据。例如，选择接触力阈值可以基于包括对应的接触力阈值的解剖结构表。表可以包括解剖结构的状况的指示。在一些实施方式中，所选择的接触力阈值可以基于解剖结构的确定的状况。例如，所选择的接触力阈值可以基于指示解剖结构正在泄漏、具有特殊的颜色、具有特定的缩回水平和/或任何其它状况的信息而进行增加或减小。在另一示例中，响应于解剖结构的第一确定的状况，可以选择第一接触力阈值，并且响应于解剖结构的第二确定的状况，可以选择第二接触力阈值，第二接触力阈值可以不同于第一接触力阈值。在又一示例中，可以将解剖结构的确定的状况表示为向量(如上所述)，并且可以使用所确定的状况的向量表示的函数来计算接触力阈值。在一些示例中，所选择的接触力阈值可以是一类接触力(诸如张力、压迫等)的函数。例如，响应于第一类型的接触力，所选择的接触力阈值可以具有第一值，并且响应于第二类型的接触力，所选择的接触力阈值可以具有第二值，第二值可以不同于第一值。
在一些实施方式中，可以将接触力阈值与张力水平(即，拉动解剖结构的力水平)或缩回水平相关联。缩回可以涉及组织的移动、牵引和/或反牵引以暴露组织、器官、和/或其它解剖结构以供外科医生观察。在一些实施方式中，可以将接触力阈值与压力水平(即，推按解剖结构的接触力的量)或压迫水平相关联。压迫水平可以包括解剖结构的压迫程度或量(例如，由于接触力而造成的解剖结构的尺寸减小)。
与本实施方式一致，选择接触力可以基于和解剖结构与医疗器械之间的接触方式相关的数据。例如，在一些实施方式中，选择接触力阈值可以基于解剖结构与医疗器械之间的接触位置，这是因为解剖结构的一些区域可以具有比其它区域更大的力敏感性。可以通过对接收到的图像数据进行分析来确定位置，与所公开的实施方式一致。因此，所选择的接触力阈值可以在解剖结构与医疗器械之间的一个接触位置处高于另一接触位置。选择接触力阈值也可以基于解剖结构与医疗器械之间的接触角度。可以通过对图像数据进行分析以识别解剖结构与医疗器械之间的迎角(incidence angle)来确定接触角度。例如，可以将姿态估计算法用于对图像数据进行分析，并确定解剖结构的姿态和/或医疗器械的姿态，并且可以基于所确定的姿态来确定解剖结构与医疗器械之间的角度。在另一示例中，可以使用训练示例来对机器学习算法进行训练，以确定解剖结构与医疗器械之间的角度，并且可以将经训练的机器学习模型用于分析图像数据并确定解剖结构与医疗器械之间的角度。这种训练示例的示例可以包括描绘解剖结构和医疗器械的图像，以及指示解剖结构与医疗器械之间的角度的标记。在一些示例中，所选择的接触力阈值可以是与接触力相关的接触角度的函数。例如，响应于第一接触角度，所选择的接触力阈值可以具有第一值，并且响应于第二接触角度，所选择的接触力阈值可以具有第二值，第二值可以不同于第一值。
在一些实施方式中，选择接触力阈值可以包括实现和/或使用模型(例如，统计模型和/或机器学习模型)。例如，选择接触力阈值可以包括将解剖结构的状况提供给回归模型作为输入并且基于回归模型的输出来选择接触力阈值。在一些实施方式中，回归模型可以拟合到包括施加到具有对应状况和外科手术结果的解剖结构的接触力的历史数据。
在一些实施方式中，选择接触力阈值可以包括使用利用训练示例训练的机器学习模型来选择接触力阈值。例如，可以使用训练示例来对机器学习模型进行训练，以基于输入数据来选择接触力阈值。此类输入数据可以包括：外科手术的图像数据、描绘解剖结构的图像数据、外科手术的类型、外科手术的阶段、动作类型、解剖结构的类型、解剖结构的状况、外科医生的技能水平、患者的状况等。这种训练示例的示例可以包括样本输入数据，以及指示希望接触力阈值的标记。在一个示例中，可以基于已知的医学指南来选择希望的接触力阈值。在另一示例中，可以手动选择希望的接触力阈值。在又一示例中，可以基于历史病例中或者一组历史病例的定义子集中的所施加的接触力和结果的相关性的分析来选择希望的接触力阈值，例如选择与正面结果高度相联系的接触力阈值(例如，根据历史数据确保正面结果、根据历史数据确保选定比率病例的正面结果等)。此外，在一些示例中，可以将经训练的机器学习模型用于对与特定病例(诸如特定外科手术、外科手术的特定阶段、外科手术的特定动作、特定的外科医生、特定的患者、特定的解剖结构等)相对应的这种输入数据进行分析，并且选择接触力阈值。例如，可以将经训练的机器学习模型用于分析外科手术的图像数据和/或解剖结构的所确定的身份和/或解剖结构是所确定的状况和/或外科手术的当前状况的特征，以选择接触力阈值。
在一些实施方式中，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中确定接触特性(诸如接触位置、接触角度、接触力)，并且可以将经训练的机器学习模型用于对视频短片进行分析并确定在外科手术中发生的实际接触的特性，诸如实际接触位置、实际接触角度、实际接触力等。训练示例的示例可以包括描绘特定接触的图像数据，以及指示特定接触的特性(诸如接触位置、接触角度、接触力等)的标记。例如，训练示例可以包括使用传感器(例如，嵌入医疗器械中的传感器)收集的接触力的测量结果。在另一示例中，训练示例可以包括对医疗记录中包括的接触力的估计(例如，记录中存储的接触力的估计、基于传感器数据的估计或者外科医生的意见)。
在一些实施方式中，选择接触力阈值可以基于由外科医生执行的一个或更多个动作。例如，一种方法可以包括以下步骤：对图像数据进行分析，以例如使用动作识别算法来识别由外科医生(例如，人或外科手术机器人)执行的动作。在一个示例中，所选的择接触力阈值可以基于使由外科医生执行的一个或更多个动作、接触力以及结果相联系的历史数据。例如，可以选择与正面结果高度相联系的接触力阈值(例如，其根据历史数据确保积极结果、根据历史数据确保选定比率病例的积极结果等)。在一个示例中，数据结构可以指定不同动作的接触力阈值。在一个示例中，接触力阈值可以基于外科医生的技能水平，与所公开的实施方式一致。
在一些实施方式中，一种估计解剖结构上的接触力的方法可以包括以下步骤：接收解剖结构上的实际接触力的指示。实际接触力的指示可以直接或间接地和外科医生(例如，人或机器人外科医生)与解剖结构之间的接触相关联。例如，实际接触力可以和医疗器械与解剖结构之间(例如，解剖结构与牵开器、手术刀、外科手术夹、钻、骨切割器、锯、剪刀、镊子和/或任何其它医疗器械之间)的接触相关联。在一些实施方式中，实际的力可以与张力水平、牵开水平、压力水平和/或压迫水平相关联。指示可以包括接触力的估计(包括接触水平)，与所公开的实施方式一致。更一般地，实际的力的指示可以包括在外科手术事件期间施加的任何接触力(如本文所描述的)的任何指示。在一个示例中，实际接触力的指示可以包括接触角度的指示、接触力的量值或水平的指示以及接触力的类型的指示等中的至少一个。
在一些实施方式中，实际接触力的指示可以基于图像数据的图像分析来进行估计。对图像数据进行图像分析以估计接触力的指示可以包括如本文所公开的任何图像分析方法。在一些实施方式中，接触力的指示可以基于图像分析方法，该图像分析方法将接触力与解剖结构的变化(例如，解剖结构的变形)、外科医生或外科手术器械的位置、外科医生和/或外科手术器械的运动、和/或外科手术事件的任何其它特征相关联。在一些实施方式中，可以使用回归模型来估计实际接触力的指示，该回归模型拟合将接触力与外科手术事件的特征相关联的历史数据。而且，可以使用机器学习模型估计实际接触力的指示，例如如上所述。
在一些实施方式中，实际接触力的指示可以基于直接或间接测量力的传感器数据。例如，实际力可以基于力传感器，该力传感器测量医疗器械或外科机器人与解剖结构之间的接触位置处的力(例如，嵌入医疗器械或机器人中的力传感器)。在示例性实施方式中，实际接触力的指示可以从外科手术工具或其它医疗器械接收。类似地，实际接触力的指示可以从外科手术机器人接收。
在一些实施方式中，一种估计解剖结构上的接触力的方法可以包括以下步骤：对指示的实际接触力与所选择的接触力阈值进行比较，这可以包括确定实际接触力是超过还是未能超过所选择的接触力阈值。对指示的实际接触力与所选择的接触力阈值进行比较可以包括：计算实际接触力与所选择的接触力阈值的差异、比率、对数和/或任何其它函数。
在一些实施方式中，一种估计解剖结构上的接触力的方法可以包括以下步骤：基于指示的实际接触力超过所选择的接触力阈值的确定来输出通知。输出通知可以包括将建议发送给装置、在界面处显示通知、播放声音、提供触觉反馈、和/或通知个人施加了过多力的任何其它方法。可以将通知输出至手术室中的装置、与外科医生(例如，人类外科医生和/或外科手术机器人)相关联的装置和/或任何其它系统。例如，输出通知可以包括：将通知发送给计算机、移动装置、外部装置；外科手术机器人和/或任何其它计算装置。在另一示例中，输出通知可以包括：将通知记录在文件中。
在一些实施方式中，通知可以包括指示接触力已经超过或者未能超过所选择的接触力阈值的信息。在一些实施方式中，通知可以包括与所选择的接触力和/或实际接触力的估计相关联的信息，包括接触角度的指示、接触力的量值、接触位置和/或与接触力其它信息。
在一些示例中，可以根据实际的力的指示来提供不同强度的通知(即，严重性或量值)。例如，输出通知可以基于指示的实际的力与所选择的力阈值之间的差异或指示的实际的力与多个阈值的比较。通知可以基于实际的力的强度水平或者实际的力与所选择的力阈值之间的差异的强度。在一些实施方式中，通知可以包括指定强度水平的信息。
与本实施方式一致，在外科手术期间可以实时输出通知，以便向进行外科手术的外科医生提供警告。在一些实施方式中，通知可以包括向外科手术机器人指令以改变力施加。作为例示性示例，通知可以包括更改接触力的量值、角度和/或位置的指令。
在一些实施方式中，一种估计解剖结构上的接触力的方法可以包括以下步骤：从接收到的图像数据中确定外科手术处于战斗模式下，其中，可能需要不一般的量度。在这样的情况下，可以挂起典型的接触力阈值。从接收到的图像数据中确定外科手术可能处于战斗模式下可以包括使用图像分析方法，如本文所公开的。例如，视频中描绘的某些生理反应和/或外科手术活动可以表明外科手术处于战斗模式下。战斗模式确定可以包括使用统计模型(例如，回归模型)和/或机器学习模型，诸如被训练以使用这样的外科手术视频的历史示例来识别战斗模式的模型，即，该外科手术视频被归类为描绘外科手术的处于战斗模式和未处于战斗模式的部分。在一些实施方式中，可以在战斗模式期间挂起通知。例如，输出通知可以被无限期地延迟，或者至少直到确定外科手术中可能未处于战斗模式。在一些实施方式中，可以将输出通知延迟预定时段(例如，几分钟或任何其它时段)。在其它示例中，可以基于经历外科手术的患者是否处于战斗模式来确定所输出的通知的类型。在一些示例中，可以基于经历外科手术的患者是否处于战斗模式来选择接触力阈值。
在一些实施方式中，一种估计解剖结构上的接触力的方法可以包括以下步骤：从接收到的图像数据中确定外科医生可能正在忽视接触力通知的模式下进行手术。接触力通知可以包括这样的通知，即，该通知包括与接触力相关的信息(例如，实际接触力和/或所选择的接触力阈值)。在一些实施方式中，确定外科医生可能正在忽视接触力通知的模式下进行手术可以包括：在一个或更多个接触力通知之后分析实际接触力的一个或更多个指示。例如，实施方式可以包括：在输出一个或更多个接触力通知之后，确定一个或更多个实际接触力指示是否超过或未能超过所选择的接触力阈值。从接收到的图像数据中确定外科医生可能正在忽视接触力通知的模式下进行手术可以包括使用图像分析方法，并且可以包括使用统计模型(例如，回归模型)和/或机器学习模型。可以对这种机器学习模型进行训练，以利用这样的外科手术视频的历史示例来确定外科医生可能正在忽视接触力通知的模式下进行手术，即，外科手术视频的历史示例被分类为正忽视和未忽视接触力通知的外科医生。
实施方式可以包括：基于确定外科医生可能正在忽视接触力通知的模式下进行手术，至少临时挂起(延迟)进一步的接触力通知。在一些实施方式中，接触力通知可以在预定时段(例如，几分钟或任何其它时段)之后恢复。
图30是例示与所公开的实施方式一致的估计解剖结构上的接触力的示例性过程300的流程图。可以由至少一个处理器(诸如一个或更多个微处理器)来执行过程3000。在一些实施方式中，过程3000不一定限于所例示的步骤，并且本文所描述的各种实施方式中的任一实施方式也可以被包括在过程3000中。如本领域技术人员应意识到，过程3000的步骤可以由例如包括系统1401的组件的系统来执行。在一些实施方式中，提供了一种非暂时性计算机可读介质，该介质包含指令，该指令在由至少一个处理器执行时，使所述至少一个处理器根据过程3000执行用于估计解剖结构上的接触力的操作。在一些实施方式中，可以在外科手术期间实时执行过程3000。
在步骤3002，该过程可以包括：从手术室中的至少一个图像传感器接收外科手术的图像数据，如先前通过各种示例所描述的。可以将图像传感器放置在任何手术室中的任何地方，并且图像数据可以包括任何视频数据、表示图像的数据和/或元数据。
在步骤3004，该过程可以包括：对接收到的图像数据进行分析，以确定解剖结构的身份并且确定在图像数据中反映的解剖结构的状况，与所公开的实施方式一致并且如先前通过示例所描述的。对接收到的图像数据进行分析可以包括任何图像分析方法，如先前所描述的，并且解剖结构的状况可以指的是指示解剖结构的状态或特征的任何信息。如先前所讨论的，分析接收到的图像数据可以包括：使用利用训练示例训练的机器学习模型，来确定图像数据中的解剖结构的状况。
在步骤3006，该过程可以包括：选择与解剖结构相关联的接触力阈值，所选择的接触力阈值是基于解剖结构的所确定的状况的。如先前更详细讨论的，选择接触力阈值可以基于指示所建议的接触力(例如，最大安全力或最小有效力)的数据。选择接触力阈值可以基于接触力的位置和/或角度，并且可以包括实现模型(例如，诸如回归模型的统计模型和/或机器学习模型)。此外，可以将包括对应的接触力阈值的解剖结构表用作选择接触力阈值的部分。可以将接触力阈值与张力水平或压迫水平相关联。在一些示例中，选择接触力阈值可以包括使用利用训练示例训练的机器学习模型来选择接触力阈值。此外，选择接触力阈值可以基于由外科医生执行的一个或更多个动作。上面描述了选择接触力阈值的其它非限制性示例。
在步骤3008，该过程可以包括：接收解剖结构上的实际接触力的指示，诸如和医疗器械与解剖结构之间的接触相关联的力。实际力可以与张力水平、牵开水平、压力水平和/或压迫水平相关联。实际接触力的指示可以基于图像数据的图像分析来估计。实际接触力的指示可以基于直接或间接测量力的传感器数据。在一些实施方式中，实际接触力的指示可以基于图像数据的图像分析来进行估计，和/或可以是从外科手术工具、外科手术机器人或其它医疗器械接收的实际接触力的指示。
在步骤3010，该过程可以包括：对指示的实际接触力和所选择的接触力阈值进行比较，如先前所讨论的。对指示的实际接触力与所选择的接触力阈值进行比较可以包括：计算实际接触力与所选择的接触力阈值的差异、比率、对数和/或任何其它函数。
在步骤3012，该过程可以包括：基于指示的实际接触力超过所选择的接触力阈值的确定来输出通知，如先前所描述的。输出通知可以在进行中的外科手术期间实时执行。例如，输出通知可以包括：向进行外科手术的外科医生提供实时警告或者向外科手术机器人提供指令。
所公开的系统和方法可以涉及对当前和/或历史外科手术短片进行分析，以识别外科手术的特征、患者状况以及用于更新预测的外科手术结果的其它特征。在外科手术的过程期间，状况可能发生变化，或者事件可能透露改变外科手术的预测的结果。执行外科手术的常规方法可能缺乏决策支持系统，该决策支持系统是针对随着外科手术事件的发生，基于这些外科事件在实时期间所更新的预测的结果的。结果，外科医生可能无法获知很可能的外科手术结果，从而无法执行可以改善结果或者可以避免恶化结果的动作。因此，当前公开的各方面涉及高效、有效且实时地更新预测的外科手术结果的非常规方法。
根据本公开，可以提供在外科手术期间更新预测结果的系统、方法以及计算机可读介质。例如，可以对图像数据进行分析，以检测预测结果中的变化，并且可以向外科医生传送补救动作。预测结果可以包括可能以关联的置信度或概率(例如，可能性)发生的结果。例如，预测结果可以包括：并发症、健康状态、恢复时段、死亡、残疾、内出血、外科手术之后再入院、和/或任何其它外科手术不测事件。在一些实施方式中，预测结果包括评分，诸如下尿路症状(LUT)结果评分。更一般地，预测结果可以包括与外科手术相关联的任何健康指标。
在一些实施方式中，预测结果可以包括再入院的可能性，诸如在经历外科手术的患者在外科手术后从医院出院之后，在特定时间间隔内该患者再入院的可能性。再入院可以基于与外科手术相关的健康状况，或者可以基于其它因素。例如，再入院可能是因术后并发症((例如，肿胀、出血、过敏反应、破裂的缝合处和/或任何其它并发症)而出现的。在一些实施方式中，再入院的可能性可以基于图像数据的分析来确定(例如，使用如本文所描述的图像分析方法)。此外，在一些实施方式中，可以基于经历外科手术的患者的信息来确定再入院的可能性。例如，再入院的可能性可以基于患者特征(例如，年龄、在先健康状态、家族史、生命体征和/或其它患者相关数据)。再入院可以针对不同的时间间隔进行定义(例如，24小时内、一周内、一个月内或者另一个时段内再入院)。
在一些实施方式中，预测结果可以基于至少一个模型，诸如统计模型和/或机器学习模型。例如，预测结果可以基于和外科手术相关联的信息(例如，患者特征和/或外科手术事件)与历史结果之间的统计相关性。预测结果可以由机器学习模型来生成，该机器学习模型被使用训练示例(例如，使用基于历史数据的训练示例)进行训练，以将结果与和外科手术相关联的信息(例如，患者特征和/或外科手术事件)相关联。
所公开的实施方式可以包括从被设置成拍摄外科手术的图像的至少一个图像传感器接收与外科手术期间的第一事件相关联的图像数据，与所公开的实施方式一致。与第一事件相关联的图像数据可以包括：静止图像、图像帧、短片和/或与外科手术相关联的视频相关数据。第一事件可以包括任何外科手术事件，与所公开的实施方式一致。在例示性实施方式中，第一事件可以包括由外科医生(例如，人或机器人外科医生)执行的动作。在另一示例中，第一事件可以包括针对动作的生理反应。在又一示例中，第一事件可以包括解剖结构的状况变化。上面描述了这种外科手术事件的一些其它非限制性示例。与第一事件相关联的图像数据可以在存储器和/或数据结构中加以接收，如本文通过示例所描述的。
图像传感器可以包括也如本文所描述的任何图像传感器(例如，摄像机或其它检测器)。在一些实施方式中，可以将图像传感器定位在手术室中。例如，可以将图像传感器定位在经受外科手术的患者上方或者经受外科手术的患者体内(例如，腔内摄像机)。
所公开的实施方式可以包括基于接收到的与第一事件相关联的图像数据，来确定与外科手术相关联的预测结果，与所公开的实施方式一致。预测结果可以包括与外科手术相关联的任何健康结果，如上所述。例如，该预测结果可以包括以某种方式与第一事件相联系的可能出现的情况。预测可以是二元的(例如，很可能导致破裂与不太可能导致破裂)，或者预测可以提供相对置信度或概率(例如，破裂机会占比；以1至5为标度的破裂机会等)。所确定的预测结果可以包括反映结果的特性(诸如术后健康状态)的评分(例如，LUT结果评分)。可以将预测结果与置信度或概率相关联。
如在先前段落中提及的，第一事件可以包括任何术中发生的事件。例如，第一事件可以包括：由外科医生执行的动作、患者特征的变化、解剖结构的状况变化和/或任何其它详情。在一些实施方式中，可以接收与第一事件相关联的至少一个时间点，使得除了事件本身的指示符之外，还接收事件发生的时间的指示符。时间点可以与视频时间线上的计数器重合，或者可以包括反映在事件发生时的绝对时间或相对时间的任何其它标记或指示符。
一些实施方式可以涉及识别诸如第一事件的事件。例如，这种识别可以基于对医疗器械、解剖结构和/或医疗器械与解剖结构之间的交互的检测，可以使用贯穿本公开描述的视频分析技术来进行检测。例如，可以通过使用如上所述的机器学习模型对图像数据进行分析来识别事件。
在一些实施方式中，确定预测结果可以包括：识别外科手术工具与解剖结构之间的交互，以及基于所识别的交互来确定预测结果。例如，可以通过对图像数据进行分析来识别外科手术工具与解剖结构之间的交互，例如如上所述。此外，在一个示例中，响应于第一识别的交互，可以预测第一结果，并且响应于第二识别的交互，可以预测第二结果，第二结果可以不同于第一结果。在另一示例中，可以使用训练示例来对机器学习模型进行训练，以基于外科手术工具与解剖结构之间的交互来预测外科手术的结果，并且可以将经训练的机器学习模型用于基于所识别的交互来预测结果。这种训练示例的示例可以包括外科手术工具与解剖结构之间的交互的指示，以及指示希望的预测结果的标记。所希望的预测结果可以基于历史数据的分析、基于用户输入(诸如专家意见)等。
在一些实施方式中，确定预测结果可以基于图像数据(诸如先前存储在数据结构中的数据)中描绘的外科医生的技能水平。外科医生的技能水平可以基于图像数据的分析来确定，例如如上所述。例如，可以将面部识别算法应用于图像数据以识别已知的外科医生，并且可以从数据结构(诸如数据库)中取回对应的技能水平。在一些实施方式中，外科医生的技能水平可以基于在图像数据中识别的事件序列来加以确定(例如，基于要执行一个或更多个动作的时长、基于在图像数据中检测到的外科手术期间的患者反应、和/或指示外科医生的技能水平的其它信息)。在一个示例中，响应于第一确定的技能水平，可以预测第一结果，并且响应于第二确定的技能水平，可以预测第二结果，第二结果可以不同于第一结果。在另一示例中，可以使用训练示例来对机器学习模型进行训练，以基于外科医生的技能水平来预测外科手术的结果，并且可以将经训练的机器学习模型用于基于所确定的技能水平来预测结果。这种训练示例的示例可以包括外科医生的技能水平的指示，以及指示希望的预测结果的标记。所希望的预测结果可以基于历史数据的分析、基于用户输入(诸如专家意见)等。
在一些实例中，确定预测结果还可以基于图像数据中描绘的解剖结构的状况。例如，预测结果可以基于与器官状况相联系的历史结果。伴随处于较差状况的器官的并发症例如可能大于处于较好状况的器官。在一些实施方式中，解剖结构的状况可以基于如贯穿本公开描述的图像数据的分析。解剖结构的状况可以是短暂的或慢性的，和/或包括医学状况，诸如正通过外科手术治疗的状况或者单独的医学状况。解剖结构的状况可以通过颜色、纹理、尺寸、水合水平和/或任何其它可观测特征来进行指示。在一个示例中，响应于解剖结构的第一确定的状况，可以预测第一结果，并且响应于解剖结构的第二确定的状况，可以预测第二结果，第二结果可以不同于第一结果。在另一示例中，可以使用训练示例来对机器学习模型进行训练，以基于解剖结构的状况来预测外科手术的结果，并且可以将经训练的机器学习模型用于基于所确定的解剖结构的状况来预测结果。这种训练示例的示例可以包括解剖结构的状况的指示，以及指示希望的预测结果的标记。所希望的预测结果可以基于历史数据的分析、基于用户输入(诸如专家意见)等。
另外或者另选地，预测结果可以基于解剖结构上的所估计的接触力来确定。例如，向解剖结构施加过多的力可能导致不太可能的有利结果。例如，可以通过对图像数据进行分析来估计接触力，例如如上所述。在另一示例中，例如，可以从传感器接收接触力，例如如上所述。在一个示例中，响应于第一估计的接触力，可以预测第一结果，并且响应于第二估计的接触力，可以预测第二结果，第二结果可以不同于第一结果。在另一示例中，可以使用训练示例来对机器学习模型进行训练，以基于解剖结构上接触力来预测外科手术的结果，并且可以将经训练的机器学习模型用于基于所估计的接触力来预测结果。这种训练示例的示例可以包括接触力的指示，以及指示希望的预测结果的标记。所希望的预测结果可以基于历史数据的分析、基于用户输入(诸如专家意见)等。
确定预测结果可以以各种方式执行。确定预测结果可以包括使用机器学习模型，该机器学习模型是基于历史外科手术视频以及指示与历史外科手术视频相对应的外科手术结果的信息进行训练来确定预测结果的。例如，可以使用人工神经网络对接收到的第一事件的图像数据进行分析，该人工神经网络被配置成根据图像和/或视频来预测外科手术的结果。作为另一示例，确定预测结果可以包括：基于接收到的图像数据来识别第一事件，并且向与第一事件相关的信息应用模型(例如，统计模型或机器学习模型)以预测结果。这样的模型可以接收输入，包括与第一事件相关的信息(例如，第一事件的标识符、第一事件的持续时间和/或第一事件的其它特性，诸如外科手术接触力)和/或与外科手术相关的信息(例如，患者特征、外科医生的技能水平或其它信息)。基于诸如上面提供的示例的输入，该系统可以返回预测结果作为输出。
所公开的实施方式可以包括从被设置成拍摄外科手术的图像的至少一个图像传感器接收与外科手术期间的第二事件相关联的图像数据，与所公开的实施方式一致。第二事件可以在第一事件之后发生并且可以不同于第一事件。可以接收与第二事件相关联的至少一个时间点。用于拍摄与第二事件相关联的数据的图像传感器和被用于拍摄与第一事件相关联的数据的图像传感器可以相同也可以不同。
所公开的实施方式可以包括基于接收到的与第二事件相关联的图像数据，来确定预测结果的使预测结果降低到阈值以下的变化。例如，使用上面描述的确定预测结果的方法中的任一方法，可以确定新的预测结果并且与先前确定的预测结果(诸如基于接收到的与第一事件相关联的图像数据确定的预测结果)进行比较，从而确定预测结果的变化。在另一示例中，新的预测结果可以基于先前确定的预测结果(诸如基于接收到的与第一事件相关联的图像数据确定的预测结果)以及接收到的与第二事件相关联的图像数据的分析来确定。例如，可以使用训练示例来对机器学习模型进行训练，以基于先前的预测结果以及图像和/或视频来确定新的预测结果，并且可以将经训练的机器学习模型用于分析先前确定的预测结果以及接收到的与第二事件相关联的图像数据，来确定新的预测结果。这种训练示例的示例可以包括先前确定的预测结果和描绘事件的图像数据，以及指示新的预测结果的标记。在另一示例中，可以将Markov模型用于更新先前确定的预测结果并获得新的预测结果，其中，在Markov模型中的转换可以基于通过分析接收到的与第二事件相关联的图像数据而确定的值。如所讨论的，预测结果可以包括概率、置信度和/或反映结果的特性(诸如术后健康状态)的评分(例如，LUT结果评分)。确定预测结果的变化可以涉及这种置信度、概率或评分的变化。在一些示例中，可以在不计算新的预测结果的情况下确定预测结果的变化。例如，可以使用训练示例来对机器学习模型进行训练，以基于先前的预测结果以及图像和/或视频来确定预测结果的变化，并且可以将经训练的机器学习模型用于分析先前确定的预测结果以及接收到的与第二事件相关联的图像数据，来确定预测结果的变化的出现。这种训练示例的示例可以包括先前确定的预测结果和描绘事件的图像数据，以及指示预测结果是否已经响应于第二事件而发生改变的标记。
在一些实施方式中，置信度、概率和/或评分的变化可以导致预测结果低于阈值(例如，阈值置信度、阈值概率、阈值评分)。这种阈值可以使用人工智能方法自动生成、可以基于用户输入来确定、等等。阈值可以对应于消极结果(诸如再入院、并发症、死亡或任何其它不希望的不测事件)或者对应于积极结果。
在一些例示性实施方式中，确定预测结果的变化可以基于两个标记之间的经过的时间。例如，切口与缝合之间的超过阈值的持续时间可以用作增加的感染可能性的指示符。例如，响应于第一经过的时间，可以确定预测结果的变化，并且响应于第二经过的时间，可以确定预测结果无变化。
在一些示例中，可以例如使用统计方法、使用机器学习方法等，来使两个或更多个变量与积极结果或消极结果相联系。该变量是无穷尽的。这种变量可以涉及患者的状况、外科医生、手术的复杂性、并发症、所使用的工具、在两个或更多个事件之间经过的时间、或者可以对预测结果具有一些直接或间接影响的任何其它变量或变量组合。一个这样的可变可以是流体泄漏(例如，量值、持续时间或所确定的源)。例如，确定预测结果的变化可以基于出血的量值。流体泄漏时间的特征(例如，出血的量值、出血源)可以基于图像数据的分析来确定。
所公开的实施方式可以包括：确定图像数据中描绘的外科医生的技能水平，并且确定预测结果的变化可以基于技能水平。例如，确定预测结果的变化可以基于外科医生的技能水平的经更新的估计(例如，图像分析可以确定外科医生已经生产生了一个或更多个错误，导致技能水平的估计下降)。作为另一示例，先前确定的预测结果可以基于第一外科医生的技能水平，并且预测结果的变化可以基于插手协助的第二外科医生的技能水平。技能水平可以通过各种方式确定，如本文所描述的(例如，经由如上所述的图像分析和/或通过从数据结构中取回技能水平)。
作为附加示例，确定预测结果的变化可以基于解剖结构的至少一部分的颜色、纹理、尺寸、状况或者其它外观或特征的一个或更多个变化。解剖结构的可以被用于结果预测的状况的示例可以包括：活力、氧合水平、水合水平、危难水平和/或解剖结构的状态的任何其它指标。
解剖结构的状况可以通过多种方式确定，诸如通过利用已知状况的示例进行训练的机器学习模型。在一些实施方式中，对象识别模型和/或图像分类模型可以使用历史示例进行训练并且被实现成确定解剖结构的状况。训练可以是有监督的和/或无监督的。上面描述了用于确定解剖结构的状况的方法的一些其它非限制性示例。
实施方式可以包括基于解剖结构的状况和/或任何其它输入数据来确定预测结果的多种方法。例如，回归模型可以拟合包括解剖结构的状况和结果的历史数据。更一般地，使用历史数据，回归模型可以进行拟合以基于多种输入数据中的一个或更多个输入数据来预测结果，该输入数据包括解剖结构的状况、患者特征、外科医生的技能水平、估计的接触力、流体泄漏的来源、流体泄漏特征的程度和/或与外科手术相关的任何其它输入数据。结果可以基于其它已知的统计分析来进行预测，例如包括基于与外科手术相关的输入数据与结果数据之间的相关性。
所公开的实施方式可以包括：访问基于在先外科手术的图像相关数据的数据结构，与所公开的实施方式一致。访问可以包括从数据结构读取数据和/或将数据写入数据结构。在一些实施方式中，这可以使用诸如图17呈现的数据结构或者诸如图6呈现的数据结构来完成。图像相关数据可以包括从图像直接或间接导出的任何数据。该数据例如可以包括：患者特征、外科医生特征(例如，技能水平)和/或外科手术特征(例如，外科手术的标识符、外科手术的预期持续时间)。图像相关数据可以包括描述历史术中外科手术事件与历史结果之间的统计关系的相关性或其它数据。在一些实施方式中，数据结构可以包括：与所建议的动作相关的数据、另选动作过程、和/或可以改变外科手术结果的概率、可能性或置信度的其它动作。例如，数据结构可以包括使外科手术的中断与改善的结果相联系的信息。根据实现，数据结构可以包括使外科医生的技能水平、请求来自另一外科医生的协助以及结果相联系的信息。类似地，数据结构可以存储外科手术事件、动作(例如，补救动作)以及结果之间的关系。虽然可以如贯穿本公开讨论地将大量相关性模型用于预测，但是，示例性预测模型可以包括：拟合历史图像相关数据(例如，与补救动作相关的信息)和结果的统计模型；以及机器学习模型，该机器学习模型被使用基于历史示例的训练数据进行训练，以基于图像相关数据来预测结果。
所公开的实施方式可以包括基于所访问的图像相关数据来识别建议的补救动作。例如，所建议的补救动作包括建议外科医生使用不同的工具或手术；施用药品、请求来自另一外科医生的协助、对外科手术进行修正、离开外科手术去休息一下(例如，变得清醒)和/或采用可能影响结果的任何其它动作。当所建议的补救动作包括请求协助的提议时，该提议可以建议召唤比操作的外科医生具有更高或不同的经验水平的外科医生。外科医生修正外科手术的补救动作可以包括：建议执行附加动作而非外科手术的先前部分，或者避免某些预期动作。
识别补救动作可以基于至少部分地从图像相关数据导出的、补救动作很可能将预测结果提升到高于阈值的指示。例如，数据结构可以包含历史补救动作与预测结果之间的相关性，并且可以基于该相关性来识别补救动作。在一些实施方式中，识别补救动作可以包括使用机器学习模型，该机器学习模型是使用补救动作和外科手术结果的历史示例进行训练来识别补救动作的。训练可以是有监督的或者无监督的。例如，可以使用训练示例来对机器学习模型进行训练，以识别补救动作，并且训练示例可以基于补救动作和外科手术结果的历史示例的分析。
所公开的实施方式可以包括输出所建议的补救动作。输出所建议的补救动作可以包括将建议发送给装置、使通知显示在界面上、播放声音、提供触觉反馈、和/或传达希望的消息的任何其它方法，而不管发送给手术室、与外科医生(例如，人类外科医生和/或外科手术机器人)相关联的装置和/或任何其它系统。例如，输出所建议的补救动作可以包括：将通知发送给计算机、移动装置、外部装置；外科手术机器人和/或任何其它计算装置。
此外，在一些实施方式中，一种方法可以包括以下步骤：响应于预测结果降低到阈值以下，对与和外科手术相关的手术室相关联的调度记录进行更新。例如，外科手术的预期持续时间的变化可以触发调度记录的自动化改变，使得对下一患者的外科手术在时间上推后，以考虑到目前手术的延迟。更一般地，可以将任何预测结果的变化与预期持续时间的增加或减少相关联。在一些实施方式中，数据结构(例如，图17的数据结构)可以使预测结果与相应的外科手术的预期持续时间相联系。可以将模型(例如，回归模型或者经训练的机器学习模型)用于基于预测结果来生成预期持续时间，与本实施方式一致。因此，如果预测结果变化影响了外科手术的持续时间，则外科手术时间表可以进行自动更新，以向随后的医务人员通知手术室时间表的变化。该更新可以自动地显示在电子手术室调度板上。另选地或者另外，该更新可以经由电子邮件或者其它消息传递应用(app)广播给与受影响的医疗专业人员相关联的账号。可以使调度与所讨论的预测结果相联系，但也可以与其它因素相联系。例如，即使预测结果发生改变，对外科手术的视频短片执行的机器视觉分析也可以揭示外科手术比调度落后(或者比调度提前)，并且可以自动地推送对调度的更新，如先前所讨论的。
图31是例示与所公开的实施方式一致的更新外科手术期间的预测结果的示例过程3100的流程图。可以由至少一个处理器(诸如一个或更多个微处理器)来执行过程3100。在一些实施方式中，过程3100不一定限于所例示的步骤，并且本文所描述的各种实施方式中的任一实施方式也可以被包括在过程3100中。如本领域技术人员应意识到，过程3100的步骤可以由例如包括系统1401的组件的系统来执行。在一些实施方式中，一种非暂时性计算机可读介质包含指令，该指令在由至少一个处理器执行时，使所述至少一个处理器根据过程3100执行更新预测结果的操作。在一些实施方式中，可以在外科手术期间实时执行过程3100。
在步骤3102，该过程可以包括：从被设置成拍摄外科手术的图像的至少一个图像传感器接收与该外科手术期间的第一事件相关联的图像数据，与所公开的实施方式一致。可以将图像传感器定位在手术室中的任何地方(例如，患者上方、患者体内)，如先前所讨论的。
在步骤3104，该过程可以包括：基于接收到的与第一事件相关联的图像数据，来确定与该外科手术相关联的预测结果，如先前所讨论并且利用示例所例示的。如所讨论的，例如，确定预测结果可以包括：识别外科手术工具与解剖结构之间的交互，以及基于所识别的交互来确定预测结果。确定预测结果可以基于图像数据中描绘的外科医生的技能水平。在一些实施方式中，确定预测结果可以基于图像数据中描绘的解剖结构的状况，并且可以包括使用机器学习模型，该机器学习模型是基于历史外科手术视频以及指示与历史外科手术视频相对应的外科手术结果的信息进行训练来确定预测结果的。预测结果的一个示例可以包括再入院的可能性。先前提供了其它示例。
在步骤3106，该过程可以包括：从被设置成拍摄外科手术的图像的至少一个图像传感器接收与该外科手术期间的第二事件相关联的图像数据，如先前所讨论并且利用示例所例示的。
在步骤3108，该过程可以包括：基于接收到的与第二事件相关联的图像数据，来确定预测结果的使预测结果降低到阈值以下的变化，也如先前所讨论的。例如，确定预测结果的变化可以基于在外科手术中的特定点与第二事件之间经过的时间。在其它示例中，确定预测结果的变化可以基于出血的量值、解剖结构的至少部分的颜色变化、解剖结构的至少部分的外观变化。确定解剖结构的状况可以包括：使用利用训练示例训练的机器学习模型，来确定解剖结构的状况。
在步骤3110，该过程可以包括：访问基于在先外科手术的图像相关数据的数据结构，如先前所讨论并且利用示例所例示的。如所提及的，可以访问诸如图17所例示的数据结构的数据结构。这只是一个示例，并且可以采用与所公开的实施方式一致的许多其它类型和形式的数据结构。
在步骤3112，该过程可以包括：基于所访问的图像相关数据来识别建议的补救动作，如先前所描述的。例如，所建议的补救动作可以包括：建议更改外科手术过程、使用不同的外科手术工具、召来另一外科医生、修正外科手术、休息一下和/或可能影响外科手术的结果的任何其它动作。识别补救动作可以包括使用机器学习模型，该机器学习模型是使用补救动作和外科手术结果的历史示例进行训练来识别补救动作的。
在步骤3114，该过程可以包括输出所建议的补救动作，如先前所描述的。
所公开的系统和方法可以涉及对当前和/或历史外科手术短片进行分析，以识别外科手术的特征、患者状况以及用于检测流体泄漏的其它特征。在外科手术期间，流体可能泄漏。例如，血液、胆汁或其它流体可能从解剖结构泄漏。通常，流体泄漏的来源和程度可能是未知的。如果不检查，则流体泄漏可能导致消极的健康结果。因此，本公开的各方面涉及自动且有效地确定外科手术期间的流体泄漏的来源和/或程度的非常规方法。
根据本公开，可以提供用于分析外科手术期间的流体泄漏的系统、方法以及计算机可读介质。分析可以在进行中的外科手术期间实时执行。实施方式可以包括实时地向外科医生提供与流体泄漏相关的信息。例如，流体泄漏的分析可以使得外科医生能够识别流体泄漏的量值和/或来源、从而可使外科医生能够执行减轻流体泄漏的补救动作。流体泄漏可以包括从器官或组织的内部到组织或器官外部的空间的流体泄漏(例如，从血管内部到外部、从胆囊内部到外部等)。泄漏的流体可以包括血液、胆汁、食糜、尿液和/或任何其它类型的体液。
外科手术期间的流体泄漏的分析可以包括实时接收外科手术的腔内视频，与所公开的实施方式一致。腔内视频可以通过位于患者体内的图像传感器来进行拍摄，与所公开的实施方式一致。例如，位于患者体外的图像传感器可以收集腔内视频(例如，当在外科手术期间将腔打开时)。实时接收腔内视频可以包括经由网络或者直接从图像传感器接收视频。
与本实施方式一致，腔内视频可以描绘外科手术的各个方面。例如，腔内视频可以描绘执行外科手术的一些或全部的外科手术机器人和/或人类外科医生。腔内视频可以描绘：医疗器械、解剖结构、流体泄漏情形、外科手术事件和/或外科手术的任何其它方面，与所公开的实施方式一致。
外科手术期间的流体泄漏的分析可以涉及对腔内视频的帧进行分析，以确定该腔内视频中的异常流体泄漏情形，与所公开的实施方式一致。帧进行分析可以包括使用任何图像分析方法来确定异常流体泄漏。例如，对图像进行分析可以包括：使用单应性方法、应用图像配准技术和/或其它图像处理方法来对差异图像(例如，通过将前一图像的像素数据与随后图像的像素数据相减而生成的图像)进行分析。分析可以采用对象识别模型、机器学习模型、回归模型和/或任何其它模型。可以使用包括历史示例的训练数据对这样的模型进行训练，以确定异常流体泄漏情形。例如，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中检测异常流体泄漏情形和/或确定异常流体泄漏情形的特性，并且可以将经训练的机器学习模型用于对腔内视频进行分析并确定异常流体泄漏情形和/或异常流体泄漏情形的特性。此类特性的一些非限制性示例可以包括：流体的类型、流体泄漏的量值、流体泄漏的位置、与流体泄漏相关的解剖结构等。这种训练示例的示例可以包括腔内图像和/或腔内视频，以及指示是否在腔内图像和/或腔内视频中描绘异常流体泄漏情形的标记，和/或以及指示在腔内图像和/或腔内视频中描绘的异常流体泄漏情形的特性的标记。
确定异常流体泄漏情形(即，异常流体泄漏事件)可以包括确定流体泄漏的各方面、包括解剖结构之中或之上的流体的存在、高于阈值的流体泄露量值(例如，高于预定量、高于许多标准偏差)、流体类型(例如，血液、胆汁、尿液、食糜和/或其它类型)、流体泄漏的位置源和/或流体泄漏情形的任何其它特征。一些流体泄漏可能是正常的(例如，低于阈值量值、在与正常流体泄漏相关联的位置中，具有特定外科手术事件的正常流体类型等)，而其它流体泄漏是异常的(例如，高于阈值量值、在不希望的位置中、未连接至与正常流体泄漏相关联的外科手术事件、和/或异常流体类型)。
所公开的确定泄漏源的技术可以包括识别破裂的解剖器官、血管和/或其它解剖结构。破裂的解剖结构可以基于流体泄漏特性(例如，量值、流量、流向、颜色或者其它流体泄漏特性)的分析来识别。破裂的解剖结构可以包括：任何器官、血管(例如，动脉)、通道(例如，气管)、组织(例如，衬膜(lining))和/或任何其它解剖结构。如本文所使用的，术语破裂可以指解剖结构的任何折断、撕裂、穿孔或其它损伤。
在一些实施方式中，所识别的破裂解剖结构可以在由手术室(例如图1所描绘的房间)中的图像传感器拍摄的腔内视频的图像帧中可见。另选地或者另外，破裂的解剖结构可能在腔内视频的帧中不可见(例如，它可能被其它解剖结构遮挡)并且它可以基于在帧中反应的信息来识别(例如，与流体泄漏情形血管的信息)。识别破裂的结构可以涉及通过使用回归模型、通过使用机器学习模型、通过执行对象识别方法和/或通过任何其它图像分析方法，来将腔内视频的在先帧与后续帧进行比较。例如，可以使用训练示例来对机器学习模型进行训练，以从腔内图像和/或腔内视频中识别破裂的解剖器官、血管和/或其它解剖结构，并且可以将经训练的机器学习模型用于对腔内视频进行分析以识别破裂的解剖器官、血管和/或其它解剖结构。这种训练示例的示例可以包括腔内图像和/或腔内视频，以及指示是否应当针对该腔内图像和/或腔内视频识别破裂的解剖器官、血管和/或其它解剖结构的标记。
实施方式可以包括：对腔内视频的帧进行分析，以识别血液飞溅以及血液飞溅的至少一个特性。血液飞溅可以指的是血液的存在和/或血液的泄漏。识别血液飞溅可以基于腔内视频的颜色数据。在一些实施方式中，可以将血液飞溅的特性与血液飞溅的来源、血液飞溅的强度(速率)、血液飞溅的颜色、血液飞溅的粘度和/或血液飞溅的体积(量值)相关联。更一般地，血液飞溅的特性可以包括血液飞溅的任何特征。例如，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中识别血液飞溅和/或确定血液飞溅的特性，并且可以将经训练的机器学习模型用于对腔内视频进行分析以识别血液飞溅和/或血液飞溅的特性。血液飞溅的此类特性的一些非限制性示例可以包括：血液飞溅的来源、血液飞溅的强度、血液飞溅的速率、血液飞溅的颜色、血液飞溅的粘度、血液飞溅的体积、血液飞溅的量值等。这种训练示例的示例可以包括腔内图像和/或腔内视频，以及指示是否在腔内图像和/或腔内视频中描绘血液飞溅的标记，和/或指示在腔内图像和/或腔内视频中描绘的血液飞溅的特性的标记。
实施方式可以包括：对腔内视频的帧进行分析，以识别血液的喷射和/或识别血液喷射的至少一个特性。在一些示例中，识别血液喷射可以基于腔内视频的颜色数据、基于腔内视频内的运动等。在一些实施方式中，可以将血液喷射的特性与血液喷射的来源、血液喷射的强度(速率)、血液喷射的颜色、血液喷射的运动(诸如速度、方向等)和/或所喷射的血液的体积(量值)相关联。更一般地，血液喷射的特性可以包括所喷射的血液的任何特征和/或所述喷射的任何特征。例如，可以使用训练示例来对机器学习模型进行训练，以从图像和/或视频中识别血液喷射和/或确定血液喷射的特性，并且可以将经训练的机器学习模型用于对腔内视频进行分析以识别血液喷射和/或血液喷射的特性。这种训练示例的示例可以包括腔内图像和/或腔内视频，以及指示是否在腔内图像和/或腔内视频中描绘血液喷射的标记，和/或指示在腔内图像和/或腔内视频中描绘的血液喷射的特性的标记。
此外，对腔内视频的帧进行分析可以包括：确定异常流体泄漏情形的特性。例如，特性可以与流体泄漏的体积、流体泄漏的颜色、与流体泄漏相关联的流体类型、流体泄漏率、流体的粘度、流体的反射率和/或流体的任何其它可观测特征相关联。此外，对帧进行分析可以包括：确定与流体泄漏情形相关联的流量、确定与流体泄漏情形相关联的流体流失量，和/或确定流体泄漏情形的任何其它特性。流体或流体泄漏情形的特性可以基于色调、饱和度、像素值和/或其它图像数据来确定。更一般地，确定流体或流体泄漏情形的特性可以包括任何图像分析方法，如本文所公开的。例如，确定流体或流体泄漏情形的特性可以包括使用经训练的机器学习模型，如上所述。
与本实施方式一致，流体泄漏分析可以包括存储腔内视频，并且在确定当前视频中的异常泄漏情形时，对所存储的腔内视频的在先历史帧进行分析，以例如经由比较来确定泄漏源，与所公开的实施方式一致。可以将腔内视频存储在存储器中、数据结构(例如，图17A的数据结构)中，等等。例如，异常泄漏情形可以在泄漏的流体的量高于选定量(例如，高于被用于区分异常泄漏情形与正常泄漏情形的选定阈值)时确定，并且在该点，泄漏源可能在当前视频中不可见(例如，泄漏源可能被泄漏的流体覆盖、可能处于当前视频的当前视场之外，等等)。然而，泄漏源可能在所存储的腔内视频的在先历史帧中可见，并且可以对所存储的腔内视频的该在先历史帧进行分析以识别泄漏源，例如如上所述。在另一示例中，异常泄漏情形可以通过使用第一算法对当前视频进行分析来确定，并且在该点，泄漏源可能在当前视频中不可见。响应于这种确定，可以将第二算法(该第二算法可以比第一算法在计算上更密集或者在其它方面不同)用于对所存储的腔内视频的在先历史帧进行分析以识别泄漏源，该泄漏源可能在所存储的腔内视频的在先历史帧中可见。在又一示例中，触发(诸如用户输入、当前视频中检测到事件、来自被连接至经受外科手术的患者的传感器的输入等)可以导致对当前视频的分析，以确定异常泄漏情形。此外，在一些示例中，响应于这种确定，可以对所存储的腔内视频的该在先历史帧进行分析，以识别泄漏源，例如如上所述。
分析在先帧以确定泄漏源可以包括：对不同时间点(例如，在两个或更多个时间点)的帧进行比较。例如，实施方式可以包括：生成差异图像(例如，通过将两个不同的时间点的帧的像素数据相减)，以及对生成的差异图像进行分析。在另一示例中，对帧进行分析可以涉及确定不同时间点的流体泄漏情况的特性以及确定特性的变化。
实施方式可以包括在确定异常流体泄漏情形时制定补救动作。补救动作可以包括任何通知、所提议的响应、或者与异常流体泄漏情形相关联的抵抗措施。补救动作可以是相同的，而不管流体泄漏的改变的特征，或者可以基于流体泄漏的改变的特征而改变。在后一情形中，制定补救动作可以包括从各种选项中选择补救动作。因此，在后一情形中，补救动作的选择可以取决于流体泄漏情形的所确定的特性或特征。例如，如果所确定的出血程度低于某一阈值并且识别了出血的来源，则关联的补救动作可以是向出血的来源施加压力的建议或指令。如果检测到更多的显著破裂，则补救动作可以涉及缝合出血的来源的建议或指令。根据与泄漏相关联的流体类型、泄漏的程度以及泄漏情形的特征，许多不同的潜在补救动作都是可以的。为了协助选择恰当的补救动作，数据结构可以存储流体泄漏情形、补救动作以及结果之间的关系。此外，统计模型可以基于历史流体泄漏情形、补救动作以及结果来进行拟合，并且可以基于模型输出来选择补救动作。另选地或者另外，选择可以基于机器学习模型的输出，该机器学习模型被训练以基于历史流体泄漏情形、补救动作以及结果来选择补救动作。在其它示例中，数据结构可以存储流体泄漏情形与所建议的补救动作之间的关系，并且补救动作可以基于流体泄漏情形的特性和/或特征从数据结构中进行选择。这种数据结构可以基于用户输入。例如，响应于具有所识别的泄漏源的流体泄漏情形，可以选择第一补救动作(诸如使用外科手术机器人密封泄漏源)，而响应于没有识别的泄漏源的流体泄漏情形，可以选择第二补救动作(诸如向用户提供通知)。
与本实施方式一致，制定补救动作可以包括提供泄漏源的通知。通知可以包括识别泄漏的来源的消息，诸如破裂的血管、破裂的器官和/或任何其它破裂的解剖结构。例如，通知可以包括：所识别的泄漏解剖结构、流体泄漏特性(例如，体积、流量、流体类型、流体泄漏的持续时间)和/或与流体泄漏情形相关的任何其它信息。此外，通知可以包括可以被采取以补救或者以其它方式响应该泄漏的所提议的动作过程。在另一示例中，通知可以包括泄漏源的视觉指示符，例如作为从外科手术拍摄的图像和/或视频上方的叠加、作为增强现实装置中的指示符、等等。提供通知可以涉及将通知发送给装置、使通知显示在界面处、播放声音、提供触觉反馈、和/或输出诸如上面公开的信息的任何其它方法。可以将通知提供给手术室(例如，如图1所描绘的)中的装置、与外科医生(例如，人类外科医生和/或外科手术机器人)相关联的装置和/或任何其它系统。例如，输出通知可以包括：将通知发送给计算机、移动装置、外部装置；外科手术机器人和/或任何其它计算装置。
在一些实施方式中，补救动作可以包括向机器人发送指令。这种指令可以指导机器人采取补救或者协助补救泄漏的动作。另选地或者另外，该指令可以指导机器人停止当前动作过程和/或移到旁边以允许人介入。
补救动作可以基于多种输入。例如，制定补救动作可以基于流量、流体损失量、和/或流体或流体泄漏情形的任何特性，例如如上所述。补救动作可以基于流体或流体泄漏情形的特性的统计分析。例如，补救动作可以基于流体泄漏情形的特性与结果之间的已知(或所确定的)相关性来选择。此外，数据结构(诸如图17A的数据结构)可以使流体泄漏情形的特性与结果相联系。统计分析可以包括：使用回归模型来识别补救动作(例如，使回归模型拟合包括流体泄漏数据、补救动作数据以及结果数据的历史数据)。
与本实施方式一致，对腔内视频的帧进行分析以确定腔内视频中的异常流体泄漏情形可以包括：确定流体泄漏情形是否是异常。一些流体泄漏情形可能是正常的(例如，低于阈值量值、在与正常流体泄漏相关联的位置中，具有特定外科手术事件的正常流体类型等)。一些流体泄漏情形可能是异常的(例如，高于阈值量值、在与异常流体泄漏相关联的位置中，具有特定外科手术事件的异常流体类型等)。可以将被分类为正常和/或异常的流体泄漏情形的特性存储在数据结构(诸如图17A描绘的数据结构)中。确定流体泄漏情形是否异常可以包括：使用回归模型(例如，被拟合历史示例的模型)和/或经训练的机器学习模型(例如，被使用历史示例进行训练以确定所确定的流体泄漏情形是否异常的模型)。例如，可以使用训练示例来对机器学习模型进行训练，以基于与流体泄漏情形相关的信息(诸如流体泄漏情形的图像和/或视频、如上所述的通过对描绘流体泄漏情形的视频进行分析而确定的流体泄漏情形的特性、流体泄漏情形的来源、泄漏量、流体泄漏情形的类型、流体类型、患者的特征、泄漏情形所发生于的外科手术阶段等)来确定流体泄漏情形是正常还是异常，并且可以将经训练的机器学习模型用于对与流体泄漏情形相关的信息进行分析并确定流体泄漏情形是否异常。这种训练示例的示例可以包括与特定流体泄漏情形相关的信息，以及指示特定流体泄漏情形是否异常的标记。
一些实施方式可以包括：对腔内视频的帧进行分析以确定所检测到的流体泄漏情形的特性，例如如上所述。所确定的特性可以与流体泄漏体积、流体泄漏类型、流体泄漏率、流体泄漏源和/或外科手术的任何其它可观测特征相关联。然后，可以将所确定的特性例如用于查明流体泄漏是正常还是异常。对帧进行分析以确定这种特性可以包括如本文所描述的任何图像分析方法。
在一些实施方式中，确定流体泄漏情形是否为异常流体泄漏情形可以基于血压的测量结果和/或经历外科手术的患者的任何其它生命体征。该生命体征可以通过本文所描述的图像分析技术从外科手术视频导出，和/或从被配置成测量生命体征的传感器导出。另外，为了使用生命体征作为异常性的可能指示符，异常性可以基于外科手术的任何特征，诸如外科手术事件、外科手术类型和/或外科手术的任何其它方面。例如，响应于经历外科手术的患者的血压的第一测量结果，可以将特定流体泄漏情形确定为正常的，并且响应于经历外科手术的患者的血压的第二测量结果，可以将特定流体泄漏情形确定为异常的。
所公开的实施方式可以包括：响应于确定检测到的流体泄漏情形是异常流体泄漏情形，来制定补救动作。另外，一些实施方式可以包括：响应于确定流体泄漏是正常的，放弃补救动作的制定。放弃补救动作可以包括延迟补救动作一定时段或者无限期地延迟。例如，如果泄漏的分析导致确定不需要补救动作，则可以放弃补救动作。或者，如果补救动作已经开始并且进一步的分析揭示了补救动作是不必要的，则放弃补救动作可以包括提供经更新的通知(例如，通知可以改变所建议的补救动作或者以其它方式呈现与先前通知不同的信息)。
图32是例示与所公开的实施方式一致的使得能够在外科手术期间进行流体泄漏检测的示例过程3200的流程图。可以由至少一个处理器(诸如一个或更多个微处理器)来执行过程3200。在一些实施方式中，过程3200不一定限于所例示的步骤，并且本文所描述的各种实施方式中的任一实施方式也可以被包括在过程3200中。过程3200的步骤可以由例如包括系统1401的组件的系统来执行。在一些实施方式中，过程3200可以在非暂时性计算机可读介质中具体实施，该介质包含指令，该指令在由至少一个处理器执行时，使所述至少一个处理器执行对外科手术期间的流体泄漏进行分析的操作。在一些实施方式中，可以在外科手术期间实时执行过程3200。
在步骤3202，该过程可以包括：实时接收外科手术的腔内视频，与所公开的实施方式一致。实时接收腔内视频可以包括经由网络或者直接从图像传感器接收视频。在一些实施方式中，腔内视频可以描绘执行外科手术的一些或全部的外科手术机器人，如先前所讨论的。
在步骤3204，该过程可以包括：对腔内视频的帧进行分析，以确定该腔内视频中的异常流体泄漏情形，如先前所讨论并且利用示例所例示的。如所讨论的，例如，流体可以包括血液、胆汁、尿液和/或任何其它类型的体液。确定泄漏源可以包括：识别破裂的解剖器官、识别破裂的血管和/或识别任何其它破裂的解剖结构。在一些实施方式中，步骤3204可以包括：对腔内视频的帧进行分析，以识别血液飞溅以及血液飞溅的至少一个特性。可以将血液飞溅的特性与血液飞溅的来源、血液飞溅的强度(速率)、血液飞溅的颜色、血液飞溅的粘度和/或血液飞溅的体积(量值)相关联。对腔内视频的帧进行分析可以包括：确定异常流体泄漏情形的特性。例如，特性可以与流体泄漏的体积、流体泄漏的颜色、与流体泄漏相关联的流体类型、流体泄漏率、流体的粘度、流体的反射率和/或流体的任何其它特性相关联。此外，对帧进行分析可以包括：确定与流体泄漏情形相关联的流量、确定与流体泄漏情形相关联的流体流失量，和/或确定流体泄漏情形的任何其它特性。一种方法还可以包括以下步骤：存储腔内视频，并且在确定异常泄漏情形时，对所存储的腔内视频的在先帧进行分析以确定泄漏源。
在步骤3206，该过程可以包括当确定异常流体泄漏情形时制定补救动作。补救动作的选择例如可以取决于所识别的血液飞溅的至少一个特性。在一些实施方式中，补救动作的选择可以取决于流体泄漏情形的所确定的特性。
所公开的系统和方法可以涉及对外科手术短片进行分析，以识别外科手术期间的、可以影响患者的出院后风险的事件。患者的出院后风险可能需要在外科手术之后、基于外科手术期间的术中事件以及基于患者特征来识别。出院后风险可以通过识别外科手术期间的事件并且使用历史数据以确定所识别的事件如何可以影响患者的出院后风险来加以确定。因此，需要对外科手术短片进行分析并识别在外科手术期间的可能影响患者的出院后风险的事件。
本公开的各方面可以涉及预测外科手术之后的出院后风险，包括方法、系统、装置以及计算机可读介质。
为了便于讨论，下面描述了一种方法，并且对该方法的各方面的理解同样适用于系统、装置以及计算机可读介质。例如，这种方法的一些方面可以通过有线、无线或两者的网络以电子方式发生。这种方法的其它方面可以使用非电子手段发生。在最广泛的意义上，该方法不限于特定的物理和/或电子器械，而是可以使用许多不同的器械来完成。
与所公开的实施方式一致，提供了一种预测出院后风险的方法，该方法可以涉及访问在对患者的特定外科手术期间拍摄的视频帧。如本文所使用的，视频可以包括任何形式的记录的视觉媒体，包括记录的图像和/或声音。例如，视频可以包括由图像拍摄装置(诸如摄像机115、121、123和/或125，如上面结合图1所描述的)拍摄的一个或更多个图像的序列。可以将该图像存储为单独的文件或者可以以组合的格式(诸如视频文件)进行存储，其可以包括对应的音频数据。在一些实施方式中，可以将视频存储为原始数据和/或从图像拍摄装置输出的图像。在其它的实施方式中，可以对视频进行处理。例如，视频文件可以包括：Audio Video Interleave(AVI)、Flash Video格式(FLV)、QuickTime文件格式(MOV)、MPEG(MPG、MP4、M4P或者任何其它格式)、Windows Media Video(WMV)、Material ExchangeFormat(MXF)、或者任何其它合适的视频文件格式。
视频短片可以是指已经由图像拍摄装置拍摄的视频。在一些实施方式中，视频短片可以是指包括一序列图像的视频，该序列的图像是按照它们最初被拍摄时的顺序的。例如，视频短片可以包括尚未进行编辑以形成视频汇编的视频。在其它的实施方式中，视频短片可以通过一种或更多种方式进行编辑，以便去除与外科手术期间的不活动相关联的帧，或者以其它方式汇编最初未按顺序拍摄的帧。访问视频短片可以包括从诸如存储器装置的存储位置取回视频短片。可以从本地存储器(诸如本地硬盘驱动器)访问或者可以从远程源(例如，通过网络连接)访问视频短片。与本公开一致，编索引可以是指按照使得可以更高效和/或更有效地取回数据的方式存储数据的过程。对视频短片编索引的过程可以包括将一个或更多个特性或指示符与视频短片相关联，使得可以基于特性或指示符来标识视频短片。
外科手术可以包括与在患者身体上的手动处置(procedure)或手术处置相关联或涉及的任何医疗手术。外科手术可以包括切割、磨削、缝合或者涉及物理改变身体组织和/或器官的其它技术。外科手术还可以包括对患者进行诊断或者向患者使用药品。此类外科手术的一些示例可以包括：腹腔镜外科手术、胸腔镜手术、支气管镜手术、显微镜手术、开放式外科手术、机器人外科手术、阑尾切除术、颈动脉内膜切除术、腕管松解术、白内障外科手术、剖腹产术、胆囊切除术、结肠切除术(诸如部分结肠切除术、或者全结肠切除术)、冠状动脉血管成形术、冠状动脉搭桥术、清创术(例如伤口、烧伤、或感染)、游离皮肤移植、痔切除术、髋关节置换术、子宫切除术、宫腔镜检查、腹股沟疝修补术、膝关节镜检查、膝关节置换术、乳房切除术(诸如部分乳房切除术、全乳房切除术、或改良根治性乳房切除术)、前列腺切除术、前列腺移除、肩关节镜检查、脊柱外科手术(诸如脊柱融合术、椎板切除术、椎间孔切开术、椎间盘切除术、椎间盘置换术、或椎板间植入物)、扁桃体切除术、人工耳蜗植入手术、脑肿瘤(例如脑膜瘤)切除术、诸如经皮腔内冠状动脉血管成形术的介入手术、经导管主动脉瓣置换术、用于清除脑出血的微创外科手术、或者涉及某一形式切口的任何其它医疗手术。虽然本公开是参照外科手术来进行描述的，但是要理解，它也可以适用于其它形式的医疗手术或者一般的手术。
在一些示例性实施方式中，所访问的视频短片可以包括经由位于手术台上方的位置、患者的外科手术腔中、患者的器官内或者患者的脉管系统内的至少一个中的至少一个图像传感器拍摄的视频短片。图像传感器可以是能够记录视频的任何传感器。位于外科手术台上方位置的图像传感器可以包括被放置在患者体外的图像传感器，该图像传感器被配置成从患者上方拍摄图像。例如，图像传感器可以包括如图1示出的摄像机115和/或121。在其它的实施方式中，可以将图像传感器放置在患者体内，举例来说，如放置腔内。如本文所使用的，腔可以包括物体内的任何相对空的空间。因此，外科手术腔可以是指患者身体内的空间，在该空间中正在执行外科手术或操作。应理解，外科手术腔可以不是完全空的，而是可以包括存在于身体内的组织、器官、血液或其它流体。器官可以是指生物体的任何独立区域或部分。人类患者器官的一些示例可以包括心脏或肝脏。脉管系统可以是指生物体内的系统或血管组。位于外科手术腔、器官和/或脉管系统内的图像传感器可以包括被插入患者体内的外科手术工具上所包括的摄像机。
访问在特定外科手术期间拍摄的视频的帧可以包括：访问所述帧、由所述帧涉及的元数据、所述帧的像素的像素值、基于所述帧的分析的信息等中的至少一个。例如，在特定外科手术期间拍摄的视频的帧可以由从存储器读取信息的计算机化装置来访问，例如由至少一个处理装置进行处理。例如，该处理装置可以使用被配置成对视频数据的各个方面进行分析的机器学习方法来分析所访问的帧，例如如上所述。例如，可以将机器学习方法配置成，通过对视频帧进行分析等来识别视频帧内的事件，或者识别外科手术器械、解剖结构以及外科手术器械与解剖结构之间的交互。在一些情况下，访问视频帧可以包括：由诸如外科医生、麻醉师或者任何其他医护专业人员的医护专业人员来访问所述帧。在一些情况下，视频帧可以由患者、患者的家庭成员或者任何其它被授权方来进行访问。
该公开的各方面可以包括：访问标识术中事件以及关联的结果的所存储的历史数据。如本文所使用的，外科手术的术中事件(也被称为外科手术事件)可以是指作为外科手术的一部分执行的动作，诸如由外科医生、外科技术人员、护士、医生助理，麻醉师、医生、任何其他医护专业人员、外科手术机器人等执行的动作。术中外科手术事件可以是计划的事件，诸如切口、药品的施用、外科手术器械的使用、截除、切除、结扎、移植、缝合、缝补或与外科手术或阶段相关联的任何其它计划的事件。另外或者另选地，术中事件还可以是指发生于解剖结构和/或与外科手术相关的医疗器械的事件，而不管该事件是否包括由医护专业人员执行的动作。这种术中事件的一个示例可以包括解剖结构的状况变化。这种术中事件的另一示例可以包括医疗器械的状态变化(例如，从“部分填满”到“填满”)。
腹腔镜胆囊切除术的示例性外科手术术中事件的示例可以包括：套管针放置、calot三角解剖、夹闭和切断胆囊管和动脉、胆囊解剖、胆囊包装、肝床的清洁和凝固、胆囊收缩等。在另一示例中，白内障外科手术的外科手术事件可以包括：聚维酮碘注射、角膜切口、撕囊术、超声乳化、皮层抽吸、人工晶状体植入、人工晶状体调整、伤口封闭等。在又一示例中，垂体外科手术的外科手术特征事件可以包括：准备、鼻腔切口、鼻子牵开器安装、接近肿瘤、肿瘤移除、鼻柱置换、缝合、鼻部压迫装置等。外科手术特征事件的一些其它示例可以包括：切口、腹腔镜定位、缝合等。
在一些实施方式中，外科手术术中事件可以包括不利的事件或并发症。不利外科手术事件的一些示例可以包括：出血、肠系膜肺气肿、损伤、转为计划外开放外科手术(例如，腹壁切口)、切口明显大于计划的等。术中并发症的一些示例可以包括：高血压、低血压、心动过缓、血氧不足、粘连、疝气、非典型解剖、硬膜撕裂、periorator损伤、动脉梗塞等。在一些情况下，外科手术事件可以包括其它错误，包括：技术错误、通信错误、管理错误、判断错误、判定错误、与医疗设备利用相关的错误、错误传达等。在各种实施方式中，事件可能是短暂的或者可能持续一定的持续时间。例如，短暂的事件(例如，切口)可以被确定为发生在外科手术期间的特定时间，并且延长的事件(例如，出血)可以被确定为发生在某一时间间隔内。在一些情况下，延长的事件可以包括明确的开始事件和明确的结束事件(例如，缝合的开始和缝合的结束)，并且缝合是延长的事件。在一些情况下，延长的事件也被称为外科手术期间的阶段。
在一些情况下，外科手术事件可以标识一组子事件(即，多于一个子事件或步骤)。例如，向患者施用全身麻醉的事件可以包括几个步骤，诸如经IV管线向患者提供药物以诱发无意识的第一步骤，以及施用合适的气体(例如，异氟烷或脱氟烷)以维持全身麻醉的第二步骤。
历史数据可以包括与历史(即，先前执行的)外科手术相关的信息或者基于该历史外科手术的信息。例如，历史数据可以包括：历史外科手术短片、基于历史外科手术短片的分析的信息、来自一个或更多个医护提供者的历史注释、来自医疗装置的历史数据(例如，在历史外科手术期间收集的历史体征信号)、历史音频数据、从各种传感器(例如，图像传感器、化学传感器、温度传感器、电气传感器)收集的历史数据、或者可能与一个或更多个历史外科手术相关的任何其它历史数据。
访问标识术中事件和关联结果的所存储的历史数据可以包括：访问包含有关术中事件和关联结果的信息的数据库。例如，数据库可以包括数据结构，诸如表、数据库或者保持历史术中事件以及与术中事件相关联的历史结果的其它数据组织。例如，术中事件可能是“出血”，并且历史关联结果可能是“贫血”。在一些情况下，一个术中事件可能包括具有不同特征的关联结果。例如，术中事件“出血”可能包括具有第一特征“从16g/dL下降到13g/dL”的第一关联结果“血红蛋白损失”，以及具有第二特征“15g/dL下降到12g/dL”的第二关联结果“血红蛋白损失”。在一些情况下，诸如“出血”的术中事件可以具有第一结果“血红蛋白损失”，以及与第一结果不同的第二结果(例如，“心脏停搏”)。
另外或者另选地，访问标识术中事件以及关联的结果的所存储的历史数据可以包括：通过计算机化装置访问历史数据，该计算机化装置从存储器读取历史数据的至少部分，例如用于通过至少一个处理装置进行处理。历史数据可以包括：历史外科手术短片、有关历史术中事件等的信息以及关联历史结果。在一些情况下，处理所访问的历史数据可以由机器学习模型来执行，该机器学习模型被配置成对历史外科手术短片(以及任何其它历史外科手术数据)的各方面进行分析。例如，可以将机器学习方法配置成通过识别历史外科手术短片中的外科手术器械、解剖结构以及外科手术器械与解剖结构之间的交互，来识别该历史外科手术短片的视频帧内的术中事件。
在一些情况下，访问标识术中事件以及关联的结果的所存储的历史数据可以包括：由外科医生、麻醉师、护士或者任何其他医护专业人员来访问历史数据。在一些情况下，历史数据可以由患者、患者的家庭成员或者被授权访问该历史数据的任何其它方来访问。
在各种实施方式中，可以将机器学习模型用于识别外科手术的所访问的视频帧中的至少一个特定术中事件，例如如上所述。经训练的机器学习模型可以是用于识别事件的图像识别模型。例如，机器学习模型可以对多个视频帧进行分析，以便检测被表示为该视频的帧的图像内的运动或其它变化。在一些实施方式中，图像分析可以包括对象检测算法，诸如Viola-Jones对象检测、卷积神经网络(CNN)或者任何其它形式的对象检测算法。可以将机器学习模型配置成返回事件的名称、事件的类型以及事件的特征。例如，如果事件是切口，则可以将机器学习模型配置成返回用于表征事件的名称“切口”以及切口的长度和深度作为该事件的特征。在一些情况下，可以向机器学习模型提供各种事件的可能名称的预定列表，并且可以将机器学习模型配置成从事件列表中选择名称以用于准确表征事件。
所公开的实施方式的一些方面可以包括：使用机器学习模型来识别至少一个特定术中事件的发生。例如，机器学习模型可以通过识别事件的开始来识别特定术中事件发生。在一些情况下，机器学习方法可以识别事件的特征和/或特定术中事件的结束。
可以使用示例训练数据对机器学习模型进行训练以识别术中事件。示例训练输入数据可以包括外科手术的包括术中事件的历史短片。在各种情况下，训练数据的多个样本可以被生成并且用于训练机器学习模型。在训练过程期间，可以将训练数据(例如，第一训练数据)用作模型的输入数据，并且模型可以执行计算并且输出术中事件的事件标识字符串(例如，事件的名称)。在各种实施方式中，可以将事件标识字符串与对应的术中事件的已知历史名称进行比较，以评估模型的关联误差。如果该误差低于预定阈值，则可以使用其它输入数据来对该模型进行训练。另选地，如果该误差高于阈值，则可以对模型参数进行修改，并且可以使用第一训练数据重复训练步骤。
除了利用机器学习模型进行检测以外或者作为利用机器学习模型进行检测的另选例，可以使用各种其它方法在从图像传感器接收到的视频帧中检测特征事件。在一个实施方式中，特征事件可以在外科手术期间由医疗专业人员(例如，外科医生)识别。例如，外科医生可以使用来自外科医生的视觉或音频信号(例如，手势、身体姿势、由医疗器械产生的光源所生成的视觉信号、说的话或者任何其它合适的信号)来识别特征事件，该视觉或音频信号可以由一个或更多个图像传感器/音频传感器拍摄并且被识别为特征事件的触发。
该公开的各方面也可以包括：基于以下项中的至少一个来识别至少一个特定术中事件：所访问的帧中的检测到的外科手术工具、所访问的帧中的检测到的解剖结构、所访问的帧中的外科手术工具与解剖结构之间的交互、或者所访问的帧中的所检测到的异常流体泄漏情形。
外科手术工具可以是可在外科手术期间使用的任何器械或装置，其可以包括但不限于，切割器械(诸如手术刀、剪刀或锯)、抓握和/或夹持器械(诸如Billroth夹、“蚊式”止血钳、无创止血钳、Deschamp针或Hopfner止血钳)、牵开器(诸如Farabef C形层流钩、钝齿钩、尖齿钩、带槽探头或压实钳)、组织统一器械和/或材料(诸如持针器、外科手术针、吻合器、夹子、胶带或网)、防护设备(诸如面部和/或呼吸防护设备、头套、鞋套或手套)、腹腔镜、内窥镜、患者监测装置等。外科手术工具(还被称为医疗工具或医疗器械)可以包括被用作医疗手术的部分的任何装备或设备。
可以使用任何合适的方式在外科手术视频短片中检测外科手术工具，例如如上所述。
类似地，为了检测外科手术工具，可以使用机器学习模型在外科手术短片中检测解剖结构。解剖结构可以是活生物体的任何特定部分，例如包括器官、组织、管道、动脉或任何其它解剖部分。在一些情况下，假肢、植入物或人工器官可以被认为是解剖结构。
使用机器学习方法检测外科手术工具和/或解剖结构可以是一种可能的方法，例如如上所述。另外或者另选地，可以使用各种其它方法在从图像传感器接收到的外科手术视频短片中检测外科手术工具(或解剖结构)。在一个实施方式中，外科手术工具(或解剖结构)可以在外科手术期间由医疗专业人员(例如，外科医生)识别。例如，外科医生可以通过说出外科手术工具和/或解剖结构的名称来识别外科手术工具(或解剖结构)，使得来自外科医生的音频声音可以被一个或更多个音频传感器拍摄到并且通过基于计算机的语音识别模型(或者通过用于在外科手术期间记录信息的人类操作员)来进行识别。
本公开的一些方面可以涉及对外科手术短片的帧进行分析，以识别医疗工具与解剖结构之间的交互，例如如上所述。例如，外科手术短片的所述帧中的至少一些帧可以指示外科手术短片的正在对解剖结构执行外科手术的一部分。如上面所讨论的，交互可以包括医疗器械的可以影响解剖结构的任何动作，反之亦然。例如，交互可以包括医疗器械与解剖结构之间的接触、医疗器械在解剖结构上的动作(诸如切割、夹紧、抓握、施加压力或刮削)、解剖结构的生理反应、外科手术工具朝着解剖结构发射光(例如，外科手术工具可以是朝着解剖结构发射光的激光器)、朝着解剖结构发射的声音、在解剖结构附近产生的电磁场、在解剖结构中感应的电流、或者任何其它合适的交互形式。
在一些情况下，识别交互可以包括识别外科手术接近解剖结构。例如，通过分析示例外科手术的外科手术视频短片，可以将图像识别模型配置成确定外科手术工具与解剖结构的点(或点集)之间的距离。
本公开的各方面也可以涉及检测所访问的帧中的异常流体泄漏情形，例如如上所述。异常流体泄漏可以包括：出血、尿液泄漏、胆汁泄漏、淋巴泄漏或者任何其它泄漏。异常流体泄漏可以通过对应的机器学习模型来进行检测，该机器学习模型被训练以检测在外科手术期间拍摄的外科手术视频短片内的异常流体泄漏事件。应注意，可以将用于检测外科手术器械的机器学习模型(例如，第一机器学习模型)与用于检测解剖结构的机器学习模型(例如，第二机器学习模型)不同地进行配置和/或训练，并且可以与用于检测异常泄漏的机器学习模型(例如，第三机器学习模型)不同地进行配置和/或训练。此外，可以将第二机器学习模型与第三机器学习模型不同地进行配置和/或训练。在各种实施方式中，配置机器学习模型可以包括：配置(例如，选择)机器学习模型的任何合适的参数。例如，如果机器学习模型是神经网络，则配置神经网络可以包括：选择神经网络的层数、各个层的节点数、神经网络的权重或者神经网络的任何其它合适的参数。
所公开的实施方式的各方面可以包括：对所访问的帧进行分析；并且基于从历史数据获得的信息，识别所访问的帧中的至少一个特定术中事件。如先前所描述的，并且与各种实施方式一致，对所访问的帧进行分析的过程可以通过如上所述的合适的机器学习模型(诸如图像识别算法)来执行，与所公开的实施方式一致。在各种实施方式中，可以将从历史数据获得的信息用于对图像识别算法进行训练，以基于外科手术短片的所访问的帧来识别特定术中事件，如先前所描述的。在一个示例中，历史数据可以包括基于来自历史外科手术的信息和/或视频短片的分析的统计模型和/或机器学习模型(例如如上所述)，并且可以将统计模型和/或机器学习模型用于对所访问的帧进行分析，并且识别所访问的帧中的所述至少一个特定术中事件。
该公开的各方面可以包括：基于从历史数据获得的信息以及所识别的至少一个术中事件，来确定与该特定外科手术相关联的预测结果。例如，数据结构可以包括标识术中事件与预测结果之间的关系的历史数据。可以将这种数据结构用于获得与特定外科手术相关联的预测结果。例如，图32A示出了使用连接n11至n32而连接至可能结果C1至C3的术中事件E1至E3的示例图3200。在示例实施方式中，连接n11可以包括指示结果C1的概率的信息(即，指示结果C1在包括事件E1的外科手术中有多经常发生的信息)。例如，连接n11可以指示假设出现术中事件E1，结果C1可能有30％的时间会发生，连接n12可以指示结果C2可能有50％的时间会发生，以及连接n13可以指示结果C3可能有20％的时间会发生。类似地，假设出现术中事件E2，连接n22可以指示结果C2的概率，以及假设出现术中事件E2，连接n23可以指示结果C3的概率。假设出现术中事件E3，连接n32可以指示结果C2的概率。因此，一旦使用从历史数据获得的信息(例如，使用来自图形C100的信息)获知术中事件，就可以基于被指派给n11至n13的概率来确定最可能的结果(例如，结果C2)。在另一示例中，该历史信息可以包括超图，超图的超边可以连接多个术中事件与结果，并且可以指示包括所述多个事件的外科手术的结果的特定概率。因此，一旦使用从历史数据(例如，从超图)获得的信息获知多个术中事件，就可以基于被指派给超边的概率来确定最可能的结果。在一些示例中，被指派给图C100的边或者超图的超边的概率可以基于历史外科手术的分析，例如，通过计算一组历史外科手术(其包括与特定边或特定超边相对应的特定组的术中事件)的结果的统计概率。在一些其它示例中，历史信息可以包括用于基于术中事件来预测结果的经训练的机器学习模型，并且可以将经训练的机器学习模型用于基于所识别的至少一个术中事件来预测与特定外科手术相关联的结果。在一个示例中，经训练的机器学习模型可以通过使用训练示例对机器学习算法进行训练来获得，并且训练示例可以基于历史外科手术。这种训练示例的示例可以包括术中外科手术事件的列表，以及指示与该术中外科手术事件的列表相对应的结果的标记。在一个示例中，两个训练示例可以具有相同的术中外科手术事件列表，而具有不同的指示不同结果的标记。
在一些情况下，预测结果可以是外科手术之后的特定预测事件。例如，预测结果可以是出院后事故、出院后不利事件、出院后并发症或者再入院的风险估计。在一些情况下，预测结果可以是一组事件。例如，这样的一组事件可以包括评估患者“身心健康”的事件。这些事件在评估患者“身心健康”时可以以特定的时间点(例如，在外科手术之后当天特定几小时、在外科手术之后特定几天、在外科手术之后特定几周、几月、几年或者其它时间间隔)发生。“身心健康”可以使用任何合适的客观量度来进行评估，举例来说，使用诸如CAT扫描的成像、超声成像、目视检查、可以在体检期间确定的并发症的存在、或者用于评估患者身心健康的任何其它合适的方式或测试(例如，经由血检)。身心健康也可以根据诸如通过询问患者描述他/她总体状况的客观量度来加以确定。
基于所确定的术中事件来确定与外科手术相关联的预测结果可以使用统计分析来完成。例如，可以对包含术中事件的过去外科手术(也被称为历史外科手术)的历史外科手术数据进行分析，以确定这种过去外科手术的历史结果。例如，对于给定类型的历史外科手术，可以收集外科手术结果统计，如图32B所示。例如，当不存在术中事件时(例如，当不存在诸如出血、心脏停搏或任何其它不利事件的不利术中事件时)，由柱3211A至3217A表示的概率分布3201A(下文中也被称为概率柱)可以确定对应结果C1至C4的概率。类似地，当存在术中事件(例如，不利的术中事件)时，由概率柱3211B至3217B表示的概率分布3201B可以确定对应的结果C1至C4的概率。在示例实施方式中，结果C1可以对应于特定的出院后事故(例如，纱布的异物被留在患者身体内)，结果C2可以对应于特定的出院后不利事件(例如，出血、疼痛、恶心、紊乱或者任何其它不利事件)，结果C3可以对应于出院后并发症(例如，瘫痪、疼痛、出血或者任何其它并发症)，并且结果C4可以对应于提高的再入院风险。应注意，可以将任何其它合适的结果用于评估外科手术(例如，评估患者在外科手术之后数天“身心健康”的客观量度的结果)。在示例实施方式中，概率柱3211A至3217A以及3211B至3217B的高度可以与对应结果C1至C4的出现概率相关。
在示例实施方式中，术中事件可能影响结果C1至C4的出现概率，如具有与对应柱3211A至3217A不同的高度的柱3211B至3217B所示。在例示性示例中，如果术中事件对应于外科手术期间的心脏停搏，则与结果C2(例如，紊乱)的概率相对应的柱3213B可以高于与当在外科手术期间未检测到术中事件时的结果C2的概率相对应的柱3211B。
在一些情况下，可以将统计分析用于基于确定在外科手术期间可能发生的几种术中事件来确定与该外科手术相关联的预测结果。例如，图33示出了概率分布3201A，该概率分布具有与当不存在不利术中事件时的结果C1至C4的概率相对应的概率柱3211A至3217A(如上所述)。图33还示出了概率分布3201B，该概率分布具有与当在外科手术期间存在标记为“B”的第一不利术中事件时的结果C1至C4的概率相对应的概率柱3211B至3217B。同样地，图33还示出了概率分布3201C，该概率分布具有与当在外科手术期间存在标记为“C”的第二不利术中事件时的结果C1至C4的概率相对应的概率柱3211C至3217C。此外，使用外科手术的统计数据(包括事件“B”和事件“C”，并且事件“B”是在事件“C”开始之前开始的)，可以确定概率分布3201BC，如与结果C1至C4的概率相对应的柱3211BC至3217BC所示。
另外或者另选地，使用外科手术的统计数据(包括事件“B”和事件“C”，并且事件“B”是在事件“C”开始之后开始的)，可以确定概率分布3201CB，如与结果C1至C4的概率相对应的柱3211CB至3217CB所示。应注意，可以使用根据事件“B”和/或“C”和/或其组合的各种特征的合适统计数据来确定其它的概率分布(除了分布3201B、3201C、3201BC以及3201CB以外)。例如，事件特征可以包括事件的持续时间、事件的开始时间、事件的完成事件或者任何其它合适的特征(例如，如果事件是切口，则事件特征可以是切口的长度；如果事件是心脏停搏，则事件特征可以是在心脏停搏期间的血压值；或者任何其它合适的特征)。图34通过在三维笛卡尔坐标系中标绘与结果C1至C4的概率相对应的柱3411至3417的高度，示出了概率分布如何受事件特征影响的示例实施方式。如图34所示，一个轴是结果C1至C4的概率，另一轴表示结果(例如，结果C1至C4)，并且第三轴表示术中事件的“事件特征”并且用数值(下文中被称为事件特征值)表示，举例来说，如作为切口的术中事件的切口长度。图34示出了柱3411至3417的柱高度可以随着事件特征值的改变而连续改变，而在其它示例中，事件特征值可以是离散的。对于给定事件特征值(例如，图34所示的V1)，与事件特征V1的情况下的结果C3的概率相对应的示例柱(例如，3415)的高度值(例如，H1)可以使用柱3415的附近高度值被插值(在对于值V1而言不知道高度H1时)。
该公开的各方面可以包括：基于患者的特征、电子医疗记录或者术后外科手术报告中的至少一个来确定预测结果。患者特征可以包括直接或间接表征该患者的年龄、性别、体重、身高和/或任何信息(例如，患者是否有可以照顾该患者的亲属可以是间接影响外科手术的预测结果的特征)，以这种特征可能影响外科手术的预测结果的程度为限。上面描述了患者特征的一些其它非限制性示例。在一个示例中，可以将类似的量度用于(例如，在历史数据中)识别与特定外科手术相似的外科手术(例如，使用k最近邻算法、使用穷举搜索算法等)，并且可以将所识别的相似外科手术用于确定预测结果，例如通过计算所识别的相似外科手术的结果的统计函数(诸如均值、中值、模等)。相似性量度可以基于以下项中的至少一个：患者的特征、电子医疗记录、术后外科手术报告、在外科手术中发生的术中事件、外科手术的阶段持续时间等。
电子医疗记录(或者任何其它合适的医疗记录，诸如纸质医疗记录)可以包含患者的医疗信息(例如，患者先前的外科手术、患者的先前或目前疾病、患者的过敏症、患者父母的疾病、患者兄弟姐妹的疾病、患者的心理健康或者有关患者的任何其它医疗信息)。医疗信息可以以任何合适的方式进行组织(例如，可以使用表、链接的列表或者任何其它合适的数据结构来组织该信息)。在一些情况下，可以将与患者相关的其它(非医疗)信息(例如，患者的位置、饮食、宗教、种族、职业、健身记录、婚姻状况、饮酒或抽烟史或者以前的用药史)包含(记录)在电子医疗记录中。在各种实施方式中，可以将电子医疗记录中的这种信息用于确定外科手术的预测结果。
在各种实施方式中，还可以将术后外科手术报告用于确定外科手术的结果。术后外科手术报告可以包括与外科手术相关的任何合适的信息。例如，该报告可以包括：外科手术的名称、患者特征(如上面所讨论的)；患者的医疗历史(包括患者的医疗报告、与患者相关的其它信息，如上面所讨论的)；关于在外科手术期间发生的外科手术事件的信息(包括关于过程中外科手术事件的信息，诸如在外科手术期间采取的动作)；以及关于不利的或正面的外科手术事件的信息。在示例实施方式中，外科手术事件可以包括由外科医生执行的诸如切口、缝合或任何其它活动的动作。不利的外科手术事件可以包括可能负面地影响外科手术和外科手术的预测结果的任何事件，诸如出血、组织破裂、血栓、心脏停搏或者任何其它不利的外科手术不测事件。正面的外科手术事件可以包括确定外科手术的至少一些步骤可能不是必需的。另外，如果在外科手术期间，确定患者没有肿瘤，则移除肿瘤可能不是必需的。在各种实施方式中，术后外科手术报告的信息可以包括描绘外科手术的外科手术短片、音频数据、文本数据、或者在外科手术之前、期间或之后记录的任何其它合适的数据。
在各种实施方式中，基于患者的特征、电子医疗记录或者术后外科手术报告中的至少一个来确定预测结果可以通过基于多个参数(诸如患者特征、在电子医疗记录中或各种事件中找到的医疗历史数据以及在术后外科手术报告中描述的事件特征)对历史外科手术结果进行分析来实现。
在各种实施方式中，确定预测结果可以包括使用机器学习模型(本文中也被称为基于事件的机器学习模型)，该机器学习模型被基于术中事件进行训练以确定与特定外科手术相关联的预测结果。另外，基于事件的机器学习模型可以被基于多种其它参数(诸如患者特征、患者的医疗历史、施用外科手术的一个或更多个医护专业人员的特征或者任何其它合适的参数)(术中事件除外)来预测外科手术结果。
图35A示出了采取输入3510并且输出外科手术的预测结果3515的示例基于事件的机器学习模型3513。输入3510可以包括如图35B所示的参数3523，诸如患者特征以及来自如先前所讨论的医疗记录的信息。此外输入3510可以包括来自术后外科手术报告的信息，其可以包括事件数据3521，如图35B所示。在示例实施方式中，事件数据3521可以包括事件列表(例如，事件E1至EN)，以及与事件E1至EN相对应的外科手术短片段V1至VN。此外，图35B中的数据3521可以包括事件开始事件T1A至T1NA以及完成时间T1B至TNB。外科手术短片(例如，V1)可以是外科手术的与事件(例如，E1)相对应的帧集合。在示例实施方式中，对于示例外科手术，事件E1可以是短暂事件(例如，切口)，对此，T1A和T1B可能是大约同一时间；事件E2可以是扩展事件(例如，缝合)，对此，T2A是缝合开始的时间，而T2B是缝合结束的时间；以及事件EN可以是施用药物以反向麻醉的过程，具有对应的开始时间TNA和完成时间TNB。
在各种实施方式中，基于事件的机器学习方法可以使用训练示例来进行训练，例如如上所述。例如，训练示例可以基于历史数据。在另一示例中，训练示例可以包括与外科手术相关的信息(例如如上所述)，以及指示结果的标记。
所公开的实施方式的各方面可以包括：使用经训练的机器学习模型基于所识别的术中事件以及患者的所识别的特征预测外科手术结果，来确定预测结果。例如，术中事件可能是“切口”，并且患者的所识别的特征之一可能是“65岁老年女性”。在示例实施方式中，可以将所识别的术中事件以及患者的一个或更多个识别的特征用作经训练的机器学习模型的输入数据。例如，输入数据可以是输入3510，如图35B所示。在一些情况下，除所识别的术中事件以及患者的识别的特征外，经训练的机器学习模型的附加输入数据还可以包括医护专业人员数据、患者医疗数据以及对外科手术的结果产生影响的任何其它合适的数据。例如如上所述，基于事件的模型可以使用可以包括或者基于历史事件的各种训练数据来进行训练。如上所述，所公开的实施方式可以包括使用经训练的机器学习模型来预测外科手术结果。在各种实施方式中，所预测的外科手术结果可以是不同的结果集合的概率分布，举例来说，如图33所示的标绘图3201A所示。
用于预测出院后风险的实施方式的各方面还可以包括：识别患者的特征以及基于所识别的患者特征来确定与外科手术相关联的预测结果。基于所识别的患者特征的与外科手术相关联的预测结果可以使用合适的机器学习模型来加以确定，举例来说，如图35A所示的模型3513。
在一些实施方式中，所识别的患者特征可以基于术前患者数据(例如，术前血检值、术前体征信号或者任何其它术前特征)。另外或者另选地，所识别的患者特征可以基于术后患者数据(例如，术后血检值、术后体征信号、术后体重或者任何其它术后特征)。
在各种实施方式中，识别患者特征可以包括：使用机器学习模型来对所访问的外科手术短片的帧进行分析。示例机器学习模型可以是如先前所描述的图像识别算法，其用于识别在外科手术期间拍摄的外科手术视频短片的帧内的特征。例如，可以将图像识别算法用于识别诸如以下项的特征：正在进行手术的解剖结构的尺寸、患者的体型、患者的估计年龄、患者的性别、患者的种族或者与患者相关的任何其它特征。例如如上所述，可以使用历史外科手术(包括相关的历史外科手术视频短片)和对应的历史患者特征的训练示例，对用于识别患者特征的机器学习模型进行训练，以识别患者特征。用于识别患者特征的机器学习方法的训练可以使用任何合适的方法，如上所述。在各种实施方式中，训练机器学习方法可以使用基于具有标记的历史外科手术短片的训练示例，该标记基于输出与该历史外科手术短片相对应的一个或更多个患者特征。
另外或者另选地，标识患者特征可以从电子医疗记录导出。例如，电子医疗记录可以使用基于合适的计算机的软件应用来读取(或分析)，并且患者特征可以从所读取(分析的)数据识别。例如，如果电子记录包括“James是患肺病的65岁白人男性”，则基于计算机的软件应用可以识别由示例记录表示的患者特征，诸如“年龄：65”、“名字：James”、“性别：男”、“医疗状况：肺病”和/或“种族：白人”。
用于预测出院后风险的实施方式的各方面还可以包括：接收标识在外科手术之后的实现的外科手术结果的信息(本文中也被称为术后信息)，并且通过使用接收到的信息对机器学习模型进行训练来更新该机器学习模型。例如，可以将在先机器学习算法和/或强化机器学习算法用于基于接收到的信息来对机器学习模型进行更新。在示例实施方式中，接收术后信息可以包括：接收在外科手术之后的体检期间的视觉或音频数据、接收在外科手术之后的实验室结果(例如，血检结果、尿检结果、医学成像数据或者任何其它合适的检验)、接收与患者的生命体征(例如，患者的脉搏、患者的血压或者任何其它生命体征)相关的数据、和/或接收来自医护提供者(例如，对患者进行体检的医生)的注释。在一些情况下，可以将接收到的术后信息用于确定实现的外科手术结果。例如，接收到的信息可以由医护提供者(例如，医生)进行分析，并且该医生可以识别所实现的外科手术结果(例如，所实现的外科手术结果可以包括由该医生确定患者不需要任何更多的医疗介入)。另选地，接收到的术后信息可以被合适的结果确定机器学习模型用于确定实现的外科手术结果。在各种实施方式中，将术后信息作为输入的结果确定机器学习模型可以不同于用于预测外科手术的结果的机器学习模型，该用于预测外科手术的结果的机器学习模型基于在外科手术期间获得的信息以及诸如患者特征、医护提供者特征或者患者得到医疗历史的其它相关信息来预测外科手术的结果，如上所述。
在各种实施方式中，可以将接收到的信息用于确定实现的外科手术结果，并且用于基于所识别的术中事件和所识别的患者特征来预测外科手术结果的机器学习模型可以通过使用接收到的标识实现的外科手术结果的信息对该机器学习方法进行训练来加以更新。机器学习方法的训练可以使用任何合适的方法，如上所述。
在一些实施方式中，用于预测外科手术结果的机器学习模型的输出可以是预测结果的概率。在一些情况下，该模型可以通过对由该模型输出的概率与根据历史外科手术的历史外科手术数据(例如，历史外科手术短片数据)推断出的预测结果的对应概率进行比较来训练。例如，使用各种历史外科手术数据，可以获得针对给定类型的外科手术的外科手术的给定结果的历史概率。在一些情况下，可以将历史偏差(即，历史外科手术与外科手术的所建议的事件序列之间的偏差)用于确定历史偏差如何影响给定结果的历史概率的变化。
可以将历史概率值与由机器学习方法返回的概率值进行比较，以确定该方法的误差。在各种实施方式中，如果由机器学习方法返回的预测结果是概率或概率向量，则合适的量度可以是概率与历史概率之间的差异或者概率向量与历史概率向量之间的差异。例如，可以将概率向量用于确定一组事件的预测结果的概率。例如，如果一组预测结果包括示例结果C1至C4(诸如“C1：发生瘫痪”、“C2：在三个月内死亡”、“C3：两周内需要输血”、“C4：无需医疗介入”)，则结果向量{C1、C2、C3、C4}的概率向量可以是{p1、p2、p3、p4}，其中，p1至p4指示结果C1至C4的概率。
用于预测出院后风险的实施方式的各方面还可以包括以使预测结果与患者相关联的方式来输出预测结果。在一些实施方式中，输出的过程可以包括将预测结果发送给接收方。接收方可以包括一个或更多个医护专业人员、患者、家庭成员或者任何其它人、组织或数据存储装置。发生的过程可以包括使用任何合适的电子方法(例如，使用无线或有线通信，如上所述)向任何合适的电子装置发送该信息。例如，发送预测结果可以包括：将预测结果发送给与医护提供者相关联的数据接收装置(例如，膝上型电脑、智能手机或者任何其它合适的电子装置)。在一些情况下，发送信息可能涉及邮寄(或亲自交付)详述预测结果的文档的物理拷贝(例如，纸质副本、CD-ROM、硬盘、DVD、USB驱动器或者任何其它电子存储装置)。另外或者另选地，发送预测结果可以包括将预测结果发送给健康保险提供者或医疗医疗事故承保人中的至少一者。
在各种实施方式中，输出预测结果可以通过将该预测结果和患者相关联的方式来进行。例如，可以将患者的名字和/或与患者有关的任何其它合适的信息列出在描述预测结果的文档中。
在一些实施方式中，发送预测结果可以包括：更新与患者相关联的电子医疗记录。更新电子医疗记录的过程可以包括替换或修改电子医疗记录中的任何恰当数据。例如，更新医疗记录可以包括将预测结果从“预期在物理治疗两周之后活动手脚”改变成“预期瘫痪伴随患者余生”。
该公开的各方面可以包括：访问包含所建议的外科手术事件序列的数据结构，并且基于在数据结构中识别的外科手术的所建议的事件序列与在所访问的帧中检测到的实际事件序列之间的偏差的识别来识别至少一个特定术中事件。访问数据结构的过程可以由被配置成识别偏差的任何合适的算法和/或机器学习模型来执行，如该公开所讨论的。例如，可以将机器学习模型用于访问数据结构，并且输出在所建议的外科手术事件序列与在外科手术期间执行的实际事件之间的偏差。例如，如果在实际切口事件期间，切口长度比由对应的建议的事件描述的切口短，那么这种偏差可以由机器学习方法来识别。包含所建议的外科手术事件序列的数据结构可以是本文所描述的任何合适的数据结构，与所公开的实施方式一致。例如，该数据结构可以是具有一个或更多个数据库表的关系数据库。数据结构可以包含所建议的外科手术事件序列并且可以包括：事件的名称、与事件相对应的图像、与事件相关的视频数据或者可以描述事件的任何其它合适数据。数据结构可以通过向各个事件指派与所建议的事件序列中的事件的顺序相关联的编号来定义该序列。
在各种实施方式中，识别外科手术的所建议的事件序列与实际的事件序列之间的偏差可以包括：本公开中所讨论的各种方法(举例来说，如结合图26至图28所描述的)，以及这些图的相关描述。在示例实施方式中，外科手术的事件可以通过对外科手术的外科手术短片进行分析来识别，如先前所描述的。识别外科手术与所建议的事件序列之间的偏差可以包括利用机器学习方法，如本公开中所描述的。基于偏差的标识来识别至少一个特定术中事件可以包括：识别在所访问的帧中检测到的与外科手术的所建议的事件序列发生偏差的至少一个实际事件，并且这种识别可以由用于识别偏差的机器学习方法来执行。
基于偏差的模型可以使用包括历史偏差的各种训练数据来进行训练。在示例实施方式中，历史偏差可以通过评估给定类型(例如，支气管镜检查)的示例历史外科手术的历史事件序列与同一类型的外科手术的对应的建议的事件序列的偏差来加以确定。基于偏差的模型可以使用任何合适的训练过程来进行训练，例如如上所述。
在各种实施方式中，识别偏差包括：使用机器学习模型，该机器学习模型是基于历史外科手术视频短片、历史建议事件序列以及标识与历史视频短片中的历史建议事件序列的偏差的信息进行训练，来识别与建议的事件序列的偏差的。使用基于历史外科手术视频短片和历史建议的事件序列来识别偏差的机器学习方法在本文中进行了描述并且为简短起见而没有重复。
在各种实施方式中，识别偏差包括：对外科手术的帧(例如，由任何合适的基于计算机的软件应用或者用于对帧内的信息进行分析的医护专业人员所访问的帧，如上所讨论的)与描绘所建议的事件序列的参考帧进行比较。如先前所描述的，参考帧可以是在历史外科手术期间拍摄的历史帧。在示例实施方式中，视频帧和描绘强制性事件序列的参考帧可以根据事件(在本文中也被称为开始事件)进行同步，该事件可以和强制性(或者所建议的)事件序列中的对应的开始事件相同或(基本相似)。在一些情况下，描绘开始事件的开始的帧可以与描绘强制性(所建议的)事件序列中的开始事件的参考帧同步。在一些情况下，可以首先使用上述任何合适的方法(例如，使用用于识别事件的图像识别算法)，来使外科手术的事件与强制性序列中的对应参考事件相联系。在使外科手术事件与强制性序列中的对应参考事件相联系之后，可以使描绘外科手术事件的开始的帧与描绘对应的强制性事件的开始的参考帧同步。
在各种实施方式中，识别特定外科手术与该外科手术的所建议的事件序列之间的偏差可以基于以下项中的至少一个：在外科手术短片的所访问的帧中检测到的外科手术工具、所访问的帧中的所检测到的解剖结构、或者所检测到的外科手术工具与所检测到的解剖结构之间的交互。在一些情况下，识别偏差可以基于在外科手术视频短片中检测到的异常流体泄漏情形。
例如，如果确定(例如，使用机器学习方法、使用视觉对象检测器、使用来自医护专业人员的指示、等等)外科工具存在于特定解剖区域中，则该方法可以确定发生了偏差。在一些情况下，如果在外科手术的、外科手术工具不应存在的时间(或时间间隔)期间，该外科手术工具存在于特定解剖区域中(如在外科手术短片中标识出)，则该方法可以确定发生了偏差。另选地，在一些情况下，识别偏差可以包括：确定外科手术工具未处于特定解剖区域。例如，如果在外科手术的某一时间(或时间间隔)期间，外科手术工具不存在于特定解剖区域，则可以将该方法式配置成确定发生了偏差。
在一些情况下，当确定(例如，使用机器学习方法、使用视觉对象检测器、使用来自医护专业人员的指示，等等)解剖结构具存在于外科手术短片中，则可以进一步确定发生了偏差。例如，如果在外科手术的、不应存在解剖结构的时间(或时间间隔)期间，在外科手术短片中识别出该解剖结构，则该方法可以确定发生了偏差。另选地，在一些情况下，识别偏差可以包括：确定解剖结构未存在于外科手术短片中。例如，如果在外科手术的某一时间(或时间间隔)期间，解剖结构不存在于外科手术短片中，则可以将该方法式配置成确定发生了偏差。
另外或者另选地，识别偏差可以包括：识别外科手术工具与解剖结构之间的交互。识别外科手术工具与解剖结构之间的交互的过程可以涉及对外科手术的帧进行分析以识别交互，如上所述。
在各种实施方式中，如果识别出在外科手术期间外科手术工具与解剖结构之间的交互，并且此类交互对于参考外科手术(即，遵循强制性(或所建议的)事件序列的外科手术)并不是建议的(或预期的)，则可以将该方法配置成确定已经发生偏差。另选地，如果未识别出外科手术工具与解剖结构之间的交互(例如，如果在外科手术期间不存在交互)，并且该交互对于参考外科手术是所建议的，则可以将该方法配置成确定已经发生偏差。可以将该方法配置成如果在外科手术和参考手术两者中存在(或不存在)外科手术工具与解剖结构之间的交互，则确定外科手术和参考外科手术不存在实质偏差。
本公开的各方面还可以涉及，基于在外科手术视频短片中检测到的异常流体泄漏情形来识别偏差。如上所述，异常流体泄漏可以包括：出血、尿液泄漏、胆汁泄漏、淋巴泄漏或任何其它泄漏，并且可以如上所述进行检测(例如，通过对应的机器学习模型)。例如，如果在外科手术的、异常流体泄漏不应存在的时间(或时间间隔)期间，该异常流体泄漏存在于特定解剖区域中(如在外科手术短片中识别出)，则该方法可以确定发生了偏差。另选地，在一些情况下，识别偏差可以包括：确定在特定解剖区域中不存在异常流体泄漏。例如，如果在外科手术的某一时间(或时间间隔)期间，特定解剖区域中不存在异常流体泄漏，则可以将该方法式配置成确定发生了偏差。
所公开的实施方式的各方面可以包括：基于所访问的帧(例如，外科手术短片的帧)来确定很可能改善预测结果的至少一个动作，以及基于所确定的至少一个动作来提供建议。在各种实施方式中，确定至少一个动作可以包括使用用于访问并分析外科手术的帧的合适的机器学习方法。在一些示例中，可以使用训练示例来对机器学习模型进行训练，以基于与外科手术的当前状态相关的信息来确定很可能改善外科手术的结果的动作和/或对结果的很可能的改善。这种训练示例的示例可以包括与特定外科手术的状态相关的信息，以及指示可能改善特定外科手术的结果的动作的标记，和/或对预测结果的很可能改善的标记。这种标记可以基于与历史外科手术相关的历史数据的分析、基于用户输入等。与外科手术的当前状态相关的信息的一些非限制性示例可以包括：外科手术的图像和/或视频、基于对外科手术的图像和/或视频的分析的信息、经历外科手术的患者的特征、执行外科手术的至少部分的医护专业人员的特征、在外科手术中使用的医疗器械的特征、与外科手术相关的手术室的特征、外科手术中发生的术中事件、当前时间、外科手术中的外科手术阶段的持续时间，等等。此外，在一些示例中，可以将经训练的机器学习模型用于分析与外科手术的当前状态相关的信息，并且确定很可能改善预测结果的所述至少一个动作和/或对预测结果的很可能改善。
所公开的实施方式的各方面可以包括在执行特定动作之前提供建议。该建议可以是如本文所描述的并且与所公开的实施方式一致的任何合适的电子通知。另选地，该建议可以是任何合适的声音信号、视觉信号或者任何其它信号(例如，触觉信号(诸如振动))，其可以被发送给医护专业人员(例如，施用外科手术的外科医生)。
各种所公开的实施方式可以包括在因所确定的至少一个动作而造成对预测结果的很可能的改善低于选定阈值时放弃提供建议。例如，如果改善的可能性低于50％，则可以不提供建议。在一些情况下，第一预测结果的改善可以被不利的第二预测结果抵消(offset)，并且可能不提供改善第一预测结果的建议。例如，如果将第一预测结果识别为“消除患者的皮疹”并且将第二预测结果识别为“心脏停搏”，那么即使对第一预测结果的改善有足够高的可能性(例如，有99％的机会消除患者的皮疹)，也由于第二预测结果“心脏停搏”的可能性而不提供建议(即使第二结果的可能性很小，例如，1％)。因此，选择提供建议或者放弃提供建议可以基于一个或更多个预测结果。例如，选定阈值可以基于一个或更多个选定结果。例如，如果第一结果是一个人有可能继续活二十年，而第二不利结果是心脏停搏，则心脏停搏的可能性足够低(例如，低于30％)时仍可以提供建议。在一些情况下，可以基于患者的特征来选择阈值。例如，如果患者超重，则与不太超重的人的相同阈值相比，可以降低用于放弃提供减肥外科手术的建议的选定阈值。在一些情况下，确定改善预测结果的至少一个动作还可以基于患者的特征。例如，如果患者是老年人，则可能不建议搭桥手术，而这种手术可以向年轻人建议。
图36通过过程3601例示了用于预测出院后风险的实施方式的各方面。在步骤3611，过程3601可以包括：使用任何合适的方式访问在对患者的特定外科手术期间拍摄的视频帧。例如，访问可以经由有线或无线网络、经由机器学习模型或者经由允许读取/写入数据的任何其它装置来进行。在一些情况下，对帧进行访问可以包括由医护专业人员进行访问。在这样的情况下，医护专业人员可以使用输入装置(例如，键盘、鼠标器或者任何其它输入装置)来访问所述帧。
在步骤3613，过程3601可以包括：访问所存储的标识术中事件以及关联的结果的历史数据，如上所述。在步骤3615，过程3601可以包括：对所访问的帧(例如，外科手术短片的帧)进行分析，并且基于从历史数据获得的信息，识别所访问的帧中的至少一个特定术中事件。对所访问的帧进行分析并且识别所访问的帧中的特定术中事件的过程可以通过如上所述的合适的机器学习模型来执行。
在步骤3617，过程3601可以包括：基于从历史数据获得的信息以及所识别的至少一个术中事件，来确定与该特定外科手术相关联的预测结果，如上所述。过程3601可以以步骤3619结束，该步骤以将预测结果和患者相关联的方式来输出该预测结果。如先前所描述的。
应注意，过程3601不限于步骤3611至3619，并且可以添加新的步骤，或者可以替换或省略步骤3611至3619中的一些步骤。例如，可以省略步骤3613。
如先前所讨论的，本公开涉及用于预测出院后风险的方法和系统以及可以包含指令的非暂时性计算机可读介质，该指令当由至少一个处理器执行时，使所述至少一个处理器执行使得能够预测出院后风险的操作。
所公开的实施方式可以单独包括以下黑点所指特征中的任一特征或者与一个或更多个其它黑点所指特征组合的任何特征，而不管被实现为方法、由至少一个处理器执行和/或被存储为非暂时性计算机可读介质上的可执行令：
·访问外科手术的至少一个视频
·输出所述至少一个视频以进行显示
·在被输出以进行显示的所述至少一个视频上叠加外科手术时间线，其中，外科手术时间线包括标识外科手术阶段、术中外科手术事件以及决策制定节点中的至少一个的标记
·使得外科医生能够在观看所述至少一个视频的回放时选择所述外科手术时间线上的一个或更多个标记，并由此使所述视频的显示跳至与所选择的标记相关联的位置
·其中，所述标记是通过颜色或危急级别中的至少一个来编码的
·其中，所述外科手术时间线包括标识所述外科手术的各部分的文本信息
·其中，所述至少一个视频包括按照手术时间顺序排列的、来自多个外科手术的短片汇编，
·其中，所述短片汇编描绘了来自所述多个外科手术的并发症
·其中，所述一个或更多个标记与所述多个外科手术相关联并且被显示在公共时间线上
·其中，所述一个或更多个标记包括决策制定节点标记，所述决策制定节点标记对应于所述外科手术的决策制定节点
·其中，所述决策制定节点标记的选择使得外科医生能够观看来自两个或更多个对应的其它外科手术的两个或更多个另选视频短片
·其中，所述两个或更多个视频短片呈现了不同的行为
·其中，所述一个或更多个标记包括决策制定节点标记，所述决策制定节点标记对应于所述外科手术的决策制定节点
·其中，所述决策制定节点标记的选择使显示与所述选择的决策制定节点标记相关的一个或更多个另选可能决策
·其中，与所述一个或更多个另选可能决策相关联的一个或更多个估计结果是结合所述一个或更多个另选可能决策的显示来显示的
·其中，所述一个或更多个估计结果是分析包括相应的相似决策制定节点的多个过去外科手术视频的结果
·其中，与在相应的相似过去决策制定节点进行的过去决策的分布相关的信息是结合所述另选可能决策的显示来显示的
·其中，所述外科手术的所述决策制定节点与第一患者相关联，并且所述相应的相似过去决策制定节点是从与具有和所述第一患者相似的特征的患者相关联的过去外科手术中选择的
·其中，所述外科手术的所述决策制定节点与第一医疗专业人员相关联，并且所述相应的相似过去决策制定节点是从与具有和所述第一医疗专业人员相似的特征的医疗专业人员相关联的过去外科手术中选择的
·其中，所述外科手术的所述决策制定节点与所述外科手术中的第一在先事件相关联，并且相似过去决策制定节点是从包括与第一在先事件相似的在先事件的过去外科手术中选择的
·其中，所述标记包括术中外科手术事件标记
·其中，所述术中外科手术事件标记的选择使得所述外科医生能够观看来自不同的外科手术的另选视频短片
·其中，所述另选视频短片呈现了处理选定术中外科手术事件的不同方式
·其中，在所述视频输出上的叠加是在所述显示的视频中描绘的所述外科手术结束之前显示的
·其中，所述分析是基于与所述多个过去外科手术视频相关联的一个或更多个电子医疗记录的
·其中，所述相应的相似决策制定节点根据相似性指标与所述外科手术的所述决策制定节点相似
·其中，所述分析包括使用计算机视觉算法的实现
·其中，所述标记与术中外科手术事件相关，并且所述术中外科手术事件标记的选择使得所述外科医生能够观看来自不同的外科手术的另选视频短片
·访问要编索引的视频短片所述要编索引的视频短片包括特定外科手术的短片
·对所述视频短片进行分析，以识别与所述特定外科手术的外科手术阶段相关联的视频短片位置
·生成与所述外科手术阶段相关联的阶段标签
·将所述阶段标签与所述视频短片位置相关联
·对所述视频短片进行分析，以识别所述外科手术阶段内的特定术中外科手术事件的事件位置
·将事件标签与该特定术中外科手术事件的事件位置相关联
·存储与所述特定术中外科手术事件相关联的事件特征
·在包含其它外科手术的附加视频短片的数据结构中，将所述特定外科手术的所述视频短片的至少一部分与所述阶段标签、所述事件标签以及所述事件特征相关联
·其中，数据结构还包括与其它外科手术中的一个或更多个外科手术相关联的相应的阶段标签、相应的事件标签以及相应的事件特征
·使得用户能够通过选择用于显示的视频短片的选定阶段标签、选定事件标签以及选定事件特征来访问所述数据结构
·在外科手术视频短片的所述数据结构中执行匹配所述至少一个选定阶段标签、选定事件标签以及选定事件特征的查找，以识别所存储的视频短片的匹配子集
·使所存储的视频短片的匹配子集向所述用户显示，由此使得所述用户能够观看至少一个术中外科手术事件的共享所述选定事件特征的外科手术短片，同时略过缺少所述选定事件特征的视频短片的回放
·其中，使得所述用户能够观看具有所述选定事件特征的至少一个术中外科手术事件的外科手术短片，同时略过选定外科手术事件的缺乏选定事件特征的部分的回放，包括：向所述用户顺序地呈现多个术中外科手术事件的外科手术短片的共享所述选定事件特征的部分，同时略过选定外科手术事件的缺少所述选定事件特征的部分的回放
·其中，所存储的事件特征可以包括所述外科手术事件的不利结果
·其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看选定不利结果的外科手术短片，同时略过缺少所述选定不利结果的外科手术事件的回放
·其中，所存储的事件特征包括外科手术技术
·其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看选定外科手术技术的外科手术短片，同时略过不与所述选定外科手术技术相关联的外科手术短片的回放
·其中，所存储的事件特征包括外科医生技能水平
·其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看展示选定外科医生技能水平的短片，同时略过缺少所述选定外科医生技能水平的短片的回放
·其中，所存储的事件特征包括实体患者特征
·其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看展示选定实体患者特征的短片，同时略过缺少所述选定实体患者特征的短片的回放
·其中，所存储的事件特征包括具体外科医生的身份
·其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看展示选定外科医生的活动的短片，同时略过缺少所述外科医生的活动的短片的回放
·其中，所存储的事件特征包括生理反应
·其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看展示选定生理反应的短片，同时略过缺少所述选定生理反应的短片的回放
·其中，对所述视频短片进行分析以识别与所述外科手术事件或所述外科手术阶段中的至少一个相关联的所述视频短片位置的步骤包括：对所述视频短片执行计算机图像分析，以识别用于回放的所述外科手术阶段的开始位置或者用于回放的外科手术事件的开始中的至少一个
·访问和与所述特定外科手术相似的多个外科手术相关的汇总数据
·向所述用户呈现与所述选定事件特征相关联的统计信息
·其中，所访问的视频短片包括经由位于手术台上方的位置、患者的外科手术腔中、患者的器官内或者患者的脉管系统内的至少一个中的至少一个图像传感器拍摄的视频短片
·其中，识别所述视频短片位置是基于用户输入的
·其中，识别视频短片位置的步骤包括：使用计算机分析来对所述视频短片的帧进行分析
·其中，所述计算机图像分析包括使用包括先前识别的外科手术阶段的示例视频帧训练的神经网络模型，由此识别视频短片位置或阶段标签中的至少一个
·基于用户输入来确定所存储的事件特征
·基于描绘所述特定术中外科手术事件的视频短片的计算机分析，来确定所存储的事件特征
·其中，生成所述阶段标签是基于描绘所述外科手术阶段的视频短片的计算机分析的
·其中，识别所存储的视频短片的匹配子集的步骤包括：使用计算机分析来确定所存储的视频的匹配子集与所述选定的事件特征之间的相似性程度
·访问特定外科手术短片，所述特定外科手术短片包含与至少一个术中外科手术事件相关联的第一组帧以及不与外科手术活动相关联的第二组帧
·基于在先外科手术的历史外科手术短片来访问历史数据，其中，所述历史数据包括以下信息：所述信息将外科手术短片的各部分区分成与术中外科手术事件相关联的帧以及不与外科手术活动相关联的帧
·基于所述历史数据的所述信息，在所述特定外科手术短片中区分所述第一组帧与所述第二组帧
·在用户请求时，向所述用户呈现所述特定外科手术短片的所述第一组帧的汇总，同时略过向所述用户呈现所述第二组帧
·其中，将所述历史外科手术短片的各部分区分成与术中外科手术事件相关联的帧的所述信息包括外科手术工具存在或者移动中的至少一者的指示符
·其中，将所述历史外科手术短片的各部分区分成与术中外科手术事件相关联的帧的所述信息包括关联的帧中的检测到的工具和解剖特征
·其中，所述用户的请求包括至少一个类型的关注术中外科手术事件的指示，并且
·其中，所述第一组帧描绘了所述至少一个类型的关注术中外科手术事件的至少一个术中外科手术事件
·其中，所述用户的请求包括请求观看所述特定外科手术短片中的多个术中外科手术事件，并且
·其中，向所述用户呈现所述第一组帧的汇总的步骤包括：按时间顺序显示所述第一组帧，并且略过第二组的时间顺序帧
·其中，所述历史数据还包括历史外科手术结果数据以及相应的历史原因数据
·其中，所述第一组帧包括原因帧集合和结果帧集合
·其中，所述第二组帧包括中间帧集合
·对所述特定外科手术短片进行分析，以识别外科手术结果以及所述外科手术结果的相应原因，所述识别是基于所述历史结果数据以及相应的历史原因数据的
·基于所述分析来检测所述特定外科手术短片中的所述结果帧集合，所述结果帧集合处于所述外科手术的结果阶段内
·基于所述分析来检测所述特定外科手术短片中的原因帧集合，所述原因帧集合处于所述外科手术的在时间上远离所述结果阶段的原因阶段内
·其中，所述中间帧集合处于介于所述原因帧集合与所述结果帧集合之间的中间阶段内
·生成所述外科手术短片的因果摘要
·其中，所述因果摘要包括所述原因帧集合以及所述结果帧集合并且略过所述中间帧集合
·其中，向所述用户呈现所述第一组帧的汇总包括所述因果摘要
·其中，所述原因阶段包括出现所述原因的外科手术阶段
·其中，所述原因帧集合是所述原因阶段中的所述帧的子集
·其中，所述结果阶段包括可观测所述结果的外科手术阶段
·其中，所述结果帧集合是所述结果阶段中的帧的子集
·使用机器学习模型，所述机器学习模型被训练成使用所述历史数据来识别外科手术结果以及所述外科手术结果的相应原因，以对所述特定外科手术短片进行分析
·其中，所述特定外科手术短片描绘了对患者执行的并且通过手术室中的至少一个图像传感器拍摄的外科手术
·导出所述第一组帧以存储在所述患者的医疗记录中
·生成所述至少一个术中外科手术事件的索引，并且导出所述第一组帧的步骤包括：生成所述第一组帧的汇编，所述汇编包括所述索引，并且所述汇编被配置成使能够基于一个或更多个索引项的选择来观看所述至少一个术中外科手术事件
·其中，所述汇编包含被存储为连续视频的不同的术中事件的一系列帧
·将所述第一组帧与唯一患者标识符相关联，并且更新包括所述唯一患者标识符的医疗记录
·其中，所述至少一个图像传感器的位置是所述手术室中的手术台上方或者所述患者体内中的至少一个
·其中，在所述特定外科手术短片中区分所述第一组帧与所述第二组帧的步骤包括：对所述特定外科手术短片进行分析，以检测医疗器械
·对所述特定外科手术短片进行分析，以检测解剖结构
·对所述视频进行分析，以检测所述检测到的医疗器械与所述检测到的解剖结构之间的相对移动
·基于所述相对移动来区分所述第一组帧与所述第二组帧
·其中，第一组帧包括外科手术活动帧，第二组帧包括非外科手术活动帧
·其中，呈现由此的所述汇总使得准备外科手术的外科医生能够在节略的呈现的视频审查期间以略过所述非外科手术活动帧
·其中，区分所述第一组帧与所述第二组帧还基于所述医疗器械与所述解剖结构之间的所检测到的相对位置
·其中，区分所述第一组帧与所述第二组帧还基于所述医疗器械与所述解剖结构之间的所检测到的交互
·其中，略过所述非外科手术活动帧的步骤包括：略过拍摄非外科手术活动的大多数帧
·访问外科手术视频短片的多个集合的储存库，所述外科手术视频短片的多个集合反映对不同的患者执行的多个外科手术并且包括术中外科手术事件、外科手术结果、患者特征、外科医生特征以及术中外科手术事件特征
·使得外科医生能够准备设想的外科手术，以输入与所述设想的外科手术相对应的病例特定信息
·对所述病例特定信息和与所述外科手术视频短片的多个集合相关联的数据进行比较，以识别在所设想的外科手术期间很可能遭遇的一组术中事件
·使用所述病例特定信息以及所识别的很可能遭遇的一组术中事件，来识别所述外科手术视频短片的多个集合中的特定集合中的与所识别的一组术中事件相对应的特定帧
·其中，所识别的特定帧包括来自对不同的患者执行的所述多个外科手术的帧
·确定来自不同的患者的视频短片的第一集合和第二集合包含与共享共同特征的术中事件相关联的帧
·从要向所述外科医生呈现的汇编中略过包含所述第二集合，并且在要向所述外科医生呈现的汇编中包括所述第一集合
·使得所述外科医生能够观看包括所述汇编的呈现，所述汇编包含来自对不同的患者执行的所述不同的外科手术的帧
·使得能够沿着所述呈现显示公共外科手术时间线，所述公共外科手术时间线包括与所识别的特定帧中的一个或更多个特定帧相对应的一个或更多个时间顺序标记
·其中，使得所述外科医生能够观看所述呈现的步骤包括：顺序地显示对不同的患者执行的所述不同的外科手术的视频短片的离散集合
·其中，顺序地显示视频短片的离散集合的步骤包括：显示视频短片的所述离散集合的索引，使得所述外科医生能够选择视频短片的所述离散集合中的一个或更多个离散集合
·其中，所述索引包括将所述离散集合分析成对应的外科手术阶段的时间线以及文本阶段指示符
·其中，所述时间线包括与术中外科手术事件相对应的术中外科手术事件标记
·其中，所述使得外科医生能够点击所述术中外科手术事件标记，以显示描绘所述对应的术中外科手术事件的至少一个帧
·其中，与所设想的外科手术相对应所述病例特定信息是从外部装置接收的
·其中，对所述病例特定信息和与所述外科手术视频短片的多个集合相关联的数据进行比较的步骤包括：使用人工神经网络，以识别在所设想的外科手术期间很可能遭遇的所述一组术中事件
·其中，使用所述人工神经网络的步骤包括：向所述人工神经网络提供所述病例特定信息作为输入
·其中，所述病例特定信息包括与所设想的手术相关联的患者的特征
·其中，所述患者的特征是从所述患者的医疗记录接收的
·其中，所述病例特定信息包括和外科手术工具相关的信息
·其中，和所述外科手术工具相关的所述信息包括工具类型或工具型号中的至少一个
·其中，所述共同特征包括所述不同的患者的特征
·其中，所述共同特征包括所设想的外科手术的术中外科手术事件特征
·其中，确定来自不同的患者的视频短片的第一集合第二集合包含与共享共同特征的术中事件相关联的帧的步骤包括：使用机器学习模型的实现来识别所述共同特征
·使用示例视频短片来训练所述机器学习模型，以确定视频短片的两个集合共享所述共同特征
·其中，实现所述机器学习模型的步骤包括：实现所述经训练的机器学习模型
·基于以下项来训练机器学习模型以生成所述储存库的索引：所述术中外科手术事件、所述外科手术结果、所述患者特征、所述外科医生特征以及术中外科手术事件特征
·生成所述储存库的所述索引
·其中，对所述病例特定信息和与所述多个集合相关联的数据进行比较的步骤包括搜索所述索引
·对所述外科手术短片的帧进行分析，以识别第一帧集合中的解剖结构
·访问第一历史数据，所述第一历史数据是基于从第一组在先外科手术拍摄的第一帧数据的分析的
·使用所述第一历史数据并且使用所识别的解剖结构来对所述第一帧集合进行分析，以确定与所述第一帧集合相关联的第一外科手术复杂程度
·对所述外科手术短片的帧进行分析，以识别第二帧集合中的医疗工具、所述解剖结构以及所述医疗工具与所述解剖结构之间的交互
·访问第二历史数据，所述第二历史数据是基于从第二组在先外科手术拍摄的第二帧数据的分析的
·使用所述第二历史数据并且使用所识别的交互来对所述第二帧集合进行分析，以确定与所述第二帧集合相关联的第二外科手术复杂程度
·其中，确定所述第一外科手术复杂程度的步骤还包括：识别所述第一帧集合中的医疗工具
·其中，确定所述第二外科手术复杂程度是基于从所述第一帧集合到所述第二帧集合所经过的时间的
·其中，确定所述第一复杂程度或所述第二复杂程度中的至少一个复杂程度是基于生理反应的
·确定所述外科手术短片中的由医护提供者展示的技能水平
·其中，确定所述第一复杂程度或所述第二复杂程度中的至少一个复杂程度是基于所确定的由所述医护提供者展示的技能水平的
·确定所述第一外科手术复杂程度小于选定阈值，确定所述第二外科手术复杂程度超过所述选定阈值，以及响应于确定所述第一外科手术复杂程度小于所述选定阈值并且确定所述第二外科手术复杂程度超过所述选定阈值，将所述第二帧集合存储在数据结构中，同时从所述数据结构中略过所述第一帧集合
·其中，识别所述第一帧集合中的所述解剖结构是基于医疗工具的识别以及所述医疗工具与所述解剖结构之间的第一交互的
·向具有所述第一外科手术复杂程度的所述第一帧集合加标签
·向具有所述第二外科手术复杂程度的所述第二帧集合加标签
·生成包括具有所述第一标签的所述第一帧集合和具有所述第二标签的所述第二帧集合的数据结构，以使得外科医生能够选择所述第二外科手术复杂程度，并由此使所述第二帧集合被显示，同时略过显示所述第一帧集合
·使用被训练成使用从在先外科手术拍摄的帧数据来标识外科手术复杂程度的机器学习模型，来确定所述第一外科手术复杂程度或所述第二外科手术复杂程度中的至少一个复杂程度
·其中，确定所述第二外科手术复杂程度是基于在所述第一帧集合与所述第二帧集合之间发生的事件的
·其中，确定所述第一外科手术复杂程度或所述第二外科手术复杂程度中的至少一个复杂程度是基于所述解剖结构的状况的
·其中，确定所述第一外科手术复杂程度或所述第二外科手术复杂程度中的至少一个复杂程度是基于电子医疗记录的分析的
其中，确定所述第一外科手术复杂程度是基于在所述第一帧集合之后发生的事件的·其中，确定所述第一外科手术复杂程度或所述第二外科手术复杂程度中的至少一个复杂程度是基于与所述外科手术短片相关联的外科医生的技能水平的
·其中，确定所述第二外科手术复杂程度是基于在所述第一帧集合之后呼叫额外的外科医生的指示的
·其中，确定所述第二外科手术复杂程度是基于在所述第一帧集合之后施用特定药物的指示的
·其中，所述第一历史数据包括使用从第一组在先外科手术拍摄的所述第一帧数据训练的机器学习模型
·其中，所述第一历史数据包括特定解剖结构与特定外科手术复杂程度之间的统计关系的指示
·从位于外科手术室的图像传感器接收跟踪进行中的外科手术的视觉数据
·访问包含基于历史外科手术数据的信息的数据结构
·使用所述数据结构对进行中的外科手术的所述视觉数据进行分析，以确定进行中的外科手术的估计完成时间
·访问所述外科手术室的时间表，所述时间表包括与所述进行中的外科手术的完成相关联的已安排时间
·基于进行中的外科手术的所述估计完成时间，来计算预期完成时间是否很可能导致相对于与所述完成相关联的所述已安排时间的差异
·输出关于所述差异的计算的通知由此使得所述外科手术室的后续用户能够相应地调整他们的时间表
·其中，所述通知包括经更新的手术室时间表
·其中，所述经更新的手术室时间表使得已排队的医护专业人员能够准备后续外科手术
·将所述通知以电子方式发送给与所述外科手术室的后续已安排用户相关联的装置
·确定相对于与所述完成相关联的所述已安排时间的所述差异的程度
·响应于第一确定的程度，输出所述通知
·响应于第二确定的程度，放弃输出所述通知
·确定所述预期完成时间是否很可能导致至少选定阈值时间量相对于与所述完成相关联的所述已安排时间的延迟
·响应于确定所述预期完成时间很可能导致至少所述选定阈值时间量的延迟，输出所述通知
·响应于确定所述预期完成时间不太可能导致至少所述选定阈值时间量的延迟，放弃输出所述通知
·其中，确定所述估计完成时间是基于与进行所述进行中的外科手术的医护专业人员相关联的一个或更多个存储的特征的
·基于所确定的所述进行中的外科手术的实际完成时间，来更新历史平均完成时间
·其中，所述图像传感器被定位在患者上方
·其中，所述图像传感器被定位在外科手术工具上
·其中，分析步骤还包括：检测接收到的视觉数据中的特征事件访问基于历史外科手术数据的所述信息，以确定在发生所述历史外科手术数据中的所述特征事件之后所述外科手术的预期完成时间，并且基于所确定的预期完成时间来确定所述估计完成时间
·使用历史视觉数据来对机器学习模型进行训练以检测所述特征事件
·使用历史视觉数据来对机器学习模型进行训练以估计完成时间，
·其中，计算所述估计完成时间的步骤包括：实现所训练的所述经训练的机器学习模型
·使用平均历史完成时间来确定所述估计完成时间
·检测所述视觉数据中的医疗工具
·其中，计算所述估计完成时间是基于检测到的医疗工具的
·其中分析步骤还包括：检测所述视觉数据中的解剖结构
·其中，计算所述估计完成时间是基于检测到的解剖结构的
·其中，分析步骤还包括：检测所述视觉数据中的解剖结构与医疗工具之间的交互
·其中，计算所述估计完成时间是基于检测到的交互的
·其中，分析步骤还包括：确定所述视觉数据中的外科医生的技能水平
·其中，计算所述估计完成时间是基于所确定的技能水平的
·访问在对患者的外科手术期间拍摄的视频帧
·对在所述外科手术期间拍摄的所述视频帧进行分析，以识别所述视频帧中的至少一个医疗器械、至少一个解剖结构以及所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互
访问与医疗器械、解剖结构以及医疗器械与解剖结构之间的交互相联系的理赔准则数据库
·对所述标识的所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互和所述理赔准则数据库中的信息进行比较，以确定与所述外科手术相关联的至少一个理赔准则
·输出所述至少一个理赔准则，以供在获得所述外科手术的保险理赔方面使用
·其中，所述输出的至少一个理赔准则包括多个输出的理赔准则
·其中，所述多个输出的理赔准则中的至少两个理赔准则是基于和公共解剖结构的不同交互的
·其中，所述至少两个输出的理赔准则是部分地基于两个不同的医疗器械的检测来确定的
·其中，确定所述至少两个理赔准则还基于术后外科手术报告的分析
·其中，所述视频帧是从被定位在所述患者上方的图像传感器拍摄的
·其中，所述视频帧是从与医疗装置相关联的图像传感器拍摄的
·通过将所述至少一个理赔准则与所述外科手术相关联来更新所述数据库
·生成已处理的理赔准则与历史视频短片中的多个医疗器械、所述历史视频短片中的多个解剖结构或者所述历史视频短片中的医疗器械与解剖结构之间的多个交互中的至少一个之间的相关性
·基于所生成的相关性来更新所述数据库
·其中，生成相关性的步骤包括：实现统计模型
·使用机器学习模型来检测所述历史视频短片中的多个医疗器械、多个解剖结构或者医疗器械与解剖结构之间的多个交互中的所述至少一个
·对所述外科手术期间拍摄的所述视频帧进行分析，以确定所述患者的解剖结构的状况
·基于所确定的所述解剖结构的状况，来确定与所述外科手术相关联的所述至少一个理赔准则
·对所述外科手术期间拍摄的所述视频帧进行分析，以确定在所述外科手术期间所述患者的解剖结构的状况变化
·基于所述确定的所述解剖结构的状况变化，来确定与所述外科手术相关联的所述至少一个理赔准则
对所述外科手术期间拍摄的所述视频帧进行分析，以确定特定医疗装置的使用
·基于所述确定的所述特定医疗装置的使用，来确定与所述外科手术相关联的所述至少一个理赔准则
·对所述外科手术期间拍摄的所述视频帧进行分析，以确定所述特定医疗装置的使用类型
·响应于第一确定的使用类型，确定与所述外科手术相关联的至少第一理赔准则
·响应于第二确定的使用类型，确定与所述外科手术相关联的至少第二理赔准则，所述至少第一理赔准则不同于所述至少第二理赔准则
·接收与所述外科手术相关联的已处理的理赔准则，以及基于所述已处理的理赔准则来更新所述数据库
·其中，已处理的理赔准则不同于至少一个理赔准则中的对应理赔准则
·对所述外科手术期间拍摄的所述视频帧进行分析，以确定在所述外科手术期间使用的特定类型的医疗用品的量
·基于所述确定的量，来确定与所述外科手术相关联的所述至少一个理赔准则
·接收患者的标识符的输入
·接收医护提供者的标识符的输入
·接收由所述医护提供者对所述患者执行的外科手术的外科手术短片的输入
·对所述外科手术短片的多个帧进行分析，以导出基于图像的信息以供填写所述外科手术的术后报告
·使所导出的基于图像的信息填写所述外科手术的所述术后报告
·对所述外科手术短片进行分析，以识别所述外科手术的一个或更多个阶段，并且识别所述识别的阶段中的至少一个阶段的特性
·其中，所导出的基于图像的信息是基于所识别的至少一个阶段以及所述至少一个阶段的所识别的特性的
·对所述外科手术短片进行分析，以将名称与所述至少一个阶段相关联
·其中，所导出的基于图像的信息包括与所述至少一个阶段相关联的所述名称
·至少确定所述至少一个阶段的开始
·其中，所导出的基于图像的信息是基于所述确定的开始的
·将时间标记与所述至少一个阶段相关联
·其中，导出的基于图像的信息包括与至少一个阶段相关联的时间标记
·向所述医护提供者发送数据，所述发送的数据包括所述患者标识符以及所导出的基于图像的信息
·对所述外科手术短片进行分析，以识别术后治疗的至少一个建议
·提供所述标识的至少一个建议
·其中，使填写所述外科手术的所述术后报告被配置成，使得医护提供者能够更改所述术后报告中的导出的基于图像的信息的至少部分
·其中，使填写所述外科手术的术后报告被配置成使要在所述术后报告中识别的导出的基于图像的信息的至少部分作为自动生成的数据
·对所述外科手术短片进行分析，以识别所述外科手术短片内的外科手术事件，并且识别所识别的外科手术事件的特性
·其中，所导出的基于图像的信息是基于所识别的外科手术事件和所识别的特性的
·对所述外科手术短片进行分析，以确定所识别的外科手术事件的事件名称
·其中，所导出的基于图像的信息包括确定的事件名称
·将时间标记与所识别的外科手术事件相关联
·其中，所导出的基于图像的信息包括所述时间标记
·以使得能够更新电子医疗记录的形式来提供所导出的基于图像的信息
·其中，所导出的基于图像的信息是部分地基于用户输入的
·其中，所导出的基于图像的信息包括与所述外科手术的第一部分相关联的第一部分以及与所述外科手术的第二部分相关联的第二部分，并且还包括：接收初步术后报告
·对所述初步术后报告进行分析，以选择所述初步术后报告内的第一位置和第二位置，所述第一位置与所述外科手术的所述第一部分相关联，所述第二位置与所述外科手术的所述第二部分相关联
·使所导出的基于图像的信息的所述第一部分插入所述选定的第一位置，使所导出的基于图像的信息的所述第二部分插入所述选定的第二位置
·对所述外科手术短片进行分析，以选择所述外科手术短片的至少一个帧的至少部分
·使所述外科手术短片的至少一个帧的所述选定的至少部分被包括在所述外科手术的所述术后报告中
·接收初步术后报告
·对所述初步术后报告以及所述外科手术短片进行分析，以选择所述外科手术的至少一个帧的所述至少部分
·接收初步术后报告
对所述初步术后报告以及所述外科手术短片进行分析，以识别所述初步术后报告与所述外科手术短片之间的至少一个不一致性
·提供所识别的至少一个不一致性的指示
·访问在特定外科手术期间拍摄的视频帧
·访问所存储的标识所述外科手术的所建议的事件序列的数据
·对所访问的帧与所建议的事件序列进行比较，以识别所述特定外科手术与所述外科手术的所述建议的事件序列之间的偏差的指示
·确定与所述偏差相关联的术中外科手术事件的名称
·提供所述偏差的通知，所述通知包括与所述偏差相关联的所述术中外科手术事件的所述名称
·其中，识别所述偏差的指示以及提供所述通知是在所述外科手术期间实时发生的
·接收将要在所述特定外科手术中发生特定动作的指示
·使用所建议的事件序列来识别所述特定动作的初步动作
·基于所访问的帧的分析，来确定所识别的初步动作尚未发生
·响应于确定所识别的初步动作尚未发生，识别所述偏差的所述指示
·其中，所述特定外科手术是胆囊切除术
·其中，所述建议的事件序列是基于关键安全视野的
·其中，所述特定外科手术是阑尾切除术
·其中，所述特定外科手术是疝气修补术
·其中，所述特定外科手术是子宫切除术
·其中，所述特定外科手术是根治性前列腺切除术
·其中，所述特定外科手术是部分肾切除术，并且所述偏差包括忽视标识肾门
·其中，所述特定外科手术是甲状腺切除术，并且所述偏差包括忽视标识喉返神经。
·识别与所述偏差相关联的帧集合
·其中，提供所述通知的步骤包括：显示与所述偏差相关联的所识别的帧集合
·其中，所述特定动作将要发生的所述指示是基于来自执行所述特定外科手术的外科医生的输入的
·其中，所述特定动作将要发生的所述指示是特定医疗器械进入选定关注区域
·其中，识别所述偏差的步骤包括：确定外科手术工具处于特定解剖区域
·其中，所述特定外科手术是部分结肠切除术
·其中，所述偏差包括忽视执行吻合术
·其中，识别所述偏差的所述指示是基于与术中外科手术相关联的经过时间的
·接收在手术室中由外科医生对患者执行的外科手术的视频短片
·访问包括表征外科手术的图像相关数据的至少一个数据结构
·使用所述图像相关数据对所述接收到的视频短片进行分析，以确定外科手术决策制定节点的存在
·在所述至少一个数据结构中访问结果与在所述决策制定节点采取的特定动作之间的相关性
·基于所确定的所述决策制定节点的存在以及所述访问的相关性，向用户输出采取所述特定动作的建议
·其中，所述指令被配置成使所述至少一个处理器在所述外科手术期间实时执行所述操作
·其中，所述用户是外科医生
·其中，所述决策制定节点是通过多个不同的历史手术的分析来确定的，其中，不同的动作过程是在共同的外科手术情形之后发生的
·其中，所述视频短片包括来自内窥镜和体内摄像机中的至少一个的图像
·其中，所述建议包括进行医学检验的建议
·接收所述医学检验的结果
·基于所确定的决策制定节点的存在、所访问的相关性以及所接收到的医学检验的结果，向所述用户输出采取特定动作的第二建议
·其中，所述特定动作包括将额外的外科医生带到所述手术室
·其中，所述决策制定节点包括以下项中的至少一个：不恰当的接近或暴露、解剖结构的缩回、解剖结构的错误判断或者流体泄漏
·其中，所述建议包括如果采取所述特定动作则将出现希望的外科手术结果的置信水平
·其中，所述建议包括如果不采取所述特定动作则将不会出现希望的结果的置信水平
·其中，所述建议是基于自所述外科手术中的特定点起经过的时间的
·其中所述建议包括如果不采取所述特定动作则很可能出现不希望的外科手术结果的指示
·其中，所述建议是基于所述外科医生的技能水平的
·其中，所述建议是基于在所述决策制定节点之前在所述外科手术中发生的外科手术事件的
·其中，所述特定动作包括多个步骤
·其中，确定所述外科手术决策制定节点的存在是基于检测到的解剖结构的生理反应以及与外科手术工具相关联的运动中的至少一个的
·接收所述患者的生命体征，并且
·其中，所述建议是基于所访问的相关性以及所述生命体征的
·其中，所述外科医生是外科手术机器人，并且所述建议是以所述外科手术机器人的指令的形式来提供的
·其中，所述建议是基于所述患者的组织的状况的
·其中，所述特定动作的所述建议包括创建造口
·从手术室中的至少一个图像传感器接收外科手术的图像数据
·对接收到的图像数据进行分析，以确定所述解剖结构的身份并且确定如在所述图像数据中反映的所述解剖结构的状况
·选择与所述解剖结构相关联的接触力阈值，所选择的接触力阈值是基于所述解剖结构的所述确定的状况的
·接收所述解剖结构上的实际接触力的指示
·对所述指示的实际接触力和所选择的接触力阈值进行比较
·基于确定所述指示的实际接触力示超过所选择的接触力阈值来输出通知
·其中，所述接触力阈值是与张力水平相关联的
·其中，所述接触力阈值是与压迫水平相关联的
·其中，所述实际接触力是和医疗器械与所述解剖结构之间的接触相关联的
·其中，所述实际接触力的指示是基于所述图像数据的图像分析来估计的
·其中，输出所述通知的步骤包括：向进行所述外科手术的外科医生提供实时警告
·其中，所述通知是外科手术机器人的指令
·从所述图像数据中确定所述外科手术处于战斗模式下
·其中，所述通知在所述战斗模式期间被挂起
·从所述图像数据中确定所述外科医生正在忽视接触力通知的模式下进行操作，以及基于所述确定所述外科医生正在忽视接触力通知的所述模式下进行操作，至少临时挂起进一步的接触力通知
·其中，选择所述接触力阈值是基于所述解剖结构与医疗器械之间的接触位置的·其中，选择所述接触力阈值是基于所述解剖结构与医疗器械之间的接触角度的·其中，选择所述接触力阈值的步骤包括：向回归模型提供所述解剖结构的所述状况作为输入，以及基于所述回归模型的输出来选择所述接触力阈值
·其中，选择所述接触力阈值是基于包括对应的接触力阈值的解剖结构表的
·其中，选择所述接触力阈值是基于由外科医生执行的动作的
·其中，所述实际接触力的指示是从外科手术工具接收的
·其中，所述实际接触力的指示是从外科手术机器人接收的
·使用利用训练示例训练的机器学习模型，来确定所述图像数据中的所述解剖结构的所述状况
·使用利用训练示例训练的机器学习模型来选择所述接触力阈值
·从被设置成拍摄外科手术的图像的至少一个图像传感器接收与所述外科手术期间的第一事件相关联的图像数据
·基于接收到的与所述第一事件相关联的图像数据，来确定与所述外科手术相关联的预测结果
·从被设置成拍摄外科手术的图像的至少一个图像传感器接收与所述外科手术期间的第二事件相关联的图像数据
·基于接收到的与所述第二事件相关联的图像数据，来确定所述预测结果的使所述预测结果降低到阈值以下的变化
·访问基于在先外科手术的图像相关数据的数据结构
·基于所访问的图像相关数据来识别建议的补救动作
·输出所建议的补救动作
·其中，所建议的补救动作包括建议外科医生离开外科手术去休息一下
·其中，所建议的补救动作包括建议请求另一外科医生的协助
·其中，所建议的补救动作包括所述外科手术的修正
·其中，所述预测结果包括再入院的可能性
·其中，确定所述预测结果的变化是基于出血的量值的
·其中，识别所述补救动作是基于所述补救动作很可能将所述预测结果提升到高于所述阈值的指示的
·其中，识别所述补救动作的步骤包括：使用机器学习模型，所述机器学习模型是使用补救动作和外科手术结果的历史示例进行训练来标识补救动作的
·其中，确定所述预测结果的步骤包括：使用机器学习模型，所述机器学习模型是基于历史外科手术视频以及指示与所述历史外科手术视频相对应的外科手术结果的信息进行训练来确定预测结果的
·其中，确定所述预测结果的步骤包括：识别外科手术工具与解剖结构之间的交互，以及基于所识别的交互来确定所述预测结果
·其中，确定所述预测结果是基于所述图像数据中描绘的外科医生的技能水平的·确定所述图像数据中描绘的外科医生的技能水平
·其中，确定所述预测结果的变化是基于所述技能水平的
·还包括，响应于所述预测结果降低到阈值以下，更新与和所述外科手术相关的外科手术室相关联的调度记录
·其中，确定所述预测结果的变化是基于在所述外科手术中的特定点与所述第二事件之间经过的时间的
·其中，确定所述预测结果是基于所述图像数据中描绘的解剖结构的状况的
·确定所述解剖结构的所述状况
·其中，确定所述预测结果的变化是基于所述解剖结构的至少部分的颜色变化的·其中，确定所述预测结果的变化是基于所述解剖结构的至少部分的外观变化的·实时接收外科手术的腔内视频
·对所述腔内视频的帧进行分析，以确定所述腔内视频中的异常流体泄漏情形
·当确定所述异常流体泄漏情形时制定补救动作
·其中，所述流体包括血液、胆汁或尿液中的至少一种
·其中，分析步骤包括：对所述腔内视频的所述帧进行分析，以识别血液飞溅以及所述血液飞溅的至少一个特性
·其中，所述补救动作的选择取决于所述标识的血液飞溅的所述至少一个特性
·其中，所述至少一个特性是与所述血液飞溅的来源相关联的
·其中，所述至少一个特性是与所述血液飞溅的强度相关联的
·其中，所述至少一个特性是与所述血液飞溅的体积相关联的
·其中，对所述腔内视频的所述帧进行分析的步骤包括：确定所述异常流体泄漏情形的特性
·其中，所述补救动作的选择取决于所述确定的特性
·其中，所述特性是与所述流体泄漏的体积相关联的
·其中，所述特性是与所述流体泄漏的颜色相关联的
·其中，所述特性是与所述流体泄漏的流体类型相关联的
·其中，所述特性是与流体泄漏率相关联的
·存储所述腔内视频，并且在确定所述异常泄漏情形时，对所存储的腔内视频的在先帧进行分析以确定泄漏源
·其中，制定所述补救动作的步骤包括：提供泄漏源的通知
·其中，确定所述泄漏源的步骤包括：识别破裂的解剖器官
·确定与所述流体泄漏情形相关联的流量
·其中，制定所述补救动作是基于所述流量的
·确定与所述流体泄漏情形相关联的流体流失量
·其中，制定所述补救动作是基于所述流体流失量的
·其中，对腔内视频的帧进行分析以确定腔内视频中的异常流体泄漏情形的步骤包括：确定所确定的流体泄漏情形是否是异常流体泄漏情形，并且
·响应于确定所确定的流体泄漏情形是异常流体泄漏情形，制定所述补救动作
·响应于确定所确定的流体泄漏情形是正常流体泄漏情形，放弃所述补救动作的制定
·其中，所述腔内视频描绘了执行所述外科手术的外科手术机器人，并且所述补救动作包括向所述机器人发送指令
·访问在对患者的特定外科手术期间拍摄的视频帧
·访问所存储的标识术中事件以及关联的结果的历史数据
·对所述访问的帧进行分析，并且基于从所述历史数据获得的信息，识别所访问的帧中的至少一个特定术中事件
·基于从所述历史数据获得的信息以及所识别的至少一个术中事件，来确定与所述特定外科手术相关联的预测结果
·以将所述预测结果和所述患者相关联的方式来输出所述预测结果
·其中，识别所述至少一个特定术中事件是基于以下项中的至少一个的：所访问的帧中的检测到的外科手术工具、所访问的帧中的检测到的解剖结构、所访问的帧中的在外科手术工具与解剖结构之间的交互、或者所访问的帧中的检测到的异常流体泄漏情形
·其中，使用机器学习模型来识别所述访问的帧中的所述至少一个特定术中事件，所述机器学习模型是使用示例训练数据进行训练的
·其中，确定所述预测结果是基于所述患者的特征、电子医疗记录或者术后外科手术报告中的至少一个
·其中，使用机器学习模型，基于术中事件来确定与所述特定外科手术相关联的所述预测结果，所述机器学习模型是使用训练示例训练的
·其中，确定预测结果的步骤包括：使用经训练的机器学习模型来基于识别的术中事件以及所述患者的识别的特征来预测外科手术结果
·接收标识在所述外科手术之后的实现的外科手术结果的信息，并且通过使用接收到的信息对所述机器学习模型进行训练来更新所述机器学习模型
·识别所述患者的特征
·其中，所述预测结果还基于所识别的患者特征来进行确定
·其中，所述患者特征是从电子医疗记录导出的
·其中，识别所述患者特征的步骤包括：使用机器学习模型来对所访问的帧进行分析，所述机器学习模型是使用历史外科手术以及对应的历史患者特征的训练示例进行训练来识别患者特征的。
·其中，所述预测结果包括以下项中的至少一个：出院后事故、出院后不利事件、出院后并发症或者再入院的风险估计
·访问包含所建议的外科手术事件序列的数据结构
·其中，识别所述至少一个特定术中事件是基于在数据结构中识别的外科手术的所建议的事件序列与在所访问的帧中检测到的实际事件序列之间的偏差的识别的
·其中，偏差的识别是基于以下项中的至少一个的：所访问的帧中的检测到的外科手术工具、所访问的帧中的检测到的解剖结构、或者所访问的帧中的在外科手术工具与解剖结构之间的交互
·其中，偏差的识别包括使用机器学习模型，该机器学习模型是基于历史外科手术视频短片、历史建议事件序列以及识别与该历史视频短片中的历史建议事件序列的偏差的信息进行训练，来识别与建议的事件序列的偏差的
·其中，识别偏差包括：对所访问的帧与描绘所建议的事件序列的参考帧进行比较
·其中，输出预测结果包括：更新与患者相关联的电子医疗记录
·其中，输出预测结果包括：将预测结果发送给与医护提供者相关联的数据接收装置
·基于所访问的帧来确定很可能改善预测结果的至少一个动作
·基于所确定的至少一个动作来提供建议
本文所公开的系统和方法涉及对常规方法的非常规改进。所公开的实施方式的描述并非详尽的，并且不限于所公开的精确形式或实施方式。通过考虑所公开的实施方式的说明书和实践，对实施方式的修改和改变将是显而易见的。另外，所公开的实施方式不限于本文所讨论的示例。
已经出于例示的目的呈现了前述描述。该描述并非详尽的，并且不限于所公开的精确形式或实施方式。通过考虑所公开的实施方式的说明书和实践，对实施方式的修改和改变将是显而易见的。例如，所描述的实现包括硬件和软件，但是与本公开一致的系统和方法可以被单独实现为硬件。
基于本说明书的书面描述和方法的计算机程序处于软件开发人员的技能范围内。可以使用多种编程技术来创建各种函数、脚本、程序或模块。例如，程序、脚本、函数、程序段或程序模块可以通过或者借助于包括以下项的语言来进行设计：JAVASCRIPT、C、C++、JAVA、PHP、PYTHON、RUBY、PERL、BASH或者其它编程或脚本语言。可以将此类软件段或模块中的一个或更多个集成到计算机系统、非暂时性计算机可读介质或现有通信软件中。也可以将程序、模块或代码作为固件或电路逻辑来进行实现或复制。
此外，虽然本文已经描述了例示性实施方式，但是该范围可以包括具有基于本公开的等同要素、修改、省略、组合(例如，跨各种实施方式的方面的组合)、改变或更改的任何和所有实施方式。权利要求中的要素要基于权利要求中采用的语言来进行广义解释，而不限于本说明书中或本申请进行期间所描述的示例，这些示例要被解释为非排它性的。此外，所公开方法的步骤可以以任何方式来进行修改，包括重新排序步骤或者插入或删除步骤。本说明书和示例仅旨在被视为示例性的，并且真实的范围和精神是由所附权利要求以及它们的等同物的全部范围来指示的。

Claims (282)

1.一种用于审查外科手术视频的计算机实现方法，所述方法包括：
访问外科手术的至少一个视频；
使所述至少一个视频输出以供显示；
在被输出以供显示的所述至少一个视频上叠加外科手术时间线，其中，所述外科手术时间线包括标识外科手术阶段、术中外科手术事件以及决策制定节点中的至少一项的标记；以及
使外科医生能够在观看所述至少一个视频的回放时选择所述外科手术时间线上的一个或更多个标记，并由此使所述视频的显示跳至与所选择的标记相关联的位置。
2.根据权利要求1所述的方法，其中，所述标记是通过颜色或危急级别中的至少一项来编码的。
3.根据权利要求1所述的方法，其中，所述外科手术时间线包括标识所述外科手术的部分的文本信息。
4.根据权利要求1所述的方法，其中，所述至少一个视频包括以手术时间顺序排列的、来自多个外科手术的短片汇编，其中，所述短片汇编描绘了来自所述多个外科手术的并发症；并且其中，所述一个或更多个标记与所述多个外科手术相关联并且被显示在公共时间线上。
5.根据权利要求1所述的方法，其中，所述一个或更多个标记包括决策制定节点标记，所述决策制定节点标记对应于所述外科手术的决策制定节点，并且所述决策制定节点标记的选择使得外科医生能够观看来自两个或更多个对应的其它外科手术的两个或更多个另选视频片段；并且其中，所述两个或更多个视频片段呈现了不同的行为。
6.根据权利要求1所述的方法，其中，所述一个或更多个标记包括与所述外科手术的决策制定节点相对应的决策制定节点标记；并且其中，所述决策制定节点标记的选择造成与所选择的决策制定节点标记相关的一个或更多个另选的可能决策的显示。
7.根据权利要求6所述的方法，其中，与所述一个或更多个另选的可能决策相关联的一个或更多个估计结果是结合所述一个或更多个另选的可能决策的显示来显示的。
8.根据权利要求7所述的方法，其中，所述一个或更多个估计结果是分析包括相应的相似决策制定节点的多个过去外科手术视频的结果。
9.根据权利要求6所述的方法，其中，与在相应的相似过去决策制定节点进行的过去决策的分布相关的信息是结合所述另选的可能决策的显示来显示的。
10.根据权利要求9所述的方法，其中，所述外科手术的所述决策制定节点与第一患者相关联，并且所述相应的相似过去决策制定节点是从与如下患者相关联的过去外科手术中选择的：所述患者具有与所述第一患者相似的特征。
11.根据权利要求9所述的方法，其中，所述外科手术的所述决策制定节点与第一医疗专业人员相关联，并且所述相应的相似过去决策制定节点是从与如下的医疗专业人员相关联的过去外科手术中选择的：所述医疗专业人员具有与所述第一医疗专业人员相似的特征。
12.根据权利要求9所述的方法，其中，所述外科手术的所述决策制定节点与所述外科手术中的第一在先事件相关联，并且所述相似过去决策制定节点是从包括如下在先事件的过去外科手术中选择的：所述在先事件是与所述第一在先事件相似的。
13.根据权利要求1所述的方法，其中，所述标记包括术中外科手术事件标记，术中外科手术事件标记的选择使得所述外科医生能够观看来自不同的外科手术的另选视频片段，并且其中，所述另选视频片段呈现了处理所选的术中外科手术事件的不同方式。
14.根据权利要求1所述的方法，其中，所述视频输出上的叠加是在所显示的视频中描绘的所述外科手术结束之前显示的。
15.根据权利要求8所述的方法，其中，所述分析是基于与所述多个过去外科手术视频相关联的一个或更多个电子医疗记录的。
16.根据权利要求8所述的方法，其中，所述相应的相似决策制定节点根据相似性指标与所述外科手术的所述决策制定节点相似。
17.根据权利要求8所述的方法，其中，所述分析包括使用计算机视觉算法的实现。
18.根据权利要求1所述的方法，其中，所述标记与术中外科手术事件相关，并且所述术中外科手术事件标记的选择使得所述外科医生能够观看来自不同的外科手术的另选视频片段。
19.一种审查外科手术视频的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
访问外科手术的至少一个视频；
使所述至少一个视频输出以供显示；
在被输出以供显示的所述至少一个视频上叠加外科手术时间线，其中，所述外科手术时间线包括标识外科手术阶段、术中外科手术事件以及决策制定节点中的至少一项的标记；以及
使得外科医生能够在观看所述至少一个视频的回放时选择所述外科手术时间线上的一个或更多个标记，并由此使所述视频的显示跳至与所选择的标记相关联的位置。
20.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行使得能够实现外科手术视频审查的操作，所述操作包括：
访问外科手术的至少一个视频；
使所述至少一个视频输出以供显示；
在被输出以供显示的所述至少一个视频上叠加外科手术时间线，其中，所述外科手术时间线包括标识外科手术阶段、术中外科手术事件以及决策制定节点中的至少一项的标记；以及
使得外科医生能够在观看所述至少一个视频的回放时选择所述外科手术时间线上的一个或更多个标记，并由此使所述视频的显示跳至与所选择的标记相关联的位置。
21.一种用于视频编索引的计算机实现方法，所述方法包括：
访问要编索引的视频短片，所述要编索引的视频短片包括特定外科手术的短片；
对所述视频短片进行分析，以识别与所述特定外科手术的外科手术阶段相关联的视频短片位置；
生成与所述外科手术阶段相关联的阶段标签；
将所述阶段标签与所述视频短片位置相关联；
对所述视频短片进行分析，以识别所述外科手术阶段内的特定术中外科手术事件的事件位置；
将事件标签与所述特定术中外科手术事件的所述事件位置相关联；
存储与所述特定术中外科手术事件相关联的事件特征；
在包含其它外科手术的附加视频短片的数据结构中，将所述特定外科手术的所述视频短片的至少一部分与所述阶段标签、所述事件标签以及所述事件特征相关联，其中，所述数据结构还包括与所述其它外科手术中的一个或更多个外科手术相关联的相应的阶段标签、相应的事件标签以及相应的事件特征；
使得用户能够通过选择用于显示的视频短片的选定阶段标签、选定事件标签以及选定事件特征来访问所述数据结构；
在外科手术视频短片的所述数据结构中执行匹配所述至少一个选定阶段标签、选定事件标签以及选定事件特征的查找，以识别所存储的视频短片的匹配子集；以及
使所存储的视频短片的所述匹配子集向所述用户显示，由此使得所述用户能够观看至少一个术中外科手术事件的共享所述选定事件特征的外科手术短片，同时略过缺少所述选定事件特征的视频短片的回放。
22.根据权利要求21所述的方法，其中，使得所述用户能够观看至少一个术中外科手术事件的具有所述选定事件特征的外科手术短片，同时略过选定外科手术事件的缺少所述选定事件特征的部分的回放的步骤包括：向所述用户顺序地呈现多个术中外科手术事件的外科手术短片的共享所述选定事件特征的部分，同时略过选定外科手术事件的缺少所述选定事件特征的部分的回放。
23.根据权利要求21所述的方法，其中，所存储的事件特征包括所述外科手术事件的不利结果，并且其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看选定不利结果的外科手术短片，同时略过缺少所述选定不利结果的外科手术事件的回放。
24.根据权利要求21所述的方法，其中，所存储的事件特征包括外科手术技术，并且其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看选定外科手术技术的外科手术短片，同时略过不与所述选定外科手术技术相关联的外科手术短片的回放。
25.根据权利要求21所述的方法，其中，所存储的事件特征包括外科医生技能水平，并且其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看展示选定外科医生技能水平的短片，同时略过缺少所述选定外科医生技能水平的短片的回放。
26.根据权利要求21所述的方法，其中，所存储的事件特征包括实体患者特征，并且其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看展示选定实体患者特征的短片，同时略过缺少所述选定实体患者特征的短片的回放。
27.根据权利要求21所述的方法，其中，所存储的事件特征包括具体外科医生的身份，并且其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看展示选定外科医生的活动的短片，同时略过缺少所述选定外科医生的活动的短片的回放。
28.根据权利要求21所述的方法，其中，所存储的事件特征包括生理反应，并且其中，使所述匹配子集被显示的步骤包括：使得所述用户能够观看展示选定生理反应的短片，同时略过缺少所述选定生理反应的短片的回放。
29.根据权利要求21所述的方法，其中，对所述视频短片进行分析以识别与所述外科手术事件或所述外科手术阶段中的至少一者相关联的所述视频短片位置的步骤包括：对所述视频短片执行计算机图像分析，以识别所述外科手术阶段用于回放的开始位置或者外科手术事件的用于回放的开始中的至少一者。
30.根据权利要求21所述的方法，所述方法还包括：访问和与所述特定外科手术相似的多个外科手术相关的汇总数据，并且向所述用户呈现与所述选定事件特征相关联的统计信息。
31.根据权利要求21所述的方法，其中，访问的视频短片包括经由位于手术台上方的位置、患者的外科手术腔中、患者的器官内或者患者的脉管系统内的至少一者中的至少一个图像传感器拍摄的视频短片。
32.根据权利要求21所述的方法，其中，识别所述视频短片位置是基于用户输入的。
33.根据权利要求21所述的方法，其中，识别所述视频短片位置的步骤包括：使用计算机分析来对所述视频短片的帧进行分析。
34.根据权利要求29所述的方法，其中，所述计算机图像分析包括使用神经网络模型，以由此识别视频短片位置或阶段标签中的至少一者，所述神经网络模型是利用包括先前识别的外科手术阶段的示例视频帧训练的。
35.根据权利要求21所述的方法，所述方法还包括：基于用户输入来确定所存储的事件特征。
36.根据权利要求21所述的方法，所述方法还包括：基于描绘所述特定术中外科手术事件的视频短片的计算机分析，来确定所存储的事件特征。
37.根据权利要求21所述的方法，其中，生成所述阶段标签是基于描绘所述外科手术阶段的视频短片的计算机分析的。
38.根据权利要求21所述的方法，其中，识别所存储的视频短片的匹配子集的步骤包括：使用计算机分析来确定所存储的视频的匹配子集与所述选定事件特征之间的相似性程度。
39.一种外科手术视频编索引系统，所述外科手术视频编索引系统包括：
至少一个处理器，所述至少一个处理器被配置成：
访问要编索引的视频短片，所述要编索引的视频短片包括特定外科手术的短片；
对所述视频短片进行分析以生成阶段标签；
识别与所述外科手术的外科手术阶段相关联的视频短片位置；
将所述阶段标签与所述视频短片位置相关联；
对所述视频短片进行分析，以识别特定术中外科手术事件的事件位置；
将事件标签与所述特定术中外科手术事件的所述事件位置相关联；
存储所述特定术中外科手术事件的事件特征；
在包含其它外科手术的附加视频短片的数据结构中，将所述特定外科手术的所述视频短片的至少一部分与所述阶段标签、所述事件标签以及所述事件特征相关联，其中，所述数据结构还包括与一个或更多个其它外科手术相关联的相应的阶段标签、相应的事件标签以及相应的事件特征；
使得用户能够通过选择用于显示的视频的选定阶段标签、选定事件标签以及选定事件特征来访问所述数据结构；
在外科手术视频短片的所述数据结构中执行匹配所述至少一个选定阶段标签、选定事件标签或者选定事件特征的查找，以识别所存储的视频短片的匹配子集；以及
使所存储的视频短片的匹配子集向所述用户显示，由此使得所述用户能够观看至少一个术中外科手术事件的共享所述选定事件特征的外科手术短片，同时略过缺少所述选定事件特征的视频短片的回放。
40.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行使得能够实现视频编索引的操作，所述操作包括：
访问要编索引的视频短片，所述要编索引的视频短片包括特定外科手术的短片；
对所述视频短片进行分析以生成阶段标签；
识别与所述外科手术的外科手术阶段相关联的视频短片位置；
将所述阶段标签与所述视频短片位置相关联；
对所述视频短片进行分析，以识别特定术中外科手术事件的事件位置；
将事件标签与所述特定术中外科手术事件的所述事件位置相关联；
存储所述特定术中外科手术事件的事件特征；
在包含其它外科手术的附加视频短片的数据结构中，将所述特定外科手术的所述视频短片的至少一部分与所述阶段标签、所述事件标签以及所述事件特征相关联，其中，所述数据结构还包括与至少一个其它外科手术相关联的相应的阶段标签、相应的事件标签以及相应的事件特征；
使得用户能够通过选择用于显示的视频的选定阶段标签、选定事件标签以及选定事件特征来访问所述数据结构；
在外科手术视频短片的所述数据结构中执行匹配所述至少一个选定阶段标签、选定事件标签以及选定事件特征的查找，以识别所存储的视频短片的匹配子集；以及
使所存储的视频短片的匹配子集向所述用户显示，由此使得所述用户能够观看所述至少一个其它术中外科手术事件的共享所述选定事件特征的外科手术短片，同时略过缺少所述选定事件特征的视频短片的回放。
41.一种生成外科手术摘要短片的计算机实现方法，所述方法包括：
访问特定外科手术短片，所述特定外科手术短片包含与至少一个术中外科手术事件相关联的第一组帧以及不与外科手术活动相关联的第二组帧；
基于在先外科手术的历史外科手术短片来访问历史数据，其中，所述历史数据包括将外科手术短片的部分区分成与术中外科手术事件相关联的帧以及不与外科手术活动相关联的帧；
基于所述历史数据的所述信息，在所述特定外科手术短片中区分所述第一组帧与所述第二组帧；以及
在用户请求时，向所述用户呈现所述特定外科手术短片的所述第一组帧的汇总，同时略过向所述用户呈现所述第二组帧。
42.根据权利要求41所述的方法，其中，将所述历史外科手术短片的部分区分成与术中外科手术事件相关联的帧的所述信息包括外科手术工具的存在或者移动中的至少一项的指示符。
43.根据权利要求41所述的方法，其中，将所述历史外科手术短片的部分区分成与术中外科手术事件相关联的帧的所述信息包括在关联的帧中的检测到的工具和解剖特征。
44.根据权利要求41所述的方法，其中，所述用户的请求包括至少一个类型的关注术中外科手术事件的指示，并且其中，所述第一组帧描绘了所述至少一个类型的关注术中外科手术事件中的至少一个术中外科手术事件。
45.根据权利要求41所述的方法，其中，所述用户的请求包括观看所述特定外科手术短片中的多个术中外科手术事件的请求，并且其中，向所述用户呈现所述第一组帧的汇总的步骤包括：按时间顺序显示所述第一组帧，并且略过时间顺序的第二组帧。
46.根据权利要求41所述的方法，其中：
所述历史数据还包括历史外科手术结果数据以及相应的历史原因数据；
所述第一组帧包括原因帧集合和结果帧集合；
所述第二组帧包括中间帧集合；并且
其中，所述方法还包括以下步骤：
对所述特定外科手术短片进行分析，以识别外科手术结果以及所述外科手术结果的相应原因，所述识别是基于所述历史结果数据以及相应的历史原因数据的；
基于所述分析来检测所述特定外科手术短片中的所述结果帧集合，所述结果帧集合处于所述外科手术的结果阶段内；
基于所述分析来检测所述特定外科手术短片中的原因帧集合，所述原因帧集合处于所述外科手术的在时间上远离所述结果阶段的原因阶段内，并且其中，所述中间帧集合处于介于所述原因帧集合与所述结果帧集合之间的中间阶段内；
生成所述外科手术短片的因果摘要，其中，所述因果摘要包括所述原因帧集合以及所述结果帧集合并且略过所述中间帧集合；并且
其中，向所述用户呈现的所述第一组帧的汇总包括所述因果摘要。
47.根据权利要求46所述的方法，其中，所述原因阶段包括出现所述原因的外科手术阶段，并且其中，所述原因帧集合是所述原因阶段中的帧的子集。
48.根据权利要求46所述的方法，其中，所述结果阶段包括能够观测所述结果的外科手术阶段，并且其中，所述结果帧集合是所述结果阶段中的帧的子集。
49.根据权利要求46所述的方法，其中，所述方法还包括以下步骤：使用机器学习模型，所述机器学习模型被训练成使用所述历史数据来识别外科手术结果以及所述外科手术结果的相应原因，以对所述特定外科手术短片进行分析。
50.根据权利要求51所述的方法，其中，所述特定外科手术短片描绘了对患者执行的并且由手术室中的至少一个图像传感器拍摄的外科手术，并且其中，所述方法还包括以下步骤：导出所述第一组帧以存储在所述患者的医疗记录中。
51.根据权利要求50所述的方法，其中，所述方法还包括以下步骤：生成所述至少一个术中外科手术事件的索引，并且导出所述第一组帧的步骤包括：生成所述第一组帧的汇编，所述汇编包括所述索引并且被配置成使得能够基于对一个或更多个索引项的选择来观看所述至少一个术中外科手术事件。
52.根据权利要求51所述的方法，其中，所述汇编包含被存储为连续视频的不同术中事件的一系列帧。
53.根据权利要求50所述的方法，所述方法还包括以下步骤：将所述第一组帧与唯一患者标识符相关联，并且更新包括所述唯一患者标识符的医疗记录。
54.根据权利要求51所述的方法，其中，所述至少一个图像传感器的位置是所述手术室中的手术台上方或者所述患者体内中的至少一者。
55.根据权利要求51所述的方法，其中，在所述特定外科手术短片中区分所述第一组帧与所述第二组帧的步骤包括：
对所述特定外科手术短片进行分析，以检测医疗器械；
对所述特定外科手术短片进行分析，以检测解剖结构；
对所述视频进行分析，以检测所检测到的医疗器械与所检测到的解剖结构之间的相对移动；以及
基于所述相对移动来区分所述第一组帧与所述第二组帧，其中，所述第一组帧包括外科手术活动帧，并且所述第二组帧包括非外科手术活动帧，并且其中，呈现所述汇总由此使得准备外科手术的外科医生能够在节略的呈现的视频审查期间略过所述非外科手术活动帧。
56.根据权利要求55所述的方法，其中，区分所述第一组帧与所述第二组帧还是基于所述医疗器械与所述解剖结构之间的所检测到的相对位置的。
57.根据权利要求55所述的方法，其中，区分所述第一组帧与所述第二组帧还是基于所述医疗器械与所述解剖结构之间的所检测到的交互的。
58.根据权利要求55所述的方法，其中，略过所述非外科手术活动帧的步骤包括：略过拍摄非外科手术活动的大多数帧。
59.一种生成外科手术摘要短片的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
访问特定外科手术短片，所述特定外科手术短片包含与至少一个术中外科手术事件相关联的第一组帧以及不与外科手术活动相关联的第二组帧；
访问与在先外科手术的历史外科手术短片相关联的历史数据，其中，所述历史数据包括将所述历史外科手术短片的部分区分成与术中外科手术事件相关联的帧以及不与外科手术活动相关联的帧的信息；
基于所述历史数据的所述信息，在所述特定外科手术短片中区分所述第一组帧与所述第二组帧；以及
在用户请求时，向所述用户呈现所述特定外科手术短片的所述第一组帧的汇总，同时略过向所述用户呈现所述第二组帧。
60.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行使得能够生成外科手术摘要短片的操作，所述操作包括：
访问特定外科手术短片，所述特定外科手术短片包含与至少一个术中外科手术事件相关联的第一组帧以及不与外科手术活动相关联的第二组帧；
访问与在先外科手术的历史外科手术短片相关联的历史数据，其中，所述历史数据包括将所述历史外科手术短片的部分区分成与术中外科手术事件相关联的帧以及不与外科手术活动相关联的帧的信息；
基于所述历史数据的所述信息，在所述特定外科手术短片中区分所述第一组帧与所述第二组帧；以及
在用户请求时，向所述用户呈现所述特定外科手术短片的所述第一组帧的汇总，同时略过向所述用户呈现所述第二组帧。
61.一种外科手术准备的计算机实现方法，所述方法包括：
访问多个外科手术视频短片集合的储存库，所述多个外科手术视频短片集合反映对不同的患者执行的多个外科手术并且包括术中外科手术事件、外科手术结果、患者特征、外科医生特征以及术中外科手术事件特征；
使得准备设想的外科手术的外科医生能够输入与所述设想的外科手术相对应的病例特定信息；
对所述病例特定信息和与所述多个外科手术视频短片集合相关联的数据进行比较，以识别在所述设想的外科手术期间很可能遭遇的一组术中事件；
使用所述病例特定信息以及所识别的很可能遭遇的一组术中事件，来识别所述多个外科手术视频短片集合中的特定集合中的与所识别的一组术中事件相对应的特定帧，其中，所识别的特定帧包括来自对不同的患者执行的所述多个外科手术的帧；
确定来自不同的患者的视频短片的第一集合和第二集合包含与共享共同特征的术中事件相关联的帧；
从要向所述外科医生呈现的汇编中略过包含所述第二集合，并且在要向所述外科医生呈现的所述汇编中包含所述第一集合；以及
使得所述外科医生能够观看包括所述汇编的呈现，所述汇编包含来自对不同的患者执行的不同外科手术的帧。
62.根据权利要求61所述的方法，所述方法还包括：使得能够沿着所述呈现显示公共外科手术时间线，所述公共外科手术时间线包括与所识别的特定帧中的一个或更多个特定帧相对应的一个或更多个时间顺序标记。
63.根据权利要求61所述的方法，其中，使得所述外科医生能够观看所述呈现的步骤包括：顺序地显示对不同的患者执行的不同外科手术的视频短片的离散集合。
64.根据权利要求63所述的方法，其中，顺序地显示视频短片的离散集合的步骤包括：显示视频短片的所述离散集合的索引，使得所述外科医生能够选择视频短片的所述离散集合中的一个或更多个离散集合。
65.根据权利要求64所述的方法，其中，所述索引包括将所述离散集合解析成对应的外科手术阶段的时间线以及文本阶段指示符。
66.根据权利要求65所述的方法，其中，所述时间线包括与术中外科手术事件相对应的术中外科手术事件标记，并且其中，使得所述外科医生能够点击所述术中外科手术事件标记，以显示描绘对应的术中外科手术事件的至少一个帧。
67.根据权利要求61所述的方法，其中，与所述设想的外科手术相对应的所述病例特定信息是从外部装置接收的。
68.根据权利要求61所述的方法，其中，对所述病例特定信息和与所述多个外科手术视频短片集合相关联的数据进行比较的步骤包括：使用人工神经网络来识别在所述设想的外科手术期间很可能遭遇的所述一组术中事件。
69.根据权利要求68所述的方法，其中，使用所述人工神经网络的步骤包括：向所述人工神经网络提供所述病例特定信息作为输入。
70.根据权利要求61所述的方法，其中，所述病例特定信息包括与所述设想的手术相关联的患者的特征。
71.根据权利要求70所述的方法，其中，所述患者的特征是从所述患者的医疗记录接收的。
72.根据权利要求71所述的方法，其中，所述病例特定信息包括和外科手术工具相关的信息。
73.根据权利要求72所述的方法，其中，和所述外科手术工具相关的所述信息包括工具类型或工具型号中的至少一项。
74.根据权利要求71所述的方法，其中，所述共同特征包括不同患者的特征。
75.根据权利要求61所述的方法，其中，所述共同特征包括所述设想的外科手术的术中外科手术事件特征。
76.根据权利要求61所述的方法，其中，确定来自不同患者的视频短片的第一集合和第二集合包含与共享共同特征的术中事件相关联的帧的步骤包括：使用机器学习模型的实现来识别所述共同特征。
77.根据权利要求76所述的方法，其中，所述方法还包括：使用示例视频短片来训练所述机器学习模型，以确定视频短片的两个集合是否共享所述共同特征，并且其中，实现所述机器学习模型的步骤包括：实现经训练的机器学习模型。
78.根据权利要求61所述的方法，其中，所述方法还包括：基于所述术中外科手术事件、所述外科手术结果、所述患者特征、所述外科医生特征以及所述术中外科手术事件特征来训练机器学习模型以生成所述储存库的索引；以及生成所述储存库的所述索引，并且其中，对所述病例特定信息和与所述多个集合相关联的数据进行比较的步骤包括：搜索所述索引。
79.一种外科手术准备系统，所述外科手术准备系统包括：
至少一个处理器，所述至少一个处理器被配置成：
访问多个外科手术视频短片集合的储存库，所述多个外科手术视频短片集合反映对不同的患者执行的多个外科手术并且包括术中外科手术事件、外科手术结果、患者特征、外科医生特征以及术中外科手术事件特征；
使得准备设想的外科手术的外科医生能够输入与所述设想的外科手术相对应的病例特定信息；
对所述病例特定信息和与所述多个外科手术视频短片集合相关联的数据进行比较，以识别在所述设想的外科手术期间很可能遭遇的一组术中事件；
使用所述病例特定信息以及所识别的很可能遭遇的一组术中事件，来识别所述多个外科手术视频短片集合中的特定集合中的与所识别的一组术中事件相对应的特定帧，其中，所识别的特定帧包括来自对不同患者执行的多个外科手术的帧；
确定来自不同患者的视频短片的第一集合和第二集合包含与共享共同特征的术中事件相关联的帧；
从要向所述外科医生呈现的汇编中略过包含所述第二集合，并且在要向所述外科医生呈现的汇编中包含所述第一集合；以及
使得所述外科医生能够观看包括所述汇编的呈现，并且所述呈现包括来自对不同患者执行的不同外科手术的帧。
80.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行使得能够实现外科手术准备的操作，所述操作包括：
访问多个外科手术视频短片集合的储存库，所述多个外科手术视频短片集合反映对不同患者执行的多个外科手术并且包括术中外科手术事件、外科手术结果、患者特征、外科医生特征以及术中外科手术事件特征；
使得准备设想的外科手术的外科医生能够输入与所述设想的外科手术相对应的病例特定信息；
对所述病例特定信息和与所述多个外科手术视频短片集合相关联的数据进行比较，以识别在所述设想的外科手术期间很可能遭遇的一组术中事件；
使用所述病例特定信息以及所识别的很可能遭遇的一组术中事件，来识别所述多个外科手术视频短片集合中的特定集合中的与所识别的一组术中事件相对应的特定帧，其中，所识别的特定帧包括来自对不同患者执行的多个外科手术的帧；
确定来自不同患者的视频短片的第一集合和第二集合包含与共享共同特征的术中事件相关联的帧；
从要向所述外科医生呈现的汇编中略过包含所述第二集合，并且在要向所述外科医生呈现的汇编中包含所述第一集合；以及
使得所述外科医生能够观看包括所述汇编的呈现，并且所述呈现包括来自对不同患者执行的不同外科手术的帧。
81.一种分析外科手术短片的复杂性的计算机实现方法，所述方法包括：
对所述外科手术短片的帧进行分析，以识别第一帧集合中的解剖结构；
访问第一历史数据，所述第一历史数据是基于从第一组在先外科手术捕获的第一帧数据的分析的；
使用所述第一历史数据并且使用所识别的解剖结构来对所述第一帧集合进行分析，以确定与所述第一帧集合相关联的第一外科手术复杂程度；
对所述外科手术短片的帧进行分析，以识别第二帧集合中的医疗工具、所述解剖结构以及所述医疗工具与所述解剖结构之间的交互；
访问第二历史数据，所述第二历史数据是基于从第二组在先外科手术捕获的第二帧数据的分析的；以及
使用所述第二历史数据并且使用所识别的交互来对所述第二帧集合进行分析，以确定与所述第二帧集合相关联的第二外科手术复杂程度。
82.根据权利要求81所述的方法，其中，确定所述第一外科手术复杂程度的步骤还包括：识别所述第一帧集合中的医疗工具。
83.根据权利要求81所述的方法，其中，确定所述第二外科手术复杂程度是基于从所述第一帧集合到所述第二帧集合所经过的时间的。
84.根据权利要求81所述的方法，其中，确定所述第一复杂程度或确定所述第二复杂程度中的至少一者是基于生理反应的。
85.根据权利要求81所述的方法，其中，所述方法还包括：确定所述外科手术短片中由医护提供者展示的技能水平，并且其中，确定所述第一复杂程度或确定所述第二复杂程度中的至少一者是基于所确定的由所述医护提供者展示的技能水平的。
86.根据权利要求81所述的方法，所述方法还包括：确定所述第一外科手术复杂程度小于选定阈值，确定所述第二外科手术复杂程度超过所述选定阈值，并且响应于确定所述第一外科手术复杂程度小于所述选定阈值并且确定所述第二外科手术复杂程度超过所述选定阈值，将所述第二帧集合存储在数据结构中，同时从所述数据结构中略过所述第一帧集合。
87.根据权利要求81所述的方法，其中，识别所述第一帧集合中的所述解剖结构是基于医疗工具的标识以及所述医疗工具与所述解剖结构之间的第一交互的。
88.根据权利要求81所述的方法，所述方法还包括：
向具有所述第一外科手术复杂程度的所述第一帧集合加标签；
向具有所述第二外科手术复杂程度的所述第二帧集合加标签；以及
生成包括具有所述第一标签的所述第一帧集合和具有所述第二标签的所述第二帧集合的数据结构，以使得外科医生能够选择所述第二外科手术复杂程度，并由此使所述第二帧集合被显示，同时略过显示所述第一帧集合。
89.根据权利要求81所述的方法，所述方法还包括：使用机器学习模型来确定所述第一外科手术复杂程度或所述第二外科手术复杂程度中的至少一个复杂程度，所述机器学习模型被训练成使用从在先外科手术捕获的帧数据来识别外科手术复杂程度。
90.根据权利要求81所述的方法，其中，确定所述第二外科手术复杂程度是基于在所述第一帧集合与所述第二帧集合之间发生的事件的。
91.根据权利要求81所述的方法，其中，确定所述第一外科手术复杂程度或所述第二外科手术复杂程度中的至少一个复杂程度是基于所述解剖结构的状况的。
92.根据权利要求81所述的方法，其中，确定所述第一外科手术复杂程度或所述第二外科手术复杂程度中的至少一个复杂程度是基于对电子医疗记录的分析的。
93.根据权利要求81所述的方法，其中，确定所述第一外科手术复杂程度是基于在所述第一帧集合之后发生的事件的。
94.根据权利要求81所述的方法，其中，确定所述第一外科手术复杂程度或所述第二外科手术复杂程度中的至少一个复杂程度是基于与所述外科手术短片相关联的外科医生的技能水平的。
95.根据权利要求81所述的方法，其中，确定所述第二外科手术复杂程度是基于在所述第一帧集合之后额外的外科医生被召唤的指示的。
96.根据权利要求81所述的方法，其中，确定所述第二外科手术复杂程度是基于在所述第一帧集合之后特定药物被施用的指示的。
97.根据权利要求81所述的方法，其中，所述第一历史数据包括使用从所述第一组在先外科手术捕获的所述第一帧数据训练的机器学习模型。
98.根据权利要求81所述的方法，其中，所述第一历史数据包括特定解剖结构与特定外科手术复杂程度之间的统计关系的指示。
99.一种分析外科手术短片的复杂性的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
对所述外科手术短片的帧进行分析，以识别第一帧集合中的解剖结构；
访问第一历史数据，所述第一历史数据是基于从第一组在先外科手术捕获的第一帧数据的分析的；
使用所述第一历史数据并且使用所识别的解剖结构来分析所述第一帧集合，以确定与所述第一帧集合相关联的第一外科手术复杂程度；
对所述外科手术短片的帧进行分析，以识别第二帧集合中的医疗工具、解剖结构以及所述医疗工具与所述解剖结构之间的交互；
访问第二历史数据，所述第二历史数据是基于从第二组在先外科手术捕获的第二帧数据的分析的；以及
使用所述第二历史数据并且使用所识别的交互来分析所述第二帧集合，以确定与所述第二帧集合相关联的第二外科手术复杂程度。
100.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行使得能够实现外科手术视频审查的操作，所述操作包括：
对所述外科手术短片的帧进行分析，以识别第一帧集合中的解剖结构；
访问第一历史数据，所述第一历史数据是基于从第一组在先外科手术捕获的第一帧数据的分析的；
使用所述第一历史数据并且使用所识别的解剖结构来分析所述第一帧集合，以确定与所述第一帧集合相关联的第一外科手术复杂程度；
对所述外科手术短片的帧进行分析，以识别第二帧集合中的医疗工具、解剖结构以及所述医疗工具与所述解剖结构之间的交互；
访问第二历史数据，所述第二历史数据是基于从第二组在先外科手术捕获的第二帧数据的分析的；以及
使用基于从在先外科手术捕获的帧数据的分析的所述第二历史数据并且使用所识别的交互来分析所述第二帧集合，以确定与所述第二帧集合相关联的第二外科手术复杂程度。
101.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行用于使得能够调整手术室时间表的方法，所述方法包括以下步骤：
从位于外科手术室中的图像传感器接收跟踪进行中的外科手术的视觉数据；
访问包含基于历史外科手术数据的信息的数据结构；
使用所述数据结构对所述进行中的外科手术的所述视觉数据进行分析，以确定所述进行中的外科手术的估计完成时间；
访问所述外科手术室的时间表，所述时间表包括与所述进行中的外科手术的完成相关联的已安排时间；
基于所述进行中的外科手术的所估计完成时间，计算预期完成时间是否很可能导致相对于与完成相关联的已安排时间的差异；以及
输出关于所述差异的计算的通知，由此使得所述外科手术室的后续用户能够相应地调整他们的时间表。
102.根据权利要求101所述的非暂时性计算机可读介质，其中，所述通知包括经更新的手术室时间表。
103.根据权利要求101所述的非暂时性计算机可读介质，其中，所述经更新的手术室时间表使得排队的医护专业人员能够准备后续外科手术。
104.根据权利要求101所述的非暂时性计算机可读介质，其中，所述方法还包括：将所述通知以电子方式发送给与所述外科手术室的后续已安排用户相关联的装置。
105.根据权利要求101所述的非暂时性计算机可读介质，其中，所述方法还包括：
确定相对于所述与完成相关联的已安排时间的所述差异的程度；
响应于第一确定的程度，输出所述通知；以及
响应于第二确定的程度，放弃输出所述通知。
106.根据权利要求101所述的非暂时性计算机可读介质，其中，所述方法还包括：
确定所述预期完成时间是否很可能导致相对于与完成相关联的已安排时间延迟至少选定阈值时间量；
响应于确定所述预期完成时间很可能导致至少所述选定阈值时间量的延迟，输出所述通知；以及
响应于确定所述预期完成时间不太可能导致至少所述选定阈值时间量的延迟，放弃输出所述通知。
107.根据权利要求101所述的非暂时性计算机可读介质，其中，确定所述估计完成时间是基于与进行所述进行中的外科手术的医护专业人员相关联的一个或更多个存储的特征的。
108.根据权利要求101所述的非暂时性计算机可读介质，还包括以下步骤：基于所确定的完成所述进行中的外科手术的实际时间，更新历史平均完成时间。
109.根据权利要求101所述的非暂时性计算机可读介质，其中，所述图像传感器被定位在患者上方。
110.根据权利要求101所述的非暂时性计算机可读介质，其中，所述图像传感器被定位在外科手术工具上。
111.根据权利要求101所述的非暂时性计算机可读介质，其中，分析步骤还包括：检测接收到的视觉数据中的特征事件，访问基于历史外科手术数据的所述信息，以确定在发生所述历史外科手术数据中的所述特征事件之后所述外科手术的预期完成时间，并且基于所确定的预期完成时间来确定所述估计完成时间。
112.根据权利要求111所述的非暂时性计算机可读介质，其中，所述方法还包括：使用历史视觉数据来训练机器学习模型以检测所述特征事件。
113.根据权利要求101所述的非暂时性计算机可读介质，其中，所述方法还包括：使用历史视觉数据来训练机器学习模型以估计完成时间，并且其中，计算所述估计完成时间的步骤包括：实现经训练的机器学习模型。
114.根据权利要求101所述的非暂时性计算机可读介质，其中，所述方法还包括：使用平均历史完成时间来确定所述估计完成时间。
115.根据权利要求101所述的非暂时性计算机可读介质，其中，所述方法还包括：检测所述视觉数据中的医疗工具，并且其中，计算所述估计完成时间是基于所检测到的医疗工具的。
116.根据权利要求101所述的非暂时性计算机可读介质，其中，分析步骤还包括：检测所述视觉数据中的解剖结构，并且其中，计算所述估计完成时间是基于所检测到的解剖结构的。
117.根据权利要求101所述的非暂时性计算机可读介质，其中，分析步骤还包括：检测所述视觉数据中的解剖结构与医疗工具之间的交互，并且其中，计算所述估计完成时间是基于所检测到的交互的。
118.根据权利要求101所述的非暂时性计算机可读介质，其中，分析步骤还包括：确定所述视觉数据中的外科医生的技能水平，并且其中，计算所述估计完成时间是基于所确定的技能水平的。
119.一种使得能够调整手术室时间表的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
从位于外科手术室中的图像传感器接收跟踪进行中的外科手术的视觉数据；
访问包含基于历史外科手术数据的信息的数据结构；
使用所述数据结构对所述进行中的外科手术的所述视觉数据进行分析，以确定所述进行中的外科手术的估计完成时间；
访问所述外科手术室的时间表，所述时间表包括与所述进行中的外科手术的完成相关联的已安排时间；
基于所述进行中的外科手术的所述估计完成时间，计算预期完成时间是否很可能导致相对于与完成相关联的已安排时间的差异；以及
输出关于所述差异的计算的通知，由此使得所述外科手术室的后续用户能够相应地调整他们的时间表。
120.一种使得能够调整手术室时间表的计算机实现方法，所述方法包括：
从位于外科手术室中的图像传感器接收跟踪进行中的外科手术的视觉数据；
访问包含基于历史外科手术数据的信息的数据结构；
使用所述数据结构对所述进行中的外科手术的所述视觉数据进行分析，以确定所述进行中的外科手术的估计完成时间；
访问所述外科手术室的时间表，所述时间表包括与所述进行中的外科手术的完成相关联的已安排时间；
基于所述进行中的外科手术的所述估计完成时间，来计算预期完成时间是否很可能导致相对于与完成相关联的已安排时间的差异；以及
输出关于所述差异的计算的通知，由此使得所述外科手术室的后续用户能够相应地调整他们的时间表。
121.一种对外科手术图像进行分析以确定保险理赔的计算机实现方法，所述方法包括：
访问在针对患者的外科手术期间拍摄的视频帧；
对在所述外科手术期间拍摄的所述视频帧进行分析，以识别所述视频帧中的至少一个医疗器械、至少一个解剖结构以及所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互；
访问与医疗器械、解剖结构以及医疗器械与解剖结构之间的交互相联系的理赔准则数据库；
对所述至少一个医疗器械与所述至少一个解剖结构之间的所识别的至少一个交互与所述理赔准则数据库中的信息进行比较，以确定与所述外科手术相关联的至少一个理赔准则；以及
输出所述至少一个理赔准则，以供在获得所述外科手术的保险理赔中使用。
122.根据权利要求121所述的方法，其中，所输出的至少一个理赔准则包括多个输出的理赔准则。
123.根据权利要求122所述的方法，其中，所述多个输出的理赔准则中的至少两个输出的理赔准则是基于与公共解剖结构的不同交互的。
124.根据权利要求123所述的方法，其中，所述至少两个输出的理赔准则是部分地基于两个不同的医疗器械的检测来确定的。
125.根据权利要求121所述的方法，其中，确定所述至少一个理赔准则还基于术后外科手术报告的分析。
126.根据权利要求121所述的方法，其中，所述视频帧是从被定位在所述患者上方的图像传感器拍摄的。
127.根据权利要求121所述的方法，其中，所述视频帧是从与医疗装置相关联的图像传感器拍摄的。
128.根据权利要求121所述的方法，所述方法还包括：通过将所述至少一个理赔准则与所述外科手术相关联来更新所述数据库。
129.根据权利要求121所述的方法，所述方法还包括：生成已处理的理赔准则与历史视频短片中的多个医疗器械、所述历史视频短片中的多个解剖结构或者所述历史视频短片中的医疗器械与解剖结构之间的多个交互中的至少一项之间的相关性；以及基于所生成的相关性来更新所述数据库。
130.根据权利要求129所述的方法，其中，生成相关性的步骤包括：实现统计模型。
131.根据权利要求129所述的方法，所述方法还包括：使用机器学习模型来检测所述历史视频短片中的多个医疗器械、多个解剖结构或者医疗器械与解剖结构之间的多个交互中的至少一项。
132.根据权利要求121所述的方法，所述方法还包括：对所述外科手术期间拍摄的视频帧进行分析，以确定所述患者的解剖结构的状况；以及基于所确定的解剖结构的状况，来确定与所述外科手术相关联的所述至少一个理赔准则。
133.根据权利要求121所述的方法，所述方法还包括：对在所述外科手术期间拍摄的视频帧进行分析，以确定在所述外科手术期间所述患者的解剖结构的状况变化；以及基于所确定的解剖结构的状况变化，确定与所述外科手术相关联的所述至少一个理赔准则。
134.根据权利要求121所述的方法，所述方法还包括：对在所述外科手术期间拍摄的视频帧进行分析，以确定特定医疗装置的使用；以及基于所确定的特定医疗装置的使用，确定与所述外科手术相关联的所述至少一个理赔准则。
135.根据权利要求134所述的方法，所述方法还包括：对在所述外科手术期间拍摄的视频帧进行分析，以确定所述特定医疗装置的使用类型；响应于第一确定的使用类型，确定与所述外科手术相关联的至少第一理赔准则；以及响应于第二确定的使用类型，确定与所述外科手术相关联的至少第二理赔准则，所述至少第一理赔准则不同于所述至少第二理赔准则。
136.根据权利要求121所述的方法，所述方法还包括：接收与所述外科手术相关联的已处理的理赔准则，并且基于所述已处理的理赔准则来更新所述数据库。
137.根据权利要求136所述的方法，其中，所述已处理的理赔准则不同于所述至少一个理赔准则中的对应理赔准则。
138.根据权利要求121所述的方法，所述方法还包括：对在所述外科手术期间拍摄的视频帧进行分析，以确定在所述外科手术中使用的特定类型的医疗用品的量；以及基于所确定的量，来确定与所述外科手术相关联的所述至少一个理赔准则。
139.一种确定保险理赔的外科手术图像分析系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
访问在针对患者的外科手术期间拍摄的视频帧；
对在所述外科手术期间拍摄的视频帧进行分析，以识别所述视频帧中的至少一个医疗器械、至少一个解剖结构以及所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互；
访问与医疗器械、解剖结构以及医疗器械与解剖结构之间的交互相联系的理赔准则数据库；
对所述至少一个医疗器械与所述至少一个解剖结构之间的所识别的至少一个交互和所述理赔准则数据库中的信息进行比较，以确定与所述外科手术相关联的至少一个理赔准则；以及
输出所述至少一个理赔准则，以供在获得所述外科手术的保险理赔中使用。
140.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行使得能够确定保险理赔的操作，所述操作包括：
访问在针对患者的外科手术期间拍摄的视频帧；
对在所述外科手术期间拍摄的视频帧进行分析，以识别所述视频帧中的至少一个医疗器械、至少一个解剖结构以及所述至少一个医疗器械与所述至少一个解剖结构之间的至少一个交互；
访问与医疗器械、解剖结构以及医疗器械与解剖结构之间的交互相联系的理赔准则数据库；
对所述至少一个医疗器械与所述至少一个解剖结构之间的所识别的至少一个交互和所述理赔准则数据库中的信息进行比较，以确定与所述外科手术相关联的至少一个理赔准则；以及
输出所述至少一个理赔准则，以供在获得所述外科手术的保险理赔中使用。
141.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行使得能够自动填写外科手术的术后报告的操作，所述操作包括：
接收患者的标识符的输入；
接收医护提供者的标识符的输入；
接收由所述医护提供者对所述患者执行的外科手术的外科手术短片的输入；
对所述外科手术短片的多个帧进行分析，以导出基于图像的信息以供填写所述外科手术的术后报告；以及
引起所导出的基于图像的信息填写所述外科手术的所述术后报告。
142.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括：对所述外科手术短片进行分析，以识别所述外科手术的一个或更多个阶段，并且识别所识别的阶段中的至少一个阶段的特性；并且其中，所导出的基于图像的信息是基于所识别的至少一个阶段以及所述至少一个阶段的所识别的特性的。
143.根据权利要求142所述的非暂时性计算机可读介质，其中，所述操作还包括：对所述外科手术短片进行分析，以将名称与所述至少一个阶段相关联；并且其中，所导出的基于图像的信息包括与所述至少一个阶段相关联的所述名称。
144.根据权利要求142所述的非暂时性计算机可读介质，其中，所述操作还包括：至少确定所述至少一个阶段的开始；并且其中，所导出的基于图像的信息是基于所确定的开始的。
145.根据权利要求142所述的非暂时性计算机可读介质，其中，所述操作还包括：将时间标记与所述至少一个阶段相关联；并且其中，所导出的基于图像的信息包括与所述至少一个阶段相关联的所述时间标记。
146.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括：向所述医护提供者发送数据，所发送的数据包括所述患者标识符以及所导出的基于图像的信息。
147.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括：对所述外科手术短片进行分析，以识别针对术后治疗的至少一个建议；以及提供所识别的至少一个建议。
148.根据权利要求141所述的非暂时性计算机可读介质，其中，所引起的所述外科手术的所述术后报告的填写被配置成使得医护提供者能够更改所述术后报告中的所导出的基于图像的信息的至少部分。
149.根据权利要求141所述的非暂时性计算机可读介质，其中，所引起的所述外科手术的所述术后报告的填写被配置成使要在所述术后报告中标识的所导出的基于图像的信息的至少部分作为自动生成的数据。
150.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括：对所述外科手术短片进行分析，以识别所述外科手术短片内的外科手术事件，并且识别所识别的外科手术事件的特性；并且其中，所导出的基于图像的信息是基于所识别的外科手术事件和所识别的特性的。
151.根据权利要求150所述的非暂时性计算机可读介质，其中，所述操作还包括：对所述外科手术短片进行分析，以确定所识别的外科手术事件的事件名称；并且其中，所导出的基于图像的信息包括所确定的事件名称。
152.根据权利要求150所述的非暂时性计算机可读介质，其中，所述操作还包括：将时间标记与所识别的外科手术事件相关联；并且其中，所导出的基于图像的信息包括所述时间标记。
153.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括：以使得能够更新电子医疗记录的形式来提供所导出的基于图像的信息。
154.根据权利要求141所述的非暂时性计算机可读介质，其中，所导出的基于图像的信息是部分地基于用户输入的。
155.根据权利要求141所述的非暂时性计算机可读介质，其中，所导出的基于图像的信息包括与所述外科手术的第一部分相关联的第一部分以及与所述外科手术的第二部分相关联的第二部分，并且其中，所述操作还包括：
接收初步术后报告；
对所述初步术后报告进行分析，以选择所述初步术后报告内的第一位置和第二位置，所述第一位置与所述外科手术的所述第一部分相关联，所述第二位置与所述外科手术的所述第二部分相关联；以及
使所导出的基于图像的信息的所述第一部分插入所选定的第一位置，并使所导出的基于图像的信息的所述第二部分插入所选定的第二位置。
156.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括：对所述外科手术短片进行分析，以选择所述外科手术短片的至少一个帧的至少部分；以及使所述外科手术短片的至少一个帧的所选定的至少部分被包括在所述外科手术的所述术后报告中。
157.根据权利要求156所述的非暂时性计算机可读介质，其中，所述操作还包括：
接收初步术后报告；以及
对所述初步术后报告以及所述外科手术短片进行分析，以选择所述外科手术的至少一个帧的所述至少部分。
158.根据权利要求141所述的非暂时性计算机可读介质，其中，所述操作还包括：
接收初步术后报告；
对所述初步术后报告以及所述外科手术短片进行分析，以识别所述初步术后报告与所述外科手术短片之间的至少一个不一致；以及
提供所识别的至少一个不一致的指示。
159.一种填写外科手术的术后报告的计算机实现方法，所述方法包括：
接收患者的标识符的输入；
接收医护提供者的标识符的输入；
接收由所述医护提供者对所述患者执行的外科手术的外科手术短片的输入；
对所述外科手术短片的多个帧进行分析，以基于医疗器械与生物结构之间的检测到的交互来识别所述外科手术的阶段，并且基于所述交互，将名称与各个识别的阶段相关联；
至少确定各个识别的阶段的开始；
将时间标记与各个识别的阶段的所述开始相关联；
向所述医护提供者发送数据，所发送的数据包括所述患者标识符、所述外科手术的所识别的阶段的所述名称、以及与所识别的阶段相关联的时间标记；以及
按照使得所述医护提供者能够更改所述术后报告中的阶段名称的方式用所发送的数据来填写术后报告。
160.一种自动填写外科手术的术后报告的系统，所述系统包括：
接收患者的标识符的输入；
接收医护提供者的标识符的输入；
接收由所述医护提供者对所述患者执行的外科手术的外科手术短片的输入；
对所述外科手术短片的多个帧进行分析，以基于医疗器械与生物结构之间的检测到的交互来识别所述外科手术的阶段，并且基于所述交互，将名称与各个识别的阶段相关联；
至少确定各个识别的阶段的开始；
将时间标记与各个识别的阶段的所述开始相关联；
向所述医护提供者发送数据，所发送的数据包括所述患者标识符、所述外科手术的所识别的阶段的所述名称、以及所识别的阶段的所述时间标记；以及
按照使得所述医护提供者能够更改所述术后报告中的阶段名称的方式用所发送的数据填写术后报告。
161.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行使得能够确定和通知外科手术中的略过的事件的操作，所述操作包括：
访问在特定外科手术期间拍摄的视频帧；
访问所存储的标识所述外科手术的建议的事件序列的数据；
对所访问的帧与所建议的事件序列进行比较，以识别所述特定外科手术与所述外科手术的所建议的事件序列之间的偏差的指示；
确定与所述偏差相关联的术中外科手术事件的名称；以及
提供所述偏差的通知，所述通知包括与所述偏差相关联的所述术中外科手术事件的所述名称。
162.根据权利要求161所述的非暂时性计算机可读介质，其中，识别所述偏差的所述指示以及提供所述通知是在所述外科手术期间实时发生的。
163.根据权利要求161所述的非暂时性计算机可读介质，其中，所述操作还包括：
接收特定动作将要在所述特定外科手术中发生的指示；
使用所建议的事件序列来识别所述特定动作的初步动作；
基于对所访问的帧的分析，来确定所识别的初步动作尚未发生；
响应于确定所识别的初步动作尚未发生，识别所述偏差的所述指示。
164.根据权利要求161所述的非暂时性计算机可读介质，其中，所述特定外科手术是胆囊切除术。
165.根据权利要求161所述的非暂时性计算机可读介质，其中，所建议的事件序列是基于关键安全视野的。
166.根据权利要求161所述的非暂时性计算机可读介质，其中，所述特定外科手术是阑尾切除术。
167.根据权利要求161所述的非暂时性计算机可读介质，其中，所述特定外科手术是疝气修补术。
168.根据权利要求161所述的非暂时性计算机可读介质，其中，所述特定外科手术是子宫切除术。
169.根据权利要求161所述的非暂时性计算机可读介质，其中，所述特定外科手术是根治性前列腺切除术。
170.根据权利要求161所述的非暂时性计算机可读介质，其中，所述特定外科手术是部分肾切除术，并且所述偏差包括忽视标识肾门。
171.根据权利要求161所述的非暂时性计算机可读介质，其中，所述特定外科手术是甲状腺切除术，并且所述偏差包括忽视标识喉返神经。
172.根据权利要求161所述的非暂时性计算机可读介质，其中，所述操作还包括：识别与所述偏差相关联的帧集合，并且其中，提供所述通知的步骤包括：显示所识别的与所述偏差相关联的帧集合。
173.根据权利要求161所述的非暂时性计算机可读介质，其中，所述特定动作将要发生的所述指示是基于来自执行所述特定外科手术的外科医生的输入的。
174.根据权利要求163所述的非暂时性计算机可读介质，其中，所述特定动作将要发生的所述指示是特定医疗器械进入选定关注区域。
175.根据权利要求161所述的非暂时性计算机可读介质，其中，识别所述偏差的步骤包括：确定外科手术工具处于特定解剖区域中。
176.根据权利要求161所述的非暂时性计算机可读介质，其中，所述特定外科手术是部分结肠切除术。
177.根据权利要求176所述的非暂时性计算机可读介质，其中，所述偏差包括忽视执行吻合术。
178.根据权利要求161所述的非暂时性计算机可读介质，其中，识别所述偏差的所述指示是基于与术中外科手术相关联的经过时间的。
179.一种使得能够确定和通知外科手术中的略过事件的计算机实现方法，所述方法包括：
访问在特定外科手术期间拍摄的视频帧；
访问所存储的标识所述外科手术的建议的事件序列的数据；
对所访问的帧与所建议的事件序列进行比较，以识别所述特定外科手术与所述外科手术的所建议的事件序列之间的偏差；
确定与所述偏差相关联的术中外科手术事件的名称；以及
提供所述偏差的通知，所述通知包括与所述偏差相关联的所述术中外科手术事件的所述名称。
180.一种使得能够确定和通知外科手术中的略过事件的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
访问在特定外科手术期间拍摄的视频帧；
访问所存储的标识所述外科手术的建议的事件序列的数据；
对所访问的帧与所建议的事件序列进行比较，以识别所述特定外科手术与所述外科手术的所建议的事件序列之间的偏差；
确定与所述偏差相关联的术中外科手术事件的名称；以及
提供所述偏差的通知，所述通知包括与所述偏差相关联的所述术中外科手术事件的所述名称。
181.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行提供外科手术的决策支持的操作，所述操作包括：
接收外科医生在手术室中对患者执行的外科手术的视频短片；
访问包括表征外科手术的图像相关数据的至少一个数据结构；
使用所述图像相关数据对接收到的视频短片进行分析，以确定外科手术决策制定节点的存在；
在所述至少一个数据结构中，访问结果与在所述决策制定节点采取的特定动作之间的相关性；以及
基于所确定的决策制定节点的存在以及所访问的相关性，向用户输出采取所述特定动作的建议。
182.根据权利要求181所述的非暂时性计算机可读介质，其中，所述指令被配置成使所述至少一个处理器在所述外科手术期间实时执行所述操作，并且其中，所述用户是外科医生。
183.根据权利要求181所述的非暂时性计算机可读介质，其中，所述决策制定节点是通过对多个不同的历史手术的分析来确定的，在所述多个不同的历史手术中，在共同外科手术情形之后发生不同的动作过程。
184.根据权利要求181所述的非暂时性计算机可读介质，其中，所述视频短片包括来自内窥镜和体内摄像机中的至少一者的图像。
185.根据权利要求181所述的非暂时性计算机可读介质，其中，所述建议包括进行医学检验的建议。
186.根据权利要求185所述的非暂时性计算机可读介质，其中，所述操作还包括：
接收所述医学检验的结果；以及
基于所确定的决策制定节点的存在、所访问的相关性以及所接收到的医学检验的结果，向所述用户输出采取特定动作的第二建议。
187.根据权利要求181所述的非暂时性计算机可读介质，其中，所述特定动作包括将额外的外科医生带到所述手术室。
188.根据权利要求181所述的非暂时性计算机可读介质，其中，所述决策制定节点包括不恰当的接近或暴露、解剖结构的缩回、解剖结构的错误判断或者流体泄漏。
189.根据权利要求181所述的非暂时性计算机可读介质，其中，所述建议包括如果采取所述特定动作则将发生希望的外科手术结果的置信水平。
190.根据权利要求181所述的非暂时性计算机可读介质，其中，所述建议包括如果不采取所述特定动作则将不会发生希望的结果的置信水平。
191.根据权利要求181所述的非暂时性计算机可读介质，其中，所述建议是基于自所述外科手术中的特定点起经过的时间的。
192.根据权利要求181所述的非暂时性计算机可读介质，其中，所述建议包括如果不采取所述特定动作则很可能发生不希望的外科手术结果的指示。
193.根据权利要求181所述的非暂时性计算机可读介质，其中，所述建议是基于所述外科医生的技能水平的。
194.根据权利要求181所述的非暂时性计算机可读介质，其中，所述建议是基于在所述决策制定节点之前在所述外科手术中发生的外科手术事件的。
195.根据权利要求181所述的非暂时性计算机可读介质，其中，所述特定动作包括多个步骤。
196.根据权利要求181所述的非暂时性计算机可读介质，其中，所述外科手术决策制定节点的存在的所述确定是基于检测到的解剖结构的生理反应以及与外科手术工具相关联的运动中的至少一项的。
197.根据权利要求181所述的非暂时性计算机可读介质，其中，所述操作还包括：接收所述患者的生命体征，并且其中，所述建议是基于所访问的相关性以及所述生命体征的。
198.根据权利要求181所述的非暂时性计算机可读介质，其中，所述外科医生是外科手术机器人，并且所述建议是以针对所述外科手术机器人的指令的形式提供的。
199.根据权利要求181所述的非暂时性计算机可读介质，其中，所述建议是基于所述患者的组织的状况的。
200.根据权利要求181所述的非暂时性计算机可读介质，其中，所述特定动作的所述建议包括创建造口。
201.一种提供外科手术的决策支持的计算机实现方法，所述方法包括：
接收外科医生在手术室中对患者执行的外科手术的视频短片；
访问包括表征外科手术的图像相关数据的至少一个数据结构；
使用所述图像相关数据对接收到的视频短片进行分析，以确定外科手术决策制定节点的存在；
在所述至少一个数据结构中，访问结果与在所述决策制定节点采取的特定动作之间的相关性；以及
基于所确定的决策制定节点的存在以及所访问的相关性，向所述外科医生输出采取所述特定动作或者避免所述特定动作的建议。
202.一种提供外科手术的决策支持的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
接收外科医生在手术室中对患者执行的外科手术的视频短片；
访问包括表征外科手术的图像相关数据的至少一个数据结构；
使用所述图像相关数据对接收到的视频短片进行分析，以确定外科手术决策制定节点的存在；
在所述至少一个数据结构中，访问结果与在所述决策制定节点采取的特定动作之间的相关性；以及
基于所确定的决策制定节点的存在以及所访问的相关性，向所述外科医生输出采取所述特定动作或者避免所述特定动作的建议。
203.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行能够估计在外科手术期间解剖结构上的接触力的操作，所述操作包括：
从手术室中的至少一个图像传感器接收外科手术的图像数据；
对接收到的图像数据进行分析，以确定解剖结构的标识并且确定在所述图像数据中反映的所述解剖结构的状况；
选择与所述解剖结构相关联的接触力阈值，所选择的接触力阈值是基于所述解剖结构的确定的状况的；
接收所述解剖结构上的实际接触力的指示；
对实际接触力的所述指示和所选择的接触力阈值进行比较；以及
基于确定实际接触力的所述指示超过所选择的接触力阈值，输出通知。
204.根据权利要求203所述的非暂时性计算机可读介质，其中，所述接触力阈值是与张力水平相关联的。
205.根据权利要求203所述的非暂时性计算机可读介质，其中，所述接触力阈值是与压迫水平相关联的。
206.根据权利要求203所述的非暂时性计算机可读介质，其中，所述实际接触力是和医疗器械与所述解剖结构之间的接触相关联的。
207.根据权利要求203所述的非暂时性计算机可读介质，其中，实际接触力的所述指示是基于所述图像数据的图像分析来估计的。
208.根据权利要求203所述的非暂时性计算机可读介质，其中，输出所述通知的步骤包括：向进行所述外科手术的外科医生提供实时警告。
209.根据权利要求203所述的非暂时性计算机可读介质，其中，所述通知是对外科手术机器人的指令。
210.根据权利要求203所述的非暂时性计算机可读介质，其中，所述操作还包括：根据所述图像数据确定所述外科手术处于战斗模式下，并且其中，所述通知在所述战斗模式期间被挂起。
211.根据权利要求203所述的非暂时性计算机可读介质，其中，所述操作还包括：根据所述图像数据确定所述外科医生正在忽视接触力通知的模式下进行手术，并且基于确定所述外科医生正在忽视接触力通知的模式下进行手术，至少临时挂起进一步的接触力通知。
212.根据权利要求203所述的非暂时性计算机可读介质，其中，选择所述接触力阈值是基于所述解剖结构与医疗器械之间的接触位置的。
213.根据权利要求203所述的非暂时性计算机可读介质，其中，选择所述接触力阈值是基于所述解剖结构与医疗器械之间的接触角度的。
214.根据权利要求203所述的非暂时性计算机可读介质，其中，选择所述接触力阈值的步骤包括：向回归模型提供所述解剖结构的状况作为输入，并且基于所述回归模型的输出来选择所述接触力阈值。
215.根据权利要求203所述的非暂时性计算机可读介质，其中，选择所述接触力阈值是基于包括对应的接触力阈值的解剖结构表的。
216.根据权利要求203所述的非暂时性计算机可读介质，其中，选择所述接触力阈值是基于由外科医生执行的动作的。
217.根据权利要求203所述的非暂时性计算机可读介质，其中，实际接触力的所述指示是从外科手术工具接收的。
218.根据权利要求203所述的非暂时性计算机可读介质，其中，实际接触力的所述指示是从外科手术机器人接收的。
219.根据权利要求203所述的非暂时性计算机可读介质，其中，所述操作还包括：使用利用训练示例训练的机器学习模型，来确定所述图像数据中的所述解剖结构的状况。
220.根据权利要求203所述的非暂时性计算机可读介质，其中，所述操作还包括：使用利用训练示例训练的机器学习模型来选择所述接触力阈值。
221.一种估计在外科手术期间解剖结构上的接触力的计算机实现方法，所述方法包括：
从手术室中的至少一个图像传感器接收外科手术的图像数据；
对接收到的图像数据进行分析，以确定解剖结构的标识并且确定在所述图像数据中反映的所述解剖结构的状况；
选择与所述解剖结构相关联的接触力阈值，所选择的接触力阈值是基于所述解剖结构的确定的状况的；
接收所述解剖结构上的实际接触力的指示；
对实际接触力的所述指示和所选择的接触力阈值进行比较；以及
基于确定实际接触力的所述指示超过所选择的接触力阈值，输出通知。
222.一种估计在外科手术期间解剖结构上的接触力的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
从手术室中的至少一个图像传感器接收外科手术的图像数据；
对接收到的图像数据进行分析，以确定解剖结构的标识并且确定在所述图像数据中反映的所述解剖结构的状况；
选择与所述解剖结构相关联的接触力阈值，所选择的接触力阈值是基于所述解剖结构的确定的状况的；
接收所述解剖结构上的实际接触力的指示；
对实际接触力的所述指示和所选择的接触力阈值进行比较；以及
基于确定实际接触力的所述指示超过所选择的接触力阈值，输出通知。
223.一种非暂时性计算机可读介质，所述介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行能够在外科手术期间更新预测结果的操作，所述操作包括：
从被设置成拍摄外科手术的图像的至少一个图像传感器，接收与所述外科手术期间的第一事件相关联的图像数据；
基于接收到的与所述第一事件相关联的图像数据，确定与所述外科手术相关联的预测结果；
从被设置成拍摄外科手术的图像的至少一个图像传感器，接收与所述外科手术期间的第二事件相关联的图像数据；
基于接收到的与所述第二事件相关联的图像数据，确定所述预测结果的使所述预测结果降低到阈值以下的变化；
访问基于在先外科手术的图像相关数据的数据结构；
基于所访问的图像相关数据来识别建议的补救动作；以及
输出所建议的补救动作。
224.根据权利要求223所述的非暂时性计算机可读介质，其中，所建议的补救动作包括建议外科医生离开所述外科手术去休息一下。
225.根据权利要求223所述的非暂时性计算机可读介质，其中，所建议的补救动作包括请求另一外科医生协助的建议。
226.根据权利要求223所述的非暂时性计算机可读介质，其中，所建议的补救动作包括对所述外科手术的修正。
227.根据权利要求223所述的非暂时性计算机可读介质，其中，所述预测结果包括再入院的可能性。
228.根据权利要求223所述的非暂时性计算机可读介质，其中，确定所述预测结果的变化是基于出血的量值的。
229.根据权利要求223所述的非暂时性计算机可读介质，其中，识别所述补救动作是基于所述补救动作很可能将所述预测结果提升到高于所述阈值的指示的。
230.根据权利要求223所述的非暂时性计算机可读介质，其中，识别所述补救动作的步骤包括：使用机器学习模型，所述机器学习模型是使用补救动作和外科手术结果的历史示例进行训练来识别补救动作的。
231.根据权利要求223所述的非暂时性计算机可读介质，其中，确定所述预测结果的步骤包括：使用机器学习模型，所述机器学习模型是基于历史外科手术视频以及指示与所述历史外科手术视频相对应的外科手术结果的信息进行训练来确定预测结果的。
232.根据权利要求223所述的非暂时性计算机可读介质，其中，确定所述预测结果的步骤包括：识别外科手术工具与解剖结构之间的交互，并且基于所识别的交互来确定所述预测结果。
233.根据权利要求223所述的非暂时性计算机可读介质，其中，确定所述预测结果是基于所述图像数据中描绘的外科医生的技能水平的。
234.根据权利要求223所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述图像数据中描绘的外科医生的技能水平；并且其中，确定所述预测结果的变化是基于所述技能水平的。
235.根据权利要求223所述的非暂时性计算机可读介质，其中，所述操作还包括：响应于所述预测结果降低到阈值以下，更新与和所述外科手术相关的外科手术室相关联的调度记录。
236.根据权利要求223所述的非暂时性计算机可读介质，其中，确定所述预测结果的变化是基于在所述外科手术中的特定点与所述第二事件之间经过的时间的。
237.根据权利要求223所述的非暂时性计算机可读介质，其中，确定所述预测结果是基于所述图像数据中描绘的解剖结构的状况的。
238.根据权利要求237所述的非暂时性计算机可读介质，其中，所述操作还包括：确定所述解剖结构的状况。
239.根据权利要求223所述的非暂时性计算机可读介质，其中，确定所述预测结果的变化是基于所述解剖结构的至少部分的颜色变化的。
240.根据权利要求223所述的非暂时性计算机可读介质，其中，确定所述预测结果的变化是基于所述解剖结构的至少部分的外观变化的。
241.一种更新外科手术期间的预测结果的计算机实现方法，所述方法包括：
从被设置成拍摄外科手术的图像的至少一个图像传感器接收与所述外科手术期间的第一事件相关联的图像数据；
基于接收到的与所述第一事件相关联的图像数据，确定与所述外科手术相关联的预测结果；
从被设置成拍摄外科手术的图像的至少一个图像传感器接收与所述外科手术期间的第二事件相关联的图像数据；
基于接收到的与所述第二事件相关联的图像数据，确定所述预测结果的使所述预测结果降低到阈值以下的变化；
访问基于在先外科手术的图像相关数据的数据结构；
基于所述数据结构来识别建议的补救动作；以及
输出所建议的补救动作。
242.一种更新外科手术期间的预测结果的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
从被设置成拍摄外科手术的图像的至少一个图像传感器接收与所述外科手术期间的第一事件相关联的图像数据；
基于接收到的与所述第一事件相关联的图像数据，确定与所述外科手术相关联的预测结果；
从被设置成拍摄外科手术的图像的至少一个图像传感器接收与所述外科手术期间的第二事件相关联的图像数据；
基于接收到的与所述第二事件相关联的图像数据，确定所述预测结果的使所述预测结果降低到阈值以下的变化；
访问基于在先外科手术的图像相关数据的数据结构；
基于所述数据结构来识别建议的补救动作；以及
输出所建议的补救动作。
243.一种分析外科手术期间的流体泄漏的计算机实现方法，所述方法包括：
实时接收外科手术的腔内视频；
对所述腔内视频的帧进行分析，以确定所述腔内视频中的异常流体泄漏情形；以及
当确定了所述异常流体泄漏情形时，制定补救动作。
244.根据权利要求243所述的方法，其中，所述流体包括血液、胆汁或尿液中的至少一种。
245.根据权利要求243所述的方法，其中，分析步骤包括：对所述腔内视频的帧进行分析，以识别血液飞溅以及所述血液飞溅的至少一个特性，并且其中，所述补救动作的选择取决于所识别的血液飞溅的所述至少一个特性。
246.根据权利要求245所述的方法，其中，所述至少一个特性是与所述血液飞溅的来源相关联的。
247.根据权利要求245所述的方法，其中，所述至少一个特性是与所述血液飞溅的强度相关联的。
248.根据权利要求245所述的方法，其中，所述至少一个特性是与所述血液飞溅的体积相关联的。
249.根据权利要求243所述的方法，其中，对所述腔内视频的帧进行分析的步骤包括：确定所述异常流体泄漏情形的特性，并且其中，所述补救动作的选择取决于所确定的特性。
250.根据权利要求249所述的方法，其中，所述特性是与所述流体泄漏的体积相关联的。
251.根据权利要求249所述的方法，其中，所述特性是与所述流体泄漏的颜色相关联的。
252.根据权利要求249所述的方法，其中，所述特性是与所述流体泄漏所关联的流体类型相关联的。
253.根据权利要求249所述的方法，其中，所述特性是与流体泄漏率相关联的。
254.根据权利要求243所述的方法，其中，所述方法还包括：存储所述腔内视频，并且在确定有所述异常泄漏情形时，对所存储的腔内视频的在先帧进行分析以确定泄漏源。
255.根据权利要求243所述的方法，其中，制定所述补救动作的步骤包括：提供泄漏源的通知。
256.根据权利要求255所述的方法，其中，确定所述泄漏源的步骤包括：识别破裂的解剖器官。
257.根据权利要求243所述的方法，其中，所述方法还包括：确定与所述流体泄漏情形相关联的流量，并且其中，制定所述补救动作是基于所述流量的。
258.根据权利要求243所述的方法，其中，所述方法还包括：确定与所述流体泄漏情形相关联的流体流失量，并且其中，制定所述补救动作是基于所述流体流失量的。
259.根据权利要求243所述的方法，其中，对腔内视频的帧进行分析以确定腔内视频中的异常流体泄漏情形的步骤包括：确定所确定的流体泄漏情形是否是异常流体泄漏情形，并且其中，所述方法还包括：
响应于确定所确定的流体泄漏情形是异常流体泄漏情形，制定所述补救动作；以及
响应于确定所确定的流体泄漏情形是正常流体泄漏情形，放弃所述补救动作的制定。
260.根据权利要求243所述的方法，其中，所述腔内视频描绘了执行所述外科手术的外科手术机器人，并且所述补救动作包括向所述机器人发送指令。
261.一种分析流体泄漏的外科手术系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
实时接收外科手术的腔内视频；
对所述腔内视频的帧进行分析，以确定所述腔内视频中的异常流体泄漏情形；以及
当确定了所述异常流体泄漏情形时，制定补救动作。
262.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行能够进行流体泄漏检测的操作，所述操作包括：
实时接收外科手术的腔内视频；
对所述腔内视频的帧进行分析，以确定所述腔内视频中的异常流体泄漏情形；以及
当确定了所述异常流体泄漏情形时，制定补救动作。
263.一种预测出院后风险的计算机实现方法，所述方法包括：
访问在针对患者的特定外科手术期间拍摄的视频帧；
访问所存储的标识术中事件以及关联的结果的历史数据；
对所访问的帧进行分析，并且基于从所述历史数据获得的信息，识别所访问的帧中的至少一个特定术中事件；
基于从所述历史数据获得的信息以及所识别的至少一个术中事件，确定与所述特定外科手术相关联的预测结果；以及
按照将所述预测结果与所述患者相关联的方式来输出所述预测结果。
264.根据权利要求263所述的方法，其中，识别所述至少一个特定术中事件是基于以下项中的至少一个的：所访问的帧中的检测到的外科手术工具、所访问的帧中的检测到的解剖结构、所访问的帧中的在外科手术工具与解剖结构之间的交互、或者所访问的帧中的检测到的异常流体泄漏情形。
265.根据权利要求263所述的方法，其中，使用机器学习模型来识别所访问的帧中的所述至少一个特定术中事件，所述机器学习模型是使用示例训练数据训练的。
266.根据权利要求263所述的方法，其中，确定所述预测结果是基于所述患者的特征、电子医疗记录或者术后外科手术报告中的至少一者。
267.根据权利要求263所述的方法，其中，使用机器学习模型来基于术中事件确定与所述特定外科手术相关联的所述预测结果，所述机器学习模型是使用训练示例训练的。
268.根据权利要求267所述的方法，其中，确定预测结果的步骤包括：使用经训练的机器学习模型，基于所识别的术中事件以及所述患者的所识别的特征来预测外科手术结果。
269.根据权利要求267所述的方法，其中，所述方法还包括：接收标识在所述外科手术之后实现的外科手术结果的信息，并且通过使用接收到的信息对所述机器学习模型进行训练来更新所述机器学习模型。
270.根据权利要求263所述的方法，其中，所述方法还包括：识别所述患者的特征，并且其中，所述预测结果是还基于所识别的患者特征来确定的。
271.根据权利要求270所述的方法，其中，所述患者特征是从电子医疗记录导出的。
272.根据权利要求270所述的方法，其中，识别所述患者特征的步骤包括：使用机器学习模型来分析所访问的帧，所述机器学习模型是使用历史外科手术以及对应的历史患者特征的训练示例进行训练来识别患者特征的。
273.根据权利要求263所述的方法，其中，所述预测结果包括出院后事故、出院后不利事件、出院后并发症或者再入院的风险估计中的至少一项。
274.根据权利要求263所述的方法，所述方法还包括：访问包含所建议的外科手术事件序列的数据结构，并且其中，识别所述至少一个特定术中事件是基于对在所述数据结构中识别的所述外科手术的所建议的事件序列与在所访问的帧中检测到的实际事件序列之间的偏差的识别的。
275.根据权利要求274所述的方法，其中，所述偏差的识别是基于所访问的帧中的检测到的外科手术工具、所访问的帧中的检测到的解剖结构、或者所访问的帧中的在外科手术工具与解剖结构之间的交互中的至少一项的。
276.根据权利要求274所述的方法，其中，所述偏差的识别包括：使用机器学习模型，所述机器学习模型基于历史外科手术视频短片、历史建议事件序列以及标识与所述历史视频短片中的所述历史建议事件序列的偏差的信息进行训练，来识别与建议的事件序列的偏差。
277.根据权利要求274所述的方法，其中，识别所述偏差的步骤包括：对所访问的帧与描绘所建议的事件序列的参考帧进行比较。
278.根据权利要求263所述的方法，其中，输出所述预测结果的步骤包括：更新与所述患者相关联的电子医疗记录。
279.根据权利要求263所述的方法，其中，输出所述预测结果的步骤包括：将所述预测结果发送给与医护提供者相关联的数据接收装置。
280.根据权利要求263所述的方法，其中，所述方法还包括：基于所访问的帧来确定很可能改善所述预测结果的至少一个动作，并且基于所确定的至少一个动作来提供建议。
281.一种预测出院后风险的系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成：
访问在针对患者的特定外科手术期间拍摄的视频帧；
访问所存储的标识术中事件以及关联的结果的历史数据；
对所访问的帧进行分析，并且基于从所述历史数据获得的信息，识别所访问的帧中的至少一个特定术中事件；
基于从所述历史数据获得的信息以及所识别的至少一个术中事件，确定与所述特定外科手术相关联的预测结果；以及
按照将所述预测结果与所述患者相关联的方式来输出所述预测结果。
282.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行使得能够预测出院后风险的操作，所述操作包括：
访问在针对患者的特定外科手术期间拍摄的视频帧；
访问所存储的标识术中事件以及关联的结果的历史数据；
对所访问的帧进行分析，并且基于从所述历史数据获得的信息，识别所访问的帧中的至少一个特定术中事件；
基于从所述历史数据获得的信息以及所识别的至少一个术中事件，确定与所述特定外科手术相关联的预测结果；以及
按照将所述预测结果与所述患者相关联的方式来输出所述预测结果。
CN202080029504.XA 2019-02-21 2020-02-20 填写外科手术的术后报告的系统和方法、计算机可读介质 Active CN113748468B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201962808500P 2019-02-21 2019-02-21
US201962808512P 2019-02-21 2019-02-21
US62/808,500 2019-02-21
US62/808,512 2019-02-21
US201962838066P 2019-04-24 2019-04-24
US62/838,066 2019-04-24
US202062960466P 2020-01-13 2020-01-13
US62/960,466 2020-01-13
US202062967283P 2020-01-29 2020-01-29
US62/967,283 2020-01-29
PCT/US2020/019050 WO2020172414A1 (en) 2019-02-21 2020-02-20 Systems and methods for analysis of surgical videos

Publications (2)

Publication Number Publication Date
CN113748468A true CN113748468A (zh) 2021-12-03
CN113748468B CN113748468B (zh) 2023-03-10

Family

ID=69811980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080029504.XA Active CN113748468B (zh) 2019-02-21 2020-02-20 填写外科手术的术后报告的系统和方法、计算机可读介质

Country Status (10)

Country Link
US (8) US10729502B1 (zh)
EP (2) EP4235691A3 (zh)
JP (2) JP2022520701A (zh)
KR (2) KR20230126744A (zh)
CN (1) CN113748468B (zh)
AU (1) AU2020224128B2 (zh)
BR (1) BR112021016621A2 (zh)
CA (1) CA3126444A1 (zh)
IL (5) IL283767B (zh)
WO (1) WO2020172414A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888541A (zh) * 2021-12-07 2022-01-04 南方医科大学南方医院 一种腹腔镜手术阶段的图像识别方法、装置及存储介质
TWI792761B (zh) * 2021-12-10 2023-02-11 國立成功大學 氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法
CN116327372A (zh) * 2023-04-10 2023-06-27 极限人工智能有限公司 一种具有触力反馈的手术器械、方法及手术机器人
CN116884570A (zh) * 2023-09-06 2023-10-13 南京诺源医疗器械有限公司 一种基于图像处理的术中实时仿真疗效评估系统
CN117944070A (zh) * 2024-03-26 2024-04-30 首都医科大学附属北京同仁医院 一种用于甲状腺监护的医疗机械臂
CN117944070B (zh) * 2024-03-26 2024-06-04 首都医科大学附属北京同仁医院 一种用于甲状腺监护的医疗机械臂

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471899B2 (en) * 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
WO2017037705A1 (en) * 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
EP3440660A1 (en) * 2016-04-06 2019-02-13 Koninklijke Philips N.V. Method, device and system for enabling to analyze a property of a vital sign detector
US11080858B2 (en) * 2016-12-12 2021-08-03 Koninklijke Philips N.V. Method and apparatus for segmenting two dimensional images of an anatomical structure
CN111226288B (zh) 2017-10-17 2022-03-29 威里利生命科学有限责任公司 用于对外科手术视频分段的系统和方法
AU2018350362B9 (en) 2017-10-22 2024-01-25 Todd Martin System and method for image recognition registration of an athlete in a sporting event
US11259871B2 (en) 2018-04-26 2022-03-01 Vektor Medical, Inc. Identify ablation pattern for use in an ablation
US11026585B2 (en) * 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US20200078113A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Port presence detection system for modular energy system
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11896279B2 (en) 2018-09-07 2024-02-13 Cilag Gmbh International Surgical modular energy system with footer module
WO2020172076A1 (en) * 2019-02-20 2020-08-27 OperVu, Inc. System and method to detect and track surgical instruments and/or surgical material
US20220157459A1 (en) * 2019-03-01 2022-05-19 The Johns Hopkins University Data analytics for predictive modeling of surgical outcomes
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US11348235B2 (en) * 2019-03-22 2022-05-31 Verily Life Sciences Llc Improving surgical video consumption by identifying useful segments in surgical videos
US11743665B2 (en) 2019-03-29 2023-08-29 Cilag Gmbh International Modular surgical energy system with module positional awareness sensing with time counter
US11935636B2 (en) * 2019-04-26 2024-03-19 Merative Us L.P. Dynamic medical summary
US11756681B2 (en) 2019-05-07 2023-09-12 Medtronic, Inc. Evaluation of post implantation patient status and medical device performance
US11701771B2 (en) * 2019-05-15 2023-07-18 Nvidia Corporation Grasp generation using a variational autoencoder
US10595736B1 (en) 2019-06-10 2020-03-24 Vektor Medical, Inc. Heart graphic display system
US10709347B1 (en) 2019-06-10 2020-07-14 Vektor Medical, Inc. Heart graphic display system
US11660057B2 (en) * 2019-07-10 2023-05-30 Stryker Corporation Systems and methods for persistent ureter visualization
KR20190098936A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 쿠킹 로봇 시스템 및 그 제어 방법
US11842025B2 (en) * 2019-08-06 2023-12-12 Sony Group Corporation Information processing device and information processing method
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11367179B2 (en) * 2019-09-30 2022-06-21 GE Precision Healthcare LLC Determining degree of motion using machine learning to improve medical image quality
US20220383215A1 (en) * 2019-11-01 2022-12-01 Nippon Telegraph And Telephone Corporation Management device, management method, and management program
CN111298305A (zh) * 2020-02-18 2020-06-19 上海联影医疗科技有限公司 一种数据同步方法和系统
CN115136253A (zh) * 2020-02-20 2022-09-30 史密夫和内修有限公司 用于关节镜视频分析的方法及用于其的装置
US11475063B2 (en) * 2020-02-24 2022-10-18 Motorola Solutions, Inc. Device, system and method for providing indications of a discrepancy between a video and a textual description of an incident
US20210287785A1 (en) * 2020-03-16 2021-09-16 Vanderbilt University Automatic Sensing for Clinical Decision Support
TW202137078A (zh) * 2020-03-24 2021-10-01 廣達電腦股份有限公司 資料處理系統及資料處理方法
US11295602B2 (en) * 2020-03-27 2022-04-05 Wipro Limited System and method for providing enhanced security of physical assets within a physical infrastructure
US11224485B2 (en) 2020-04-05 2022-01-18 Theator inc. Image analysis for detecting deviations from a surgical plane
US20210344880A1 (en) * 2020-04-30 2021-11-04 Medtronic, Inc. Post operative implantation site monitoring
US20210370503A1 (en) * 2020-05-29 2021-12-02 Wipro Limited Method and system for providing dynamic cross-domain learning
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US20220005199A1 (en) * 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Image segmentation with kinematic data in a robotic surgical system
US11153657B1 (en) * 2020-07-15 2021-10-19 Gopro, Inc. Interface for editing multiple video clips
US11961225B2 (en) * 2020-07-21 2024-04-16 Iterative Scopes, Inc. Systems and methods for detecting potential malignancies
US11730491B2 (en) 2020-08-10 2023-08-22 Kunnskap Medical, LLC Endoscopic image analysis and control component of an endoscopic system
US20220101999A1 (en) * 2020-08-13 2022-03-31 P Tech, Llc Video Documentation System and Medical Treatments Used with or Independent Thereof
US11896323B2 (en) * 2020-09-01 2024-02-13 Aibolit Technologies, Llc System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure
US11818373B1 (en) * 2020-09-08 2023-11-14 Block, Inc. Machine-learning based data compression for streaming media
DE102020212000A1 (de) * 2020-09-24 2022-03-24 Siemens Healthcare Gmbh Vorrichtung zum Positionieren eines medizinischen Objekts und Verfahren zum Bereitstellen einer Korrekturvorgabe
US11568318B2 (en) * 2020-10-07 2023-01-31 Panasonic Intellectual Property Management Co., Ltd. Method for developing machine-learning based tool
WO2022092334A1 (ko) * 2020-10-27 2022-05-05 경상대학교병원 위암에 대한 위 절제술 중 조기 문합 합병증을 예방하기 위한 수술 중 내시경 검사의 안전성 및 효능
US20230419503A1 (en) * 2020-11-19 2023-12-28 Surgical Safety Technologies Inc. System and method for operating room human traffic monitoring
EP4248419A1 (en) * 2020-11-20 2023-09-27 Intuitive Surgical Operations, Inc. Systems and methods for surgical operation recognition
WO2022106991A1 (en) * 2020-11-20 2022-05-27 Auris Health, Inc. Automated procedure evaluation
US20220239577A1 (en) * 2021-01-22 2022-07-28 Ethicon Llc Ad hoc synchronization of data from multiple link coordinated sensing systems
US11694533B2 (en) 2021-01-22 2023-07-04 Cilag Gmbh International Predictive based system adjustments based on biomarker trending
US11682487B2 (en) * 2021-01-22 2023-06-20 Cilag Gmbh International Active recognition and pairing sensing systems
US20220296301A1 (en) * 2021-03-22 2022-09-22 Biosense Webster (Israel) Ltd. Visualizing multiple parameters overlaid on an anatomical map
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
JP2024514884A (ja) 2021-04-14 2024-04-03 シラグ・ゲーエムベーハー・インターナショナル 外科用システムのためのオーバーレイ器具情報の適合及び調整可能性
EP4341889A1 (en) * 2021-05-17 2024-03-27 Stryker Corporation Medical imaging
JP2022179219A (ja) * 2021-05-21 2022-12-02 富士フイルム株式会社 医療画像処理システムおよびその作動方法
US20220375501A1 (en) * 2021-05-24 2022-11-24 Getac Technology Corporation Automated classification and indexing of events using machine learning
EP4104744A1 (en) * 2021-06-15 2022-12-21 Cilag GmbH International Method of using imaging devices in surgery
CN117836870A (zh) * 2021-07-04 2024-04-05 Ai瓦力股份有限公司 用于实时处理医学图像的系统和方法
KR102640314B1 (ko) * 2021-07-12 2024-02-23 (주)휴톰 인공지능 수술 시스템 및 그것의 제어방법
CN117693318A (zh) * 2021-07-19 2024-03-12 奥瑞斯健康公司 经皮医疗规程的阶段分割
DE102021120300A1 (de) 2021-08-04 2023-02-09 Carl Zeiss Meditec Ag Fusion von räumlichem und zeitlichem kontext für eine lokalisierung für visualisierungssysteme
US20230038493A1 (en) * 2021-08-09 2023-02-09 Vektor Medical, Inc. Tissue state graphic display system
CN113553460B (zh) * 2021-08-13 2022-06-28 北京安德医智科技有限公司 影像检索方法及装置、电子设备和存储介质
WO2023023509A1 (en) * 2021-08-17 2023-02-23 Theator inc. Automated analysis of video data during surgical procedures using artificial intelligence
WO2023022258A1 (ko) * 2021-08-19 2023-02-23 한국로봇융합연구원 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템
CN113492410B (zh) * 2021-09-09 2022-03-18 成都博恩思医学机器人有限公司 显示机器人操作过程的方法、系统、机械设备及存储介质
CN113821681B (zh) * 2021-09-17 2023-09-26 深圳力维智联技术有限公司 视频标签生成方法、装置及设备
CN113742527A (zh) * 2021-11-08 2021-12-03 成都与睿创新科技有限公司 一种基于人工智能检索和提取手术视频片段的方法及系统
CN114121208A (zh) * 2021-11-22 2022-03-01 华平祥晟(上海)医疗科技有限公司 一种基于可视化资料的手术记录质量控制方法
CN113822894B (zh) * 2021-11-25 2022-02-08 武汉大学 十二指肠胰头图像识别方法和十二指肠胰头图像识别装置
WO2023111844A1 (en) * 2021-12-13 2023-06-22 Rapid Medical Ltd. Analyzing actions, automatic correction of actions, and decision support and automation during endovascular procedures
KR102642303B1 (ko) * 2021-12-27 2024-02-29 (주)헬스허브 인공지능 상황인지 녹화 시스템 및 그 방법
US20230200723A1 (en) * 2021-12-27 2023-06-29 Matrixcare, Inc. Wound management system for predicting and treating wounds
US11457983B1 (en) * 2022-01-04 2022-10-04 Ix Innovation Llc Methods and systems for using voice input to control a surgical robot
US11699519B1 (en) * 2022-01-04 2023-07-11 Ix Innovation Llc System for maintaining and controlling surgical tools
CN114366085A (zh) * 2022-01-12 2022-04-19 武汉泰乐奇信息科技有限公司 基于双重感应骨骼模型的医学动作分析方法和装置
CN114267440B (zh) * 2022-03-01 2022-06-14 四川大学华西医院 医疗订单信息处理方法、装置和计算机可读存储介质
US11464573B1 (en) * 2022-04-27 2022-10-11 Ix Innovation Llc Methods and systems for real-time robotic surgical assistance in an operating room
EP4332984A1 (en) * 2022-08-31 2024-03-06 Koninklijke Philips N.V. Systems and methods for improving communication between local technologists within a radiology operations command center (rocc) framework
WO2024046938A1 (en) * 2022-08-31 2024-03-07 Koninklijke Philips N.V. Improving communication between local technologists
JP7403895B1 (ja) 2023-05-10 2023-12-25 株式会社クオトミー 施術動画のタグ付け装置
CN116705215B (zh) * 2023-08-04 2023-09-29 南京诺源医疗器械有限公司 一种用于脑室检测的荧光标记系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588766A (zh) * 2007-01-25 2009-11-25 华沙整形外科股份有限公司 手术导航和神经监视信息的集成显象
US20120035963A1 (en) * 2009-03-26 2012-02-09 Koninklijke Philips Electronics N.V. System that automatically retrieves report templates based on diagnostic information
CN104411226A (zh) * 2012-06-28 2015-03-11 皇家飞利浦有限公司 使用以机器人的方式操纵的内窥镜的增强的血管可视化
US20170053543A1 (en) * 2015-08-22 2017-02-23 Surgus, Inc. Commenting and performance scoring system for medical videos
US20170083665A1 (en) * 2015-09-23 2017-03-23 Siemens Healthcare Gmbh Method and System for Radiology Structured Report Creation Based on Patient-Specific Image-Derived Information
US9788907B1 (en) * 2017-02-28 2017-10-17 Kinosis Ltd. Automated provision of real-time custom procedural surgical guidance
CN108472084A (zh) * 2015-11-12 2018-08-31 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
CN108475532A (zh) * 2015-12-30 2018-08-31 皇家飞利浦有限公司 医学报告装置
US20180366231A1 (en) * 2017-08-13 2018-12-20 Theator inc. System and method for analysis and presentation of surgical procedure videos
US20190019574A1 (en) * 2017-07-14 2019-01-17 TruConsent System and method for creating an electronic consent-based medical record

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5791907A (en) 1996-03-08 1998-08-11 Ramshaw; Bruce J. Interactive medical training system
US20040078236A1 (en) 1999-10-30 2004-04-22 Medtamic Holdings Storage and access of aggregate patient data for analysis
US6481381B2 (en) 2000-03-21 2002-11-19 Cats With An Attitude, Inc. Pet-play apparatus configured for interactive use
US7231135B2 (en) * 2001-05-18 2007-06-12 Pentax Of American, Inc. Computer-based video recording and management system for medical diagnostic equipment
JP2003263495A (ja) * 2002-03-08 2003-09-19 Hitachi Medical Corp 医療情報管理システム
US7460659B2 (en) 2002-09-27 2008-12-02 Rockwell Electronic Commerce Best practices learning for agents in a communication system
JP3675437B2 (ja) 2002-10-28 2005-07-27 ソニー株式会社 情報記録再生処理装置、および方法、並びにコンピュータ・プログラム
US7082572B2 (en) 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US8055323B2 (en) 2003-08-05 2011-11-08 Imquant, Inc. Stereotactic system and method for defining a tumor treatment region
US8675059B2 (en) 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
US8095379B2 (en) 2003-12-30 2012-01-10 Cerner Innovation, Inc. System and method for preemptive determination of the potential for an atypical clinical event related to the administering of medication
WO2005073892A2 (en) 2004-01-16 2005-08-11 Disease Management Services, Plc Disease management system
US20060143060A1 (en) 2004-12-28 2006-06-29 General Electric Company Integrated scheduling system for health care providers
US20060159325A1 (en) 2005-01-18 2006-07-20 Trestle Corporation System and method for review in studies including toxicity and risk assessment studies
US7966269B2 (en) * 2005-10-20 2011-06-21 Bauer James D Intelligent human-machine interface
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20080249536A1 (en) 2007-02-15 2008-10-09 Hansen Medical, Inc. Interface assembly for controlling orientation of robotically controlled medical instrument
US20080281301A1 (en) 2007-04-20 2008-11-13 Deboer Charles Personal Surgical Center
US10032236B2 (en) 2007-04-26 2018-07-24 General Electric Company Electronic health record timeline and the human figure
FR2920086A1 (fr) 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
JP2009077362A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
CA2723301C (en) 2008-05-27 2016-12-06 Stryker Corporation Wireless medical room control arrangement for control of a plurality of medical devices
KR101068916B1 (ko) 2008-07-03 2011-09-29 삼성메디슨 주식회사 의료 장치
US20100036676A1 (en) 2008-08-07 2010-02-11 E-Merge Health Solutions, Ltd. Computer implemented medical treatment management system
US8471899B2 (en) * 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
NZ615010A (en) 2009-07-16 2015-06-26 Resmed Ltd Detection of sleep onset
US20110225000A1 (en) * 2009-09-08 2011-09-15 Niazy Selim System for management and reporting of patient data
US8432472B2 (en) 2009-10-15 2013-04-30 Apple Inc. Camera for displaying digital images
US8392342B2 (en) 2009-11-18 2013-03-05 Empire Technology Development Llc Method and apparatus for predicting movement of a tool in each of four dimensions and generating feedback during surgical events using a 4D virtual real-time space
US20110264528A1 (en) 2010-04-26 2011-10-27 Whale Peter Contextual recommendations through proposed actions
WO2011143088A1 (en) 2010-05-10 2011-11-17 Vascular Management Associates, Inc. Billing system for medical procedures
WO2011150254A2 (en) * 2010-05-26 2011-12-01 Health Research Inc. Method and system for automatic tool position determination for minimally-invasive surgery training
JP2011254975A (ja) 2010-06-09 2011-12-22 Nakashima Medical Co Ltd 手術支援システム
US8948478B2 (en) * 2010-10-08 2015-02-03 Codonics, Inc. Multi-media medical record system
EP2675367B1 (en) 2011-02-15 2018-03-07 Intuitive Surgical Operations, Inc. Systems for indicating a clamping prediction
WO2012155077A2 (en) 2011-05-11 2012-11-15 Uab Research Foundation Methods, systems and computer program products for medical brain imaging analysis
JP5302484B1 (ja) 2011-10-11 2013-10-02 オリンパスメディカルシステムズ株式会社 医療情報管理システムおよび管理装置
CA2855965A1 (en) 2011-11-17 2013-05-23 The Cleveland Clinic Foundation Graphical tool for managing a longitudinal patient episode
US20140328570A1 (en) 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9094692B2 (en) 2012-10-05 2015-07-28 Ebay Inc. Systems and methods for marking content
US20140220527A1 (en) 2013-02-07 2014-08-07 AZ Board of Regents, a body corporate of the State of AZ, acting for & on behalf of AZ State Video-Based System for Improving Surgical Training by Providing Corrective Feedback on a Trainee's Movement
KR102119534B1 (ko) 2013-03-13 2020-06-05 삼성전자주식회사 수술 로봇 및 그 제어방법
CN105163684B (zh) 2013-03-15 2018-02-02 圣纳普医疗(巴巴多斯)公司 手术数据的联运同步
US20140272855A1 (en) * 2013-03-15 2014-09-18 FitStar, Inc. Selecting available exercises for customizing an exercise session
US9171477B2 (en) 2013-03-25 2015-10-27 University Of Rochester Method and system for recognizing and assessing surgical procedures from video
US9619849B2 (en) 2013-03-26 2017-04-11 Eric Lee Rock Healthcare delivery system and method
US20150046182A1 (en) 2013-08-06 2015-02-12 Atigeo Llc Methods and automated systems that assign medical codes to electronic medical records
US10993628B2 (en) 2013-10-25 2021-05-04 Philips Image Guided Therapy Corporation Devices, systems, and methods for vessel assessment
US20160270861A1 (en) 2013-10-31 2016-09-22 Health Research, Inc. System and methods for a situation and awareness-based intelligent surgical system
JP6359264B2 (ja) * 2013-11-15 2018-07-18 キヤノンメディカルシステムズ株式会社 手術情報管理装置
US20150190208A1 (en) 2014-01-06 2015-07-09 Covidien Lp System and method for user interaction with medical equipment
US10373516B2 (en) 2014-03-07 2019-08-06 Global Vocabulary Llc Method for facilitating contextual vocabulary acquisition through association
US9747687B2 (en) * 2014-04-24 2017-08-29 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting polyps from learned boundaries
US20210290046A1 (en) 2014-05-09 2021-09-23 X-Biomedical, Inc. Portable surgical methods, systems, and apparatus
EP3197384A4 (en) 2014-09-23 2018-05-16 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
US20190362859A1 (en) 2014-11-19 2019-11-28 Kiran K. Bhat System for enabling remote annotation of media data captured using endoscopic instruments and the creation of targeted digital advertising in a documentation environment using diagnosis and procedure code entries
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US11275757B2 (en) 2015-02-13 2022-03-15 Cerner Innovation, Inc. Systems and methods for capturing data, creating billable information and outputting billable information
US10733267B2 (en) 2015-02-27 2020-08-04 Surgical Black Box Llc Surgical data control system
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
EP3274889A4 (en) 2015-03-26 2019-01-02 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
KR20180005684A (ko) * 2015-05-07 2018-01-16 지멘스 악티엔게젤샤프트 해부학적 모델 증강을 통한 복강경 수술 절차들의 안내를 위한 시스템 및 방법
EP4335373A3 (en) 2015-05-20 2024-05-29 Gravitas Medical, Inc. Methods and apparatus for guiding medical care based on sensor data from the gastrointestinal tract
WO2016195698A1 (en) * 2015-06-05 2016-12-08 Siemens Aktiengesellschaft Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
CN107851120A (zh) * 2015-06-09 2018-03-27 直观外科手术操作公司 医疗环境中的视频内容搜索
US10692395B2 (en) 2015-08-17 2020-06-23 University Of Maryland, Baltimore Automated surgeon performance evaluation
CA3003058A1 (en) 2015-10-29 2017-05-04 Sharp Fluidics Llc Systems and methods for data capture in an operating room
AU2016348404B2 (en) 2015-11-03 2020-10-22 Fresenius Medical Care Holdings, Inc. Method and apparatus of assessment of access flow in hemodialysis patients by video imaging processing
US20170132785A1 (en) 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
US10991070B2 (en) 2015-12-18 2021-04-27 OrthoGrid Systems, Inc Method of providing surgical guidance
US20170177806A1 (en) 2015-12-21 2017-06-22 Gavin Fabian System and method for optimizing surgical team composition and surgical team procedure resource management
US20170300651A1 (en) 2016-03-16 2017-10-19 CRF Inc. Platform which correlates data for recommendation
US10194990B2 (en) 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US11370113B2 (en) 2016-09-06 2022-06-28 Verily Life Sciences Llc Systems and methods for prevention of surgical mistakes
US10342410B2 (en) 2016-10-26 2019-07-09 Virgo Surgical Video Solutions, Inc. Automated system for medical video recording and storage
EP3538012A4 (en) 2016-11-11 2020-07-15 Intuitive Surgical Operations Inc. TELE-OPERATED SURGICAL SYSTEM WITH INSTRUMENT CONTROL BASED ON THE COMPETENCE LEVEL OF SURGERY
US10839221B2 (en) 2016-12-21 2020-11-17 Facebook, Inc. Systems and methods for compiled video generation
CN116230153A (zh) 2017-01-11 2023-06-06 奇跃公司 医疗助理
CA3049148A1 (en) 2017-01-24 2018-08-02 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US11250947B2 (en) 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US11571262B2 (en) 2017-04-18 2023-02-07 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
WO2018193317A1 (en) * 2017-04-21 2018-10-25 Medicrea International A system for providing intraoperative tracking to assist spinal surgery
US11229496B2 (en) 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
EP3672496A4 (en) 2017-08-23 2021-04-28 The General Hospital Corporation SUPPORT OF A SURGICAL DECISION USING A THEORETICAL DECISION MODEL
BR112020004207A2 (pt) 2017-08-29 2020-09-01 Leavitt Medical, Inc. cassete de amostra de tecido para biópsia e sistemas e métodos relacionados
CN111226288B (zh) 2017-10-17 2022-03-29 威里利生命科学有限责任公司 用于对外科手术视频分段的系统和方法
US11911045B2 (en) * 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11166772B2 (en) * 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
WO2019139478A1 (en) 2018-01-10 2019-07-18 Topic Ip3 B.V. A method of, and system for notifying medical staff involved in performing medical procedures in an operating room
US20190223961A1 (en) 2018-01-19 2019-07-25 Verily Life Sciences Llc Step-based system for providing surgical intraoperative cues
US11967422B2 (en) 2018-03-05 2024-04-23 Medtech S.A. Robotically-assisted surgical procedure feedback techniques
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US11657087B2 (en) 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images
US11741365B2 (en) 2018-05-14 2023-08-29 Tempus Labs, Inc. Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images
US11205508B2 (en) * 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US20190371456A1 (en) 2018-05-31 2019-12-05 General Electric Company Operating room status and predictive scheduling
US11026585B2 (en) 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
WO2019245864A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided education related to orthopedic surgical procedures
CA3107582A1 (en) 2018-07-25 2020-01-30 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for generating and providing artificial intelligence assisted surgical guidance
US20180345129A1 (en) 2018-07-27 2018-12-06 Yogesh Rathod Display virtual objects within predefined geofence or receiving of unique code from closest beacon
JP7466928B2 (ja) 2018-09-12 2024-04-15 オルソグリッド システムズ ホールディング，エルエルシー 人工知能の術中外科的ガイダンスシステムと使用方法
US10679743B2 (en) 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
US10930395B2 (en) 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning
US10910103B2 (en) 2018-12-14 2021-02-02 Verb Surgical Inc. Method and system for extracting an actual surgical duration from a total operating room (OR) time of a surgical procedure
US20200211720A1 (en) 2018-12-31 2020-07-02 Engauge LLC Surgical media streaming, archiving, and analysis platform
US11605161B2 (en) 2019-01-10 2023-03-14 Verily Life Sciences Llc Surgical workflow and activity detection based on surgical videos
US20200258616A1 (en) 2019-02-07 2020-08-13 The Regents Of The University Of Michigan Automated identification and grading of intraoperative quality
US20200342968A1 (en) 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
US10791301B1 (en) 2019-06-13 2020-09-29 Verb Surgical Inc. Method and system for synchronizing procedure videos for comparative learning
US10646156B1 (en) 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities
US20210158845A1 (en) 2019-11-25 2021-05-27 Dell Products L. P. Automatically segmenting and indexing a video using machine learning

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588766A (zh) * 2007-01-25 2009-11-25 华沙整形外科股份有限公司 手术导航和神经监视信息的集成显象
US20120035963A1 (en) * 2009-03-26 2012-02-09 Koninklijke Philips Electronics N.V. System that automatically retrieves report templates based on diagnostic information
CN104411226A (zh) * 2012-06-28 2015-03-11 皇家飞利浦有限公司 使用以机器人的方式操纵的内窥镜的增强的血管可视化
US20170053543A1 (en) * 2015-08-22 2017-02-23 Surgus, Inc. Commenting and performance scoring system for medical videos
US20170083665A1 (en) * 2015-09-23 2017-03-23 Siemens Healthcare Gmbh Method and System for Radiology Structured Report Creation Based on Patient-Specific Image-Derived Information
CN108472084A (zh) * 2015-11-12 2018-08-31 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
CN108475532A (zh) * 2015-12-30 2018-08-31 皇家飞利浦有限公司 医学报告装置
US9788907B1 (en) * 2017-02-28 2017-10-17 Kinosis Ltd. Automated provision of real-time custom procedural surgical guidance
US20190019574A1 (en) * 2017-07-14 2019-01-17 TruConsent System and method for creating an electronic consent-based medical record
US20180366231A1 (en) * 2017-08-13 2018-12-20 Theator inc. System and method for analysis and presentation of surgical procedure videos

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888541A (zh) * 2021-12-07 2022-01-04 南方医科大学南方医院 一种腹腔镜手术阶段的图像识别方法、装置及存储介质
TWI792761B (zh) * 2021-12-10 2023-02-11 國立成功大學 氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法
CN116327372A (zh) * 2023-04-10 2023-06-27 极限人工智能有限公司 一种具有触力反馈的手术器械、方法及手术机器人
CN116884570A (zh) * 2023-09-06 2023-10-13 南京诺源医疗器械有限公司 一种基于图像处理的术中实时仿真疗效评估系统
CN116884570B (zh) * 2023-09-06 2023-12-12 南京诺源医疗器械有限公司 一种基于图像处理的术中实时仿真疗效评估系统
CN117944070A (zh) * 2024-03-26 2024-04-30 首都医科大学附属北京同仁医院 一种用于甲状腺监护的医疗机械臂
CN117944070B (zh) * 2024-03-26 2024-06-04 首都医科大学附属北京同仁医院 一种用于甲状腺监护的医疗机械臂

Also Published As

Publication number Publication date
BR112021016621A2 (pt) 2021-11-03
IL283773A (en) 2021-07-29
WO2020172414A1 (en) 2020-08-27
KR20230126744A (ko) 2023-08-30
EP4235691A3 (en) 2023-12-27
EP3928325A1 (en) 2021-12-29
US10729502B1 (en) 2020-08-04
US20230401649A1 (en) 2023-12-14
EP4235691A2 (en) 2023-08-30
JP2022520701A (ja) 2022-04-01
US20200273575A1 (en) 2020-08-27
US20220301674A1 (en) 2022-09-22
US20200273552A1 (en) 2020-08-27
IL283772B (en) 2022-02-01
IL283767A (en) 2021-07-29
AU2020224128B2 (en) 2021-09-30
US11763923B2 (en) 2023-09-19
US11380431B2 (en) 2022-07-05
IL283767B (en) 2022-01-01
CA3126444A1 (en) 2020-08-27
US20200268457A1 (en) 2020-08-27
US20200273548A1 (en) 2020-08-27
KR20210132130A (ko) 2021-11-03
CN113748468B (zh) 2023-03-10
US20240055088A1 (en) 2024-02-15
KR102572006B1 (ko) 2023-08-31
IL283772A (en) 2021-07-29
AU2020224128A1 (en) 2021-07-08
US10943682B2 (en) 2021-03-09
IL283770A (en) 2021-07-29
US10886015B2 (en) 2021-01-05
IL283770B (en) 2022-01-01
IL283769A (en) 2021-07-29
JP2024054349A (ja) 2024-04-16
EP3928325C0 (en) 2023-07-05
EP3928325B1 (en) 2023-07-05
US20210012868A1 (en) 2021-01-14
IL283773B (en) 2022-02-01

Similar Documents

Publication Publication Date Title
CN113748468B (zh) 填写外科手术的术后报告的系统和方法、计算机可读介质
US11769207B2 (en) Video used to automatically populate a postoperative report
US11116587B2 (en) Timeline overlay on surgical video
US20210312949A1 (en) Systems and methods for intraoperative video review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant