EP3928292A1 - Procede et dispositif de surveillance de l'environnement d'un robot - Google Patents

Procede et dispositif de surveillance de l'environnement d'un robot

Info

Publication number
EP3928292A1
EP3928292A1 EP20705316.6A EP20705316A EP3928292A1 EP 3928292 A1 EP3928292 A1 EP 3928292A1 EP 20705316 A EP20705316 A EP 20705316A EP 3928292 A1 EP3928292 A1 EP 3928292A1
Authority
EP
European Patent Office
Prior art keywords
image
robot
images
measurement
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP20705316.6A
Other languages
German (de)
English (en)
Inventor
Alain Courteville
Adrien KAISER
José Alonso YBANEZ ZEPEDA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fogale Nanotech SA
Original Assignee
Fogale Nanotech SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fogale Nanotech SA filed Critical Fogale Nanotech SA
Publication of EP3928292A1 publication Critical patent/EP3928292A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to a method for monitoring the environment of a robot, with a view to detecting objects located in the environment. It also relates to a monitoring device implementing such a method, and a robot equipped with a monitoring device.
  • the field of the invention is, without limitation, that of the field of robotics, in particular the field of industrial robotics or service robots, for example medical or domestic, or else collaborative robots, also called “cobots. ".
  • robots such as for example robotic arms
  • robots in an unenclosed environment in which humans / objects are likely to evolve requires the use of a detection functionality of said objects / humans to prevent collisions.
  • An object of the present invention is to remedy the aforementioned drawbacks.
  • Another object of the present invention is to provide a method and a device for monitoring the environment of a robot which is less expensive, less complex and less time-consuming to install and use, while proposing detection of distant objects in order to anticipate. collisions.
  • Another aim of the present invention is to provide such a device and such a method which allows rapid implementation and easy adaptation to changes in the environment of the robot.
  • Another aim of the present invention is to provide such a device and such a method allowing detection of objects in a vicinity of the robot with sufficient detection reliability to be able to be used as an anti-collision safety device.
  • Another aim of the present invention is to provide such a device and such a method allowing adaptation of the trajectory of the robot as a function of changes in its environment.
  • Another object of the present invention is to provide such a device and such a method allowing detection of obstacles at a high distance from the robot in order to allow the latter to move at high speed.
  • At least one of these goals is achieved with a method of monitoring the environment of a robot comprising:
  • the method according to the invention proposes to carry out surveillance of the environment of a robot based on depth images obtained by 3D cameras carried by the robot itself, and not by 3D cameras installed in the environment. of the robot.
  • the method according to the invention is therefore less complex, less expensive and less time-consuming to install and use.
  • the method according to the invention proposes to carry out monitoring of the environment of a robot by 3D cameras, with a greater range than the contact or proximity sensors such as capacitive sensors.
  • the method according to the invention makes it possible to anticipate collisions without having to limit the speed of movement of the robot.
  • serving object or “object” is understood to mean any fixed, mobile, living or non-living object that may be in the environment of a robot. It may for example be an object located in the environment of the robot, such as an operator or a person, a conveyor, a table or a work area, a trolley, etc.
  • robot is meant a robot, in all its forms, such as a robotic system, a mobile robot, a vehicle on wheels or tracks such as a cart provided with an arm or a manipulator system, or a robot of the humanoid, gynoid or android type, possibly provided with displacement members such as limbs, a robotic arm, etc.
  • a robot can be mobile when it is able to move or includes moving parts.
  • registration of two depth images is meant the determination of the relative positioning of the two images, or the positioning of said images in a common frame of reference.
  • the common frame of reference can be the frame of reference of one of the two images, or a frame of reference of the imaged scene.
  • a depth image can be an image obtained in the form of a point cloud or a matrix of pixels, with distance or depth information for each pixel.
  • the point data can also include other information, such as light intensity, grayscale and / or color information.
  • each image is represented by digital data, for example data for each point belonging to the cloud of points.
  • the processing of each image is carried out by processing the data representing said image.
  • 3D camera is meant any sensor capable of producing a depth image.
  • a sensor can be for example a time-of-flight camera, and / or stereoscopic, and / or based on a structured light projection, which produces an image of its environment according to a field of view on a plurality of points or pixels, with distance information per pixel.
  • a 3D camera can also comprise one or a plurality of point distance sensors, for example optical or acoustic, fixed or equipped with a scanning device, arranged so as to acquire a cloud of points according to a field of view.
  • point distance sensors for example optical or acoustic, fixed or equipped with a scanning device, arranged so as to acquire a cloud of points according to a field of view.
  • a field of view can be defined as an area, an angular sector or a part of a real scene imaged by a 3D camera.
  • the change relating to an object may be an appearance of said object in the environment of the robot, a disappearance of an object previously present in the environment of the robot, a modification of the size or of the position of an object previously present in the robot's environment, etc.
  • the reference image can correspond to a single depth image, acquired by the at least one 3D camera at an acquisition instant.
  • the reference image can be constructed from several depth images.
  • the phase of obtaining the reference image may include the following steps:
  • the reference image is constructed by combining, or concatenating or even merging, several depth images taken at different times.
  • the fields imaged by the at least one 3D camera, at two acquisition times are different because the position and / or orientation of the at least one 3D camera is modified between these two acquisition times.
  • At least one 3D camera can be mobile on the robot.
  • the field of view of said 3D camera can be modified without having to move the robot.
  • At least one 3D camera can be attached to the robot.
  • the field of view of said 3D camera can be modified by moving the robot, or a part of the robot on which the 3D camera is fixed.
  • the robot, or the part of the robot, carrying the 3D camera can be moved along a predetermined trajectory making it possible to image all, or at least a large part, of the environment of the robot in several acquisitions.
  • the construction of the reference image can be carried out by:
  • This combination can be carried out in particular by implementing known methods for searching for correlation, or for minimizing error functions, between images in the overlap zones.
  • the construction of the reference image can be carried out according to the configuration of the at least one 3D camera, at each acquisition instant.
  • This technique makes it possible to construct the reference image, even when the sequential depth images do not include areas of overlap.
  • the configuration of a 3D camera includes its position and / or its orientation in space, for example in a frame of reference or a reference point linked to the scene or to the environment in which the robot is moving. Knowing this configuration of a 3D camera makes it possible to position its field of view in the scene frame.
  • the position, at an instant of acquisition, of at least one 3D camera can be determined as a function of a geometric configuration of said robot at said instant of acquisition.
  • the geometry of the robot makes it possible to determine the configuration of a 3D camera attached to the robot, in particular its position and its orientation, in a frame of reference linked to the scene.
  • the geometric configuration of the robot is given by the dimension of each segment and the angular position of each segment, this angular position being given by the motor or the joint setting said segment in motion.
  • the robot can be equipped with a single 3D camera.
  • each depth image at an instant corresponds to a depth image taken by said 3D camera.
  • the robot can be equipped with several 3D cameras, in particular with different fields of view.
  • each depth image at an acquisition instant may be a composite depth image constructed from several depth images each acquired by a 3D camera at said given instant.
  • the step of acquiring a depth image at an acquisition instant can comprise the following operations:
  • each composite depth image represents the actual scene following a larger field of view compared to the embodiment using a single camera. This allows monitoring of a larger part, if not all, of the robot's environment.
  • the construction of the composite depth image, from said individual depth images can be carried out: - by detecting said overlap areas, for example by comparing said individual depth images with one another; and
  • This combination can be carried out in particular by implementing known methods for searching for correlation, or for minimizing error functions, between images in the overlap zones.
  • the construction of the composite depth image, from the individual depth images can be carried out as a function of the relative configurations of the 3D cameras.
  • This technique makes it possible to construct the composite depth image, even when the fields of view of the 3D cameras do not contain overlap areas, so that the individual depth images acquired at a given time by the 3D cameras do not contain any overlap. overlap areas.
  • the relative configuration of a 3D camera, with respect to another 3D camera can comprise its relative position, and / or its relative orientation, with respect to the relative position, respectively to the relative orientation, of the other 3D camera.
  • the detection phase can be carried out individually for at least one 3D camera, by taking as measurement image an individual depth image taken by said 3D camera at the instant of measurement.
  • the individual depth image of the 3D camera is registered with the reference image, then compared to the reference image in order to identify, in the measurement image, a change relative to an object. in the individual depth image.
  • the detection phase can be carried out for each individual depth image of each 3D camera, where appropriate.
  • the detection phase can then be carried out at the same time or in turn for each 3D camera.
  • the measurement image at a measurement instant can be a composite depth image constructed from several individual depth images acquired by several 3D cameras at the instant of measurement.
  • the step of acquiring a measurement image, at a measurement instant can comprise the following operations:
  • each composite measurement image represents the environment of the robot with a larger field of view, compared to the embodiment using a single 3D camera. This allows monitoring of a larger part, if not all, of the robot's environment.
  • the construction of the composite measurement image, from said individual depth images can be carried out:
  • the construction of the composite measurement image, from the individual depth images can be carried out as a function of the relative configurations of the 3D cameras. This technique makes it possible to construct the composite measurement image, even when the fields of view of the 3D cameras do not contain overlapping zones, so that the individual depth images acquired by the 3D cameras, at the instant of measurement, do not have overlap areas.
  • the relative configuration of a 3D camera, with respect to another 3D camera can comprise its relative position, and / or its relative orientation, with respect to the relative position, respectively to the relative orientation, of the other 3D camera.
  • the detection of a change relating to an object can be carried out by using the distance information from the measurement image.
  • this detection can be carried out by detecting that distances measured in at least one zone of the measurement image are different from the distances in the corresponding zone or zones of the reference image.
  • the detection of a change relating to an object can also be carried out by exploiting other available information, such as for example an intensity, a gray level and / or a color, alone or in combination.
  • the nature of the object or at least its shape can also be determined, in particular from distance measurements.
  • a displacement or a withdrawal of an object can also be detected in the same way, by comparison of the measurement and reference images.
  • the detection phase can further comprise a step of determining a distance relative to said object, by analysis of said measurement image.
  • the relative distance of the object is determined to be, for example, the distance of the object. nearest point belonging to said object in the image of measured.
  • the relative distance of the object can correspond to the average distance of the points belonging to said object in the measurement image.
  • the method according to the invention can comprise a step of triggering a command of said robot, in the event of detection of a change relating to an object in the measurement image.
  • a tel trigger can also be a function of a characteristic of the object: the relative distance of the object, the nature of the object, the size of the object, etc.
  • Example commands may include:
  • zones in the reference image which will be the subject of a particular treatment in the event for example of detection of an object in these zones:
  • a robot command can be triggered only when the relative distance of the object is less than or equal to a predetermined distance threshold.
  • the nature of the command may be a function of the relative distance of the object. For example, when the relative distance of the object is: - less than or equal to a first threshold, a first robot control can be triggered, such as for example a slowing down of the robot;
  • a second command of the robot can be triggered, such as for example a modification of its movement trajectory
  • a third robot command can be triggered, such as for example an emergency stop of the robot.
  • each depth image is acquired in the form of a point cloud.
  • a 3D camera takes an image, it provides a point cloud representing the depth image.
  • Each point of the point cloud is represented by the coordinates of said point, or by a distance datum and a solid angle, in a frame of reference associated with the 3D camera at the time of image acquisition.
  • the various operations applied to the depth images can be performed directly on the point clouds constituting said depth images.
  • the reference image can be produced by merging point cloud images together.
  • a comparison or a registration of a first depth image with respect to a second depth image can be carried out by a comparison or a registration of the point cloud representing the first depth image with the point cloud representing the second. depth image.
  • This mode of implementation requires significant resources and computing time, which increase with the number of points in each point cloud.
  • the point cloud representing a depth image can be previously processed or segmented to deduce therefrom a set of simple geometric shapes, such as planes, so as to reduce the quantity information to be processed.
  • This pretreatment can be carried out by known techniques, for example by using RANSAC type algorithms.
  • This prior processing then provides an image represented or modeled by a set of data indicating the nature of the geometric shapes thus detected, their dimensions, their position and their orientation.
  • the functions applied to a depth image such as the registration and possibly the comparison or the detection of a change, can then be applied, not to the initial point cloud representing the depth image, but to the set of data provided by prior processing.
  • This pretreatment can be applied at any time during the implementation of the method according to the invention, such as for example:
  • the composite depth image is obtained by processing the point clouds representing the individual depth images
  • the registration of the reference and measurement depth images can be carried out by analysis of point cloud images.
  • the comparison step for detecting a change can also be carried out on the point clouds.
  • the registration of the reference and measurement depth images can be carried out by analyzing images previously modeled in the form of geometric shapes.
  • These geometric shapes can in particular include plans.
  • the registration of the images can in particular be carried out by searching for similarity, or correlation, or minimizing distances between geometric shapes, or more generally by all the techniques currently known.
  • the comparison step for detecting a change can be performed:
  • the registration of the reference and measurement depth images can also be carried out with a method of registering two depth images of a real scene comprising the following steps:
  • the geometric transformation can in particular be a linear or rigid transformation. It can in particular be determined in the form of a displacement matrix, representative for example of a translation and / or a rotation.
  • the registration method according to the invention proposes to register between them, or to locate between them, two depth images of the same real scene, using not the objects located in the scene, but geometric relationships between geometric shapes identified in each depth image.
  • the identification, in each image, of the geometric shapes and the geometric relationships between these shapes requires less computational resources and less computation time, than the identification of the real objects of the scene in each image.
  • the comparison between them of the geometric relations is simpler and faster, than to compare the real objects of the scene between them.
  • the geometric shapes and their relations are represented by a quantity of data to be processed much smaller than the quantity of data representing the real objects of the scene.
  • Geometric shapes can be geometric elements that can be described or modeled by equations or systems of equations, such as for example: planes, lines, cylinders, cubes, ...
  • the registration method of the invention can comprise a detection of geometric shapes all of the same nature (for example only planes).
  • the registration method of the invention can comprise a detection of geometric shapes of a different nature among a finite set (for example planes and cubes).
  • the geometric relationships used can be invariant by the geometric transformation sought.
  • angles and distances are invariant by geometric transformations of the rotation and translation type.
  • the detection step may comprise detection of at least one group of geometric shapes all having a similar orientation, or the same orientation relative to a predetermined reference direction in the scene.
  • Geometric shapes can be considered to have a similar orientation, or the same orientation relative to a reference direction, when they are all oriented at an angle. particular with respect to this reference direction, within a predetermined angular tolerance range, for example +/- 5 degrees, or +/- 10 degrees. This particular angle can be for example 0 degrees (parallel orientation), or 90 degrees (perpendicular orientation). It is understood that the geometric shapes of a group may moreover have an orientation which is not parallel to each other.
  • Detection of a group of geometric shapes may include identifying, or classifying within that group, geometric shapes in a set of geometric shapes previously detected in the depth image, or detecting those particular geometric shapes in the depth image. depth image.
  • the orientation of the shape can correspond to the orientation of said line with respect to the reference direction.
  • the orientation of the shape can correspond to the orientation of said plane, or of its normal vector, with respect to the reference direction.
  • a shape is a three-dimensional shape (such as a cylinder or cube)
  • its orientation can be given by its principal direction, or of extension, or an axis of symmetry.
  • the geometric shapes and their orientation can be determined by known techniques.
  • the cloud of points is segmented or grouped together in the form of zones or sets corresponding to, or which can be modeled or approximated by, one or more geometric shapes of a predetermined nature. Then the descriptive parameters of these geometric shapes are calculated by error minimization methods such as least squares, for example by optimizing parameters of a geometric equation to minimize deviations from the point cloud. The orientation of the geometric shapes can then be deduced, for example, from the parameters of the equations which describe them.
  • the detection step can include detection: a first group of geometric shapes, all having a first orientation relative to the reference direction, in particular an orientation parallel to the reference direction; and
  • At least one second group of geometric shapes all having the same second orientation relative to the reference direction, different from the first orientation, in particular orthogonal to said first orientation.
  • the method according to the invention makes it possible to obtain two groups of different orientation shapes relative to the reference direction, and in particular perpendicular. Geometric relationships are determined between shapes belonging to the same group.
  • the geometric relationship sought between the shapes of a group may be the same, or different from the geometric relationship sought between the shapes of another group.
  • the geometric relationship sought between the shapes may be a distance relationship
  • the geometric relationship sought between the shapes may be an angular relationship.
  • the reference direction may be the direction of the gravity vector in the scene.
  • the direction of the gravity vector can correspond to the orientation of the gravitational force.
  • the detection step can comprise detection of a group of geometric shapes having a horizontal orientation in the scene, such as, for example, shapes corresponding to real horizontal objects in the scene.
  • Such horizontal geometric shapes can correspond to the floor, ceiling, table, etc.
  • the geometric relationship between two horizontal geometric shapes can comprise, or be, a distance between said two shapes, in the direction of the gravity vector.
  • the desired distance between two horizontal shapes is the distance separating said shapes in the vertical direction.
  • the detecting step may include detecting a group of geometric shapes having a vertical orientation in the scene.
  • Such vertical geometric shapes can correspond to vertical objects in the scene, such as walls, doors, windows, furniture, etc.
  • the geometric relationship between two vertical geometric shapes can comprise at least one angle between the two geometric shapes.
  • the geometric relationship between two vertical shapes can include an angle between said shapes in the horizontal plane.
  • the detection step can carry out detection:
  • the determining step determines:
  • the reference direction can be represented by a reference vector which can be any vector determined beforehand and indicating a direction and a direction in the real scene.
  • the reference direction can, in a particular case, be the direction of the gravity vector in the scene, or in other words the reference vector can be the gravity vector.
  • This vector can then be used, in each image, to determine whether a shape of said image has a specific orientation, for example a vertical orientation or a horizontal orientation.
  • the reference vector, and in particular the gravity vector can be detected and informed by a sensor for each image.
  • a sensor can for example be an accelerometer.
  • the reference vector, and in particular the gravity vector can be determined, in each image, by analysis of said image.
  • each image can be analyzed to detect a plane corresponding to the floor or to the ceiling, in the case of an interior scene: the gravity vector then corresponds to the vector perpendicular to this plane.
  • the floor or ceiling are the largest planes in a depth image.
  • the color component can be used to detect a predetermined plane, and use this plane to obtain the reference vector, and in particular the gravity vector.
  • the step of determining geometric relationships can comprise, for each geometric shape, a determination of a geometric relationship between said geometric shape and each of the other geometric shapes, so that a geometric relationship is determined for each pairwise combination. geometric shapes.
  • the step of determining geometric relationships can comprise, for each geometric shape of a group, determining a geometric relationship between said geometric shape. and each of the other geometric shapes of said group, so that a geometric relationship is determined for each pairwise combination of the geometric shapes of said group.
  • At least one geometric shape can be a line, a plane or a three-dimensional geometric shape.
  • all the geometric shapes of the same group, and more generally of all the groups, can be of the same nature.
  • all of the geometric shapes can be planes.
  • the detection step can achieve an approximation, by planes, of surfaces of the real scene appearing in said image.
  • an object comprising several faces is approximated by several planes, without having to detect the object as a whole.
  • the detection of the planes can be carried out in a simple manner by known algorithms, such as for example the RANSAC algorithm.
  • the detection of planes in a depth image can be carried out by the following steps:
  • normals (N) of each point of the cloud are calculated using, for example, the depth gradient. This is obtained, in practice, for each point, by subtracting the depth of the lower point from that of the upper point (vertical gradient) and the depth of the left point from that of the right point (horizontal gradient). The normal to the point is then given by the cross product of the vertical gradient vector with the horizontal gradient vector.
  • This step includes the following operations:
  • a plan can be considered as identified if a minimum number of points have been identified as belonging to it. Points belonging to a plane are removed from the set P so as not to be used for the identification of subsequent shots.
  • the plan calculation step above can be repeated as many times as desired.
  • the descriptive parameters of the plane can then be determined from the points identified as belonging to this plane, for example by calculating the parameters of an equation of this plane in the sense of least squares.
  • the planes detection step thus provides a list of the planes identified with their descriptive parameters and all the points belonging to them.
  • All the plans can be processed within a single group.
  • the vertical planes can be grouped together in a first group and the horizontal planes can be grouped within a second group.
  • the geometric relationships can then be determined between the planes of the same group, as described above.
  • the calculation of the geometric transformation can comprise a calculation of a transformation matrix constructed from:
  • the calculation of the geometric transformation can comprise a calculation of a transformation matrix can be constructed from :
  • the distances in the horizontal directions can also be determined from the respective positions, in the two images, of the lines of intersection of two vertical planes not parallel or orthogonal to each other.
  • the transformation matrix thus obtained is complete and makes it possible to completely register two depth images between them.
  • a device for monitoring the environment of a robot comprising:
  • the calculation means can be a computer, a processor, a microcontroller, an electronic chip, or any electronic component.
  • a robot equipped with a monitoring device according to the invention.
  • the robot according to the invention can be a robot, in all its forms, such as a robotic system, a mobile robot, a vehicle on wheels or tracks such as a trolley provided with an arm or a manipulator system, or a robot of the humanoid, gynoid or android type, optionally provided with displacement members such as limbs, a robotic arm, etc.
  • a robot can be mobile when it is able to move or includes moving parts.
  • the robot according to the invention can comprise:
  • FIGURES 1a and 1b are schematic representations of a nonlimiting exemplary embodiment of a robot according to the invention.
  • FIGURE 2 is a schematic representation of a non-limiting exemplary embodiment of a method according to the invention.
  • FIGURE 3 is a representation of an exemplary embodiment of a method for registering depth images that can be implemented in the present invention.
  • FIGURE 4 is an example of a non-limiting and very simplified application of the method of FIGURE 3.
  • FIGURES 1a and 1b are schematic representations of a nonlimiting exemplary embodiment of a robot according to the invention.
  • FIGURE 1a is a schematic representation of the robot seen from the side
  • FIGURE 1b is a representation, seen from the front, of the distal segment of the robot.
  • the robot 100 of FIGURE 1 is a robotic arm comprising several segments 102-108: segment 102 being the base segment of robot 100, and segment 108 being the distal segment of the robot.
  • segment 104, 106 and 108 are movable in rotation by virtue of joints 110-114, and motors (not shown) at these joints 110-114.
  • the distal segment 108 may be fitted with a tool, such as a clamp 116 for example as shown in FIGURE la.
  • the base segment can be fixed on a ground 118.
  • the base segment can be provided with means allowing the robot to move, such as for example at least one wheel or a caterpillar.
  • the robot carries at least one 3D camera.
  • the robot 100 is equipped with several, and exactly eight, 3D cameras 120.
  • Each 3D camera 120 can be a time-of-flight camera for example.
  • the 3D cameras 120 are arranged around a segment of the robot, and in particular around the distal segment 108.
  • the cameras 120 are more particularly distributed according to a constant angular pitch.
  • Each 3D camera 120 makes it possible to produce an in-depth image of a part of the real scene constituted by the environment of the robot 100, along a field of view 122, radial with respect to the distal segment 108.
  • the field of view 122 of a 3D camera 120 is different from the field of view 122 of another 3D camera.
  • the fields of view 122 of two adjacent 3D cameras include an overlap zone beyond a certain distance.
  • the fields of view 122 of two adjacent 3D cameras may not include an overlap zone.
  • all of the fields of view 122 of the 3D cameras 120 cover a full circular view around the distal segment 108. It is clear that only a partial view of the environment is detected for an arm position. robotic 100. On the other hand, when the robotic arm moves other parts of the scene will be seen and detected by the 3D cameras.
  • the robot 100 can include 3D cameras arranged differently on a segment, and / or arranged on different segments.
  • the 3D cameras can be arranged so that their combined total field of view makes it possible to capture the actual scene around the robot as a whole, at least for one position of the robot 100.
  • the robotic arm 100 is further provided with a processing unit 124, which may be a computer, a calculator, a processor or the like.
  • the processing unit 124 is connected to each of the cameras 120, in a wired or wireless manner. It receives from each 3D camera, each depth image acquired by said 3D camera to process said image.
  • the processing unit 124 comprises computer instructions for implementing the method according to the invention.
  • processing unit 124 is shown as a separate individual module.
  • the processing unit 124 can be combined, or integrated in, another module or in a computer of the robotic arm 100.
  • FIGURE 2 is a schematic representation of a non-limiting exemplary embodiment of a method for monitoring the environment of a robot, according to the invention.
  • the method 200 shown in FIGURE 2, can in particular be implemented by the robot 100 of FIGURES la and lb.
  • the method 200 comprises a phase 202 of obtaining a depth image of the environment of the robot, without the presence of operators or unforeseen objects.
  • This image of the robot's environment will be used as a reference image to detect any change relating to an object in the robot's environment.
  • Phase 202 comprises a step 204 of obtaining a depth image, at an acquisition time, for a given configuration of the robotic arm.
  • the depth image corresponds to the image provided by said single 3D camera.
  • step 204 comprises the following steps:
  • each 3D camera takes an individual depth image
  • the individual depth images are combined, to obtain a composite depth image for all of the 3D cameras.
  • the combination of the individual depth images to obtain a single composite depth image, at an acquisition time, can be carried out according to different techniques.
  • the combination of the individual depth images can be achieved using the relative configurations of the 3D cameras.
  • the position and orientation of each 3D camera is known, to the extent of course that it is positioned in a known manner on the robot. Therefore, by using the relative positions and the relative orientations of the 3D cameras between them, it is possible to position between them the individual depth images taken by these 3D cameras.
  • the position of the 3D camera corresponds to the center or point of origin of said individual depth image
  • the orientation of each 3D camera corresponds to the direction in which the individual depth image was taken.
  • the individual depth images can be positioned relative to each other, to obtain a single composite depth image for all of the 3D cameras, at an acquisition time.
  • Step 204 can be repeated as many times as desired, sequentially, at different acquisition times, each acquisition time corresponding to a different configuration of the robot. Thus, for each configuration of the robot, a composite depth image is obtained.
  • step 204 can be repeated sequentially while the robot is set in motion, continuous or not, following a predetermined path in order to image the environment of the robot to a large extent, and in particular in its totality. Each iteration of step 204 makes it possible to obtain a composite depth image.
  • the reference image is constructed from the various composite depth images obtained sequentially for various configurations of the robot.
  • the construction of a reference image from several composite depth images acquired sequentially at different acquisition times can be carried out using different techniques.
  • the sequential composite depth images can be acquired by ensuring that they include areas of overlap.
  • the construction of the reference image can be performed by detecting the overlap areas between the composite depth images and using these overlap areas to concatenate the sequential composite depth images with each other.
  • the construction of the reference image from the sequential composite depth images can be carried out using the geometric configuration of the robot, for each depth image.
  • the geometric configuration of the robot is given by:
  • these orientations can be known from the joints, or from the motors placed in the joints.
  • the reference image thus obtained is stored during a step 212.
  • This reference image is thus made up of all the depth images acquired and merged so as to constitute an image representing all or part of the environment of the robot. .
  • step 208 of constructing a composite depth image, from several individual depth images is carried out immediately after the acquisition of said individual depth images.
  • this step 208 can be carried out just before step 210 of constructing the reference image.
  • steps 208 and 210 can be carried out at the same time, within a single and unique step, taking into account all the individual depth images acquired for each of the sequential acquisition instants.
  • the method 200 further comprises at least one iteration of a detection phase 220 carried out when the robot is in operation.
  • This detection phase 220 is performed to detect, at a measurement instant, a change relating to an object located in the environment of the robot.
  • the detection phase 220 comprises a step 222 of acquiring a depth image, called a measurement image, at the measurement instant. This measurement image will then be compared with the reference image, stored at step 212, to detect a change relating to an object in the environment of the robot.
  • the measurement image, acquired at a measurement instant can be an individual depth image acquired by a 3D camera.
  • the detection phase can be carried out individually for each individual depth image acquired by each 3D camera, at said measurement instant.
  • the measurement image acquired at a measurement instant can be a composite measurement image constructed from the individual depth images acquired by all the 3D cameras, at said measurement instant.
  • step 222 comprises a step 224 of acquiring an individual depth image by each 3D camera.
  • the composite measurement image is constructed from the individual depth images acquired by all the 3D cameras, for example using one of the techniques described above with reference to step 208 .
  • the measurement image, or the composite measurement image is registered with the reference image.
  • the purpose of this resetting operation is to locate or position the measurement image in the frame or frame of reference of the reference image.
  • the registration of the reference and measurement images can be carried out by known techniques, such as registration techniques by searching for similarity, or by correlation, or by minimization of distances.
  • the registration of the reference and measurement images can also be carried out by a view registration process, a nonlimiting exemplary embodiment of which is described below with reference to FIGURES 3 and 4.
  • the registered images are compared with each other, during a step 230, to detect a change relating to an object in the composite measurement image. .
  • the comparison of the images is carried out on the basis of the distance measurements. It can for example comprise a detection of areas of the measurement image with distances or positions different from those in the corresponding areas in the image. reference. This difference can be due for example to the appearance, the disappearance or the displacement of an object or an operator.
  • this comparison can be carried out between images in the form of a cloud of points.
  • this comparison can be carried out, either with a measurement image in the form of a cloud of points, or with a measurement image also modeled by geometric elements.
  • the choice of the comparison method may depend on the objects or elements sought.
  • the registration can be carried out in a precise manner that does not consume much computing power, and the comparison operation makes it possible to extract the measurement points corresponding to the different objects, without assumptions about their shape. These objects can thus be analyzed, for example with a view to identifying them.
  • this iteration of the detection phase 220 is terminated.
  • a new iteration of the detection phase 220 can be performed, at any time.
  • the detection phase may further comprise a step 232 of calculating a relative distance from said object.
  • This relative distance from said object is given in the measurement image (composite) since the latter comprises distance information for each pixel of said image.
  • a command of the robot is triggered during step 234.
  • commands can include:
  • zones in the reference scene which will be the subject of a particular treatment in the event for example of detection of an element in these zones. It is for example to define:
  • FIGURE 3 is a schematic representation of a non-limiting exemplary embodiment of a method for registering depth images according to the invention, using planes as geometric shapes.
  • the method 300 represented in FIGURE 3 makes it possible to register between them, or to locate between them, a first depth image of a scene (such as a reference image) and a second depth image of the same scene (such as than a measurement image), in a common frame of reference which may be that of one of the two images or a frame of reference linked to said scene.
  • the method 300 comprises a phase 302i of processing the first depth image.
  • the processing phase 302i comprises a step 304i of detecting planes in the first image.
  • This step 304i can be carried out by known techniques, such as for example a technique using the RANSAC algorithm.
  • the step of detecting planes 304i can be carried out as follows, considering that the first depth image is represented by a point cloud denoted PI.
  • a first step calculates the normals (N) of each point of the point cloud P using, for example, the depth gradient: this is obtained, in practice, for each point, by subtracting the depth from the lower point to that of the upper point (vertical gradient) and the depth of the left point to that of the right point (horizontal gradient). The normal to the point is then given by the cross product of the two gradient vectors.
  • a second step uses the point normals for the calculation of the planes in the point cloud. This step consists of:
  • the plane detection step 304i can be repeated a predetermined number of times.
  • a plan can be considered as identified if a minimum number of points have been identified as belonging to it. Dots belonging to a plane are removed from the PI set of points, so as not to be used for the identification of subsequent planes.
  • the plane detection step 304i provides a list of the identified planes with their descriptive parameters and the set of points of P belonging to them.
  • this method described for the step of detecting the planes is also applicable for the modeling of depth images in the form of geometric elements as described above.
  • an optional step 306i makes it possible to detect the gravity vector in the first image.
  • This gravity vector corresponds to the vector having the same direction as the gravitational force, expressed in the frame of the 3D camera which took the image. To obtain this vector, the most extensive roughly horizontal plane is sought. This plane is considered to be perfectly orthogonal to the gravitational force. The normal to this plane gives the gravity vector.
  • the gravity vector can be informed by a sensor, such as an accelerometer or an inclinometer, detecting said gravity vector when the first depth image is taken.
  • a step 308i makes it possible to select, from among all the planes identified in step 304i, a first group of horizontal planes.
  • Each plane exhibiting a normal parallel (or substantially parallel with an angular tolerance, for example +/- 10 degrees) to the gravity vector is considered to be horizontal.
  • Step 308i therefore provides a first group of horizontal planes.
  • a geometric relationship is detected between this horizontal plane and each of the other horizontal planes forming part of the first group.
  • the geometric relationship between two horizontal planes used is the distance between these planes in the direction of the gravity vector, that is to say in the vertical direction.
  • a step 312i makes it possible to select, from among all the planes identified in step 304i, a second group of vertical planes.
  • Each plan presenting a normal perpendicular (or substantially perpendicular with an angular tolerance, for example +/- 10 degrees) to the gravity vector is considered to be vertical.
  • Step 312i therefore provides a second group of vertical planes.
  • a geometric relationship is detected between this vertical plane and each of the other vertical planes forming part of the second group.
  • the geometric relationship between two vertical planes used is the relative angle between these planes.
  • a processing phase 3022 is applied to the second depth image, at the same time as the processing phase 302i or after the processing phase 302i.
  • This processing phase 3022 is identical to the processing phase 302i, and comprises steps 3042-3142 which are respectively identical to steps 304i-314i.
  • each geometric relationship between the horizontal planes, identified for the first image in step 310i is compared to each geometric relationship between the horizontal planes, identified for the second image in step 3102. When two geometric relationships match, then this indicates that these geometric relationships relate to the same horizontal planes on both images. Thus, the horizontal planes common to the two images are identified.
  • each geometric relationship between the vertical planes, identified for the first image in step 314i is compared to each geometric relationship between the vertical planes, identified for the second image in step 3142. When two geometric relationships match, then this indicates that these geometric relationships relate to the same vertical planes on both images. Thus, the vertical planes common to the two images are identified.
  • the method according to the invention can also comprise additional steps of validation of the matching of the planes of the two images. In particular, it is thus possible to check:
  • a geometric transformation in the form of a homogeneous displacement matrix, is calculated by considering the position and the orientation of the common planes identified in each of the images. This matrix makes it possible for example to express the planes of the second image in the coordinate system of the first image. It thus makes it possible to determine the displacement or the difference in position, in the scene, of the sensor or of the 3D camera which made it possible to acquire each of the images.
  • the rotation of one of the images, with respect to the other of the images is determined using common vertical planes.
  • the gravity vector associated with a normal vector of vertical plane, being orthogonal to gravity, gives an orthonormal basis.
  • the two orthonormal bases which correspond in two views directly give the angle of rotation of the sensor according to each of the axes.
  • the angles of rotation along the three axes are therefore calculated for each corresponding plane and averaged.
  • the translation vector horizontal is calculated by matching the two lines of intersection between two orthogonal vertical planes.
  • we can also obtain the vertical translation by defining the quadric error matrix associated with the two planes to obtain the vector which minimizes this matrix.
  • the common horizontal planes allow the vertical translation to be calculated.
  • the displacement matrix determined in step 320 can then be applied to one of the images in order to register it on the other of the images, during a step 322.
  • the two images are then registered with one another in the same frame, or in other words, both positioned in the same frame.
  • the images thus registered can then be used independently of one another.
  • FIGURE 4 is a schematic representation of an example of application, very simplified, of a method for registering depth images according to the invention, and in particular of the method 300 of FIGURE 3.
  • FIGURE 4 represents two depth images 402 and 404 of the same scene (for example a reference image and a measurement image) according to two different fields of view.
  • the reference (C, U, Z) is a reference associated with the field of view of the image 402, or with the associated sensor. It is therefore different from a mark associated with the field of view of image 404.
  • Each of the images 402 and 404 is processed to detect, in each image, vertical planes and horizontal planes.
  • the result obtained for the image 402 is given by the plane-based image 406, and for the image 404 by the plane-based image 408.
  • horizontal planes and vertical planes are identified.
  • the normal vector of each plane is also indicated.
  • the horizontal planes detected in step 308i are as follows:
  • the coordinates can be for example in meters.
  • the distance relation between these two horizontal planes, detected at step 310i, is given by a projection of points Ch1 and Ch2 (or of the corresponding vectors from the origin of the frame of reference) onto one of the normal vectors, for example Nhl. It is given by the following relation:
  • the vertical planes detected in step 312i are as follows:
  • the vertical planes detected in step 3122 are as follows:
  • angle (Nvl, Nv2) angle (Nv'l, Nv'2).
  • the homogeneous displacement matrix (R, T) is as follows:
  • the rotation R is calculated using the vertical planes vl, v2, v'1, v'2 and the gravity vector.
  • the horizontal translation components (in x and z) of T are calculated using the vertical planes vl, v2, v'1 and v'2.
  • the vertical translation component (y) of T is calculated using the horizontal planes h1, h2, h'1 and h'2.
  • the transformation T thus calculated is applied to the second image 404 in order to express this image 404 in the coordinate system (C, U, Z) of the first image 402.
  • the robot includes several 3D cameras.
  • the number of 3D cameras is not limitative and the robot can include one or more cameras.
  • steps 208 and 226 of constructing composite depth images are not performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

L'invention concerne un procédé (200) de surveillance de l'environnement d'un robot comprenant au moins une itération d'une phase de détection (220) comprenant les étapes suivantes : - acquisition (222), à un instant de mesure, d'une image de profondeur dudit environnement, dite image de mesure, par ladite au moins une caméra 3D, - recalage (228) desdites images de référence et de mesure, et - détection (230) d'un changement relatif à un objet dans l'environnement dudit robot par comparaison desdites images de référence et de mesure. Elle concerne également un dispositif mettant en œuvre un tel procédé et un robot équipé d'un tel dispositif.

Description

DESCRIPTION
Titre : Procédé et dispositif de surveillance de l'environnement d'un robot. Domaine technique
La présente invention concerne un procédé de surveillance de l'environnement d'un robot, en vue de détecter des objets se trouvant dans l'environnement. Elle concerne également un dispositif de surveillance mettant en œuvre un tel procédé, et un robot équipé d'un dispositif de surveillance.
Le domaine de l'invention est, de manière non limitative, celui du domaine de la robotique, en particulier le domaine de la robotique industrielle ou des robots de service, par exemple médical ou domestique, ou encore des robots collaboratifs, également appelés « cobots ».
Etat de la technique
La mise en œuvre de robots, tels que par exemple des bras robotisés, dans un environnement non clos dans lequel des humains/objets sont susceptibles d'évoluer nécessite l'utilisation d'une fonctionnalité de détection desdits objets/humains pour prévenir les collisions.
Il est connu d'équiper des robots de capteurs détectant des objets en contact, ou à proximité immédiate, du robot. Ces solutions ont l'inconvénient qu'elles ne permettent pas de détecter des objets lointains pour anticiper des collisions, ce qui oblige à limiter la vitesse d'évolution du robot pour limiter l'énergie d'un éventuel impact sous un seuil acceptable.
Il est également connu d'utiliser des capteurs 2D ou 3D installés dans l'environnement du robot, afin de pouvoir surveiller des régions prédéfinies autour de ce robot en vue de détecter des objets et anticiper les collisions. Cette solution nécessite d'intervenir sur l'environnement de travail pour définir l'emplacement des capteurs et installer ces capteurs, ce qui est une opération chronophage, complexe et coûteuse. De plus, si l'environnement est changé, ou le robot déplacé, il est nécessaire de réitérer l'intervention. Enfin, en fonction des déplacements du robot, des zones peuvent être masquées, ce qui nécessite la mise en œuvre de plusieurs capteurs dans des configurations parfois complexes.
Un but de la présente invention est de remédier aux inconvénients précités.
Un autre but de la présente invention est de proposer un procédé et un dispositif de surveillance de l'environnement d'un robot moins coûteux, moins complexe et moins chronophage à installer et à utiliser, tout en proposant une détection d'objets lointains pour anticiper des collisions.
Un autre but de la présente invention est de proposer un tel dispositif et un tel procédé qui permette une mise en œuvre rapide et une adaptation aisée aux changements dans l'environnement du robot.
Un autre but de la présente invention est de proposer un tel dispositif et un tel procédé permettant de réaliser une détection d'objets dans un voisinage du robot avec une sûreté de détection suffisante pour pouvoir être utilisé comme dispositif de sécurité anticollision.
Un autre but de la présente invention est de proposer tel dispositif et un tel procédé permettant une adaptation de trajectoire du robot en fonction des évolutions de son environnement.
Un autre but de la présente invention est de proposer tel dispositif et un tel procédé permettant une détection des obstacles à une distance élevée du robot pour permettre une évolution de ce dernier à vitesse élevée.
Exposé de l'invention
Au moins un de ces buts est atteint avec un procédé de surveillance de l'environnement d'un robot comprenant :
- une phase d'obtention d'une image de profondeur de l'environnement dudit robot, dite image de référence, par au moins une caméra 3D portée par ledit robot ; et
- au moins une itération d'une phase de détection comprenant les étapes suivantes :
- acquisition, à un instant de mesure, d'une image de profondeur dudit environnement, dite image de mesure, par ladite au moins une caméra 3D, - recalage desdites images de référence et de mesure, et
- détection d'un changement relatif à un objet dans l'environnement dudit robot par comparaison desdites images de référence et de mesure.
Le procédé selon l'invention propose de réaliser une surveillance de l'environnement d'un robot basée sur des images de profondeur obtenues par des caméras 3D portées par le robot lui-même, et non pas par des caméras 3D installées dans l'environnement du robot. Ainsi, lorsque l'environnement du robot change, ou lorsque le robot est déplacé, aucune intervention n'est nécessaire pour redéfinir, ou modifier, l'emplacement des caméras 3D. Le procédé selon l'invention est donc moins complexe, moins coûteux et moins chronophage à installer et à utiliser.
De plus, le procédé selon l'invention propose de réaliser une surveillance de l'environnement d'un robot par des caméras 3D, de portée plus grande que les capteurs de contact ou de proximité tels que des capteurs capacitifs. Ainsi, en cas de détection d'objets, le procédé selon l'invention permet d'anticiper des collisions sans devoir limiter la vitesse de déplacement du robot.
Par « objet environnant », ou « objet », on entend tout objet fixe, mobile, vivant ou non, pouvant se trouver dans l'environnement d'un robot. Il peut s'agir par exemple d'un objet se trouvant dans l'environnement du robot, tel qu'un opérateur ou une personne, un convoyeur, une table ou une zone de travail, un chariot, ...
Par « robot » on entend un robot, sous toutes ses formes, tel qu'un système robotisé, un robot mobile, un véhicule sur roues ou chenilles tel qu'un chariot muni d'un bras ou d'un système manipulateur, ou un robot de type humanoïde, gynoïde ou androïde, éventuellement pourvu d'organes de déplacement tels que des membres, un bras robotisé, etc. En particulier, un robot peut être mobile lorsqu'il est en mesure de se déplacer ou qu'il comprend des parties en mouvement.
Dans le cadre de la présente invention, par « recalage » de deux images de profondeur on entend la détermination du positionnement relatif des deux images, ou le positionnement desdites images dans un référentiel commun. Le référentiel commun peut être le référentiel de l'une des deux images, ou un référentiel de la scène imagée.
Une image de profondeur peut être une image obtenue sous la forme d'un nuage de points ou d'une matrice de pixels, avec pour chaque pixel une information de distance ou de profondeur. Bien entendu, les données des points peuvent également comprendre d'autres informations, telles que des informations d'intensité lumineuse, en niveaux de gris et/ou en couleur.
De manière générale, chaque image est représentée par des données numériques, par exemple des données pour chaque point appartenant au nuage de points. Le traitement de chaque image est réalisé par traitement des données représentant ladite image.
Par « caméra 3D » on entend tout capteur pouvant produire une image de profondeur. Un tel capteur peut être par exemple une caméra à temps de vol, et/ou stéréoscopique, et/ou basée sur une projection de lumière structurée, qui produit une image de son environnement selon un champ de vue sur une pluralité de points ou pixels, avec une information de distance par pixel.
Une caméra 3D peut également comprendre un ou une pluralité de capteurs de distance ponctuels, par exemple optiques ou acoustiques, fixes ou équipés d'un dispositif de balayage, agencés de sorte à acquérir un nuage de points selon un champ de vue.
Un champ de vue peut être défini comme une zone, un secteur angulaire ou une partie d'une scène réelle imagée par une caméra 3D. Suivant des exemples de réalisation non limitatif, le changement relatif à un objet peut être une apparition dudit objet dans l'environnement du robot, une disparition d'un objet préalablement présent dans l'environnement du robot, une modification de la taille ou de la position d'un objet préalablement présent dans l'environnement du robot, etc.
Suivant un premier mode de réalisation, l'image de référence peut correspondre à une seule image de profondeur, acquise par l'au moins une caméra 3D à un instant d'acquisition.
Dans ce cas, il parait important d'utiliser une caméra 3D avec un champ de vue le plus large possible en vue de capturer une image de profondeur la plus complète possible de l'environnement du robot. En effet, plus large est l'image de référence, plus large sera l'environnement surveillé à proximité du robot. Suivant un deuxième mode de réalisation nullement limitatif, l'image de référence peut être construite à partir de plusieurs images de profondeur.
Dans ce cas, la phase d'obtention de l'image de référence peut comprendre les étapes suivantes :
- acquisition, de manière séquentielle, d'au moins deux images de profondeur, à différents instants d'acquisition et pour différentes positions de l'au moins une caméra 3D ; et
- construction de l'image de référence à partir desdites images de profondeur séquentielles.
Autrement dit, l'image de référence est construite par combinaison, ou concaténation ou encore fusion, de plusieurs images de profondeur prises à différents instants.
Surtout, les champs imagés par l'au moins une caméra 3D, à deux instants d'acquisition, sont différents car la position et/ou l'orientation de l'au moins une caméra 3D est modifiée entre ces deux instants d'acquisition. Ainsi, il est possible de construire une image de référence qui est plus grande. Il est même possible de construire une image de référence de la totalité de l'environnement du robot, en faisant autant d'acquisitions que nécessaire.
Suivant un exemple de réalisation, au moins une caméra 3D peut être mobile sur le robot. Ainsi, le champ de vue de ladite caméra 3D peut être modifié sans avoir à bouger le robot.
Alternativement ou en plus, au moins une caméra 3D peut être fixée sur le robot. Dans ce cas, le champ de vue de ladite caméra 3D peut être modifié en faisant bouger le robot, ou une partie du robot sur laquelle est fixée la caméra 3D. Le robot, ou la partie du robot, portant la caméra 3D peut être déplacé suivant une trajectoire prédéterminée permettant d'imager la totalité, ou du moins une large partie, de l'environnement du robot en plusieurs acquisitions. Suivant un mode de réalisation, lorsque les images de profondeur séquentielles comprennent des zones de recouvrement, alors la construction de l'image de référence peut être réalisée en :
- détectant lesdites zones de recouvrement, par exemple par comparaison desdites images de profondeur séquentielles entre elles ; et
- combinant les images séquentielles ensemble, par exemple par concaténation desdites images de profondeur, en fonction desdites zones de recouvrement.
Cette combinaison peut être effectuée notamment en mettant en œuvre des méthodes connues de recherche de corrélation, on de minimisation de fonctions d'erreur, entre images dans les zones de recouvrement.
Alternativement, ou en plus, la construction de l'image de référence peut être réalisée en fonction de la configuration de l'au moins une caméra 3D, à chaque instant d'acquisition.
Cette technique permet de construire l'image de référence, même lorsque les images de profondeur séquentielles ne comportent pas de zones de recouvrement.
La configuration d'une caméra 3D inclut sa position et/ou son orientation dans l'espace, par exemple dans un référentiel ou un repère lié à la scène ou à l'environnement dans lequel se déplace le robot. La connaissance de cette configuration d'une caméra 3D permet de positionner son champ de vue dans le repère de scène.
Suivant un exemple de réalisation, la position, à un instant d'acquisition, de l'au moins une caméra 3D peut être déterminée en fonction d'une configuration géométrique dudit robot audit instant d'acquisition.
La géométrie du robot permet de déterminer la configuration d'une caméra 3D fixée au robot, en particulier sa position et son orientation, dans un repère lié à la scène.
Dans le cas particulier d'un bras robotisé comprenant au moins un segment mobile en rotation, la configuration géométrique du robot est donnée par la dimension de chaque segment et la position angulaire de chaque segment, cette position angulaire étant donnée par le moteur ou l'articulation mettant en mouvement ledit segment. En prenant en compte ces informations de longueur et de positions angulaires des segments, il est possible de déterminer la position et/ou l'orientation exacte(s) de chaque caméra 3D fixée au robot.
Suivant un mode de réalisation, le robot peut être équipé d'une unique caméra 3D.
Dans ce cas, chaque image de profondeur à un instant correspond à une image de profondeur prise par ladite caméra 3D.
Suivant un autre mode de réalisation, le robot peut être équipé de plusieurs caméras 3D, en particulier de champs de vue différents.
Dans ce mode de réalisation, et de manière nullement limitative, chaque image de profondeur à un instant d'acquisition peut être une image de profondeur composite construite à partir de plusieurs images de profondeur acquises chacune par une caméra 3D audit instant donné.
Dans ce cas, l'étape d'acquisition d'une image de profondeur à un instant d'acquisition, peut comprendre les opérations suivantes :
- acquisition, audit instant d'acquisition, par au moins deux desdites caméras 3D, d'images de profondeur individuelles ; et
- construction d'une image de profondeur composite à partir desdites images de profondeur individuelles.
Ainsi, à chaque instant d'acquisition, il est possible d'obtenir une image de profondeur composite correspondant à un plus grand champ de vue, connexe (d'un seul tenant) ou non. Par conséquent, chaque image de profondeur composite représente la scène réelle suivant un champ de vue plus grand comparé au mode de réalisation utilisant une seule caméra. Cela permet de réaliser une surveillance d'une plus grande partie, voire de la totalité, de l'environnement du robot.
Suivant un mode de réalisation, lorsque les images de profondeur individuelles comprennent des zones de recouvrement, alors la construction de l'image de profondeur composite, à partir desdites images de profondeur individuelles, peut être réalisée : - en détectant lesdites zones de recouvrement, par exemple par comparaison desdites images de profondeur individuelles entre elles ; et
- en combinant lesdites images de profondeur individuelles ensemble, en fonction desdites zones de recouvrement, par exemple par concaténation ou fusion desdites images de profondeur individuelles.
Cette combinaison peut être effectuée notamment en mettant en œuvre des méthodes connues de recherche de corrélation, on de minimisation de fonctions d'erreur, entre images dans les zones de recouvrement.
Alternativement, ou en plus, la construction de l'image de profondeur composite, à partir des images de profondeur individuelles, peut être réalisée en fonction des configurations relatives entre elles des caméras 3D.
Cette technique permet de construire l'image de profondeur composite, même lorsque les champs de vue des caméras 3D ne comportent pas de zones de recouvrement, de sorte que les images de profondeur individuelles acquises à un instant donné par les caméras 3D ne comportent pas de zones de recouvrement.
La configuration relative d'une caméra 3D, par rapport à une autre caméra 3D peut comprendre sa position relative, et/ou son orientation relative, par rapport à la position relative, respectivement à l'orientation relative, de l'autre caméra 3D.
Lorsque le robot est équipé d'une ou de plusieurs caméras 3D de champs de vue différents, la phase de détection peut être réalisée individuellement pour au moins une caméra 3D, en prenant comme image de mesure une image de profondeur individuelle prise par ladite caméra 3D à l'instant de mesure.
Dans ce cas, l'image de profondeur individuelle de la caméra 3D est recalée avec l'image de référence, puis comparée à l'image de référence en vue d'identifier, dans l'image de mesure, un changement relatif à un objet dans l'image de profondeur individuelle.
En particulier, la phase de détection peut être réalisée pour chaque image de profondeur individuelle de chaque caméra 3D, le cas échéant. La phase de détection peut alors être réalisée en même temps ou à tour de rôle pour chaque caméra 3D.
Suivant un autre mode de réalisation, lorsque le robot est équipé de plusieurs caméras 3D de champs de vue différents, l'image de mesure à un instant de mesure peut être une image de profondeur composite construite à partir de plusieurs images de profondeur individuelles acquises par plusieurs caméras 3D audit instant de mesure.
Dans ce cas, l'étape d'acquisition d'une image de mesure, à un instant de mesure, peut comprendre les opérations suivantes :
- acquisition, à l'instant de mesure, par plusieurs caméras 3D, d'images de profondeur individuelles ; et
- construction d'une image de mesure composite à partir desdites images de profondeur individuelles.
Ainsi, à chaque instant de mesure, il est possible d'obtenir une image de de mesure composite correspondant à un plus grand champ de vue. Par conséquent, chaque image de mesure composite représente l'environnement du robot suivant un plus grand champ de vue, comparé au mode de réalisation utilisant une seule caméra 3D. Cela permet de réaliser une surveillance d'une plus grande partie, voire de la totalité, de l'environnement du robot.
Suivant un exemple de réalisation, lorsque les images de profondeur individuelles comprennent des zones de recouvrement, alors la construction de l'image de mesure composite, à partir desdites images de profondeur individuelles, peut être réalisée :
- en détectant lesdites zones de recouvrement, par exemple par comparaison desdites images de profondeur individuelles entre elles ; et
- en combinant lesdites images de profondeur individuelles ensemble, en fonction desdites zones de recouvrement, par exemple par concaténation ou fusion desdites images de profondeur individuelles.
Alternativement, ou en plus, la construction de l'image de mesure composite, à partir des images de profondeur individuelles, peut être réalisée en fonction des configurations relatives entre elles des caméras 3D. Cette technique permet de construire l'image de mesure composite, même lorsque les champs de vue des caméras 3D ne comportent pas de zones de recouvrement, de sorte que les images de profondeur individuelles acquises par les caméras 3D, à l'instant de mesure, ne comportent pas de zones de recouvrement.
La configuration relative d'une caméra 3D, par rapport à une autre caméra 3D peut comprendre sa position relative, et/ou son orientation relative, par rapport à la position relative, respectivement à l'orientation relative, de l'autre caméra 3D.
Suivant une caractéristique avantageuse, la détection d'un changement relatif à un objet peut être réalisée en exploitant les informations de distances de l'image de mesure.
En particulier, cette détection peut être effectuée en détectant que des distances mesurées dans au moins une zone de l'image de mesure sont différentes des distances dans la ou les zones correspondantes de l'image de référence.
Bien entendu, la détection d'un changement relatif à un objet peut également être réalisée en exploitant d'autres informations disponibles, telles que par exemple une intensité, un niveau de gris et/ou une couleur, seules ou en combinaison.
Par ailleurs, la nature de l'objet ou au moins sa forme peuvent également être déterminées, notamment à partir des mesures de distance.
Bien entendu, un déplacement ou un retrait d'un objet peuvent également être détectés de la même manière, par comparaison des images de mesure et de référence.
Suivant une caractéristique avantageuse, lorsqu'un changement relatif à un objet est détecté dans l'image de mesure, la phase de détection peut comprendre en outre une étape de détermination d'une distance relative audit objet, par analyse de ladite image de mesure.
Par conséquent, lorsqu'un objet est identifié dans une zone de l'image de mesure (par détection de différences de distances ou d'autres critères), la distance relative de l'objet est déterminée comme étant, par exemple, la distance du point le plus proche appartenant audit objet dans l'image de mesure. Alternativement, la distance relative de l'objet peut correspondre à la distance moyenne des points appartenant audit objet dans l'image de mesure.
Suivant une autre caractéristique particulièrement avantageuse, le procédé selon l'invention peut comprendre une étape de déclenchement d'une commande dudit robot, en cas de détection d'un changement relatif à un objet dans l'image de mesure.
Un tél déclenchement peut être, en outre, fonction d'une caractéristique de l'objet : la distance relative de l'objet, la nature de l'objet, la taille de l'objet, etc.
Des exemples de commandes peuvent comprendre :
- un arrêt d'urgence, en particulier si un objet approchant est identifié comme un opérateur ;
- un changement de vitesse ou un ralentissement ;
- une modification de trajectoire, avec par exemple une génération d'une trajectoire de contournement ;
- un déclanchement d'une tâche spécifique, ou un paramétrage d'une tâche, par exemple en cas de détection d'un chariot avec des objets à manipuler.
Il est également possible de définir des zones dans l'image de référence qui feront l'objet d'un traitement particulier en cas par exemple de détection d'un objet dans ces zones :
- zone proche / lointaine ;
- zone où un opérateur provoque un ralentissement / zone d'exclusion avec arrêt du robot ;
- zone liée à l'exécution d'une tâche (position attendue d'un convoyeur, ...). Par exemple, une commande du robot peut être déclenchée uniquement lorsque la distance relative de l'objet est inférieure ou égale à un seuil de distance prédéterminé.
De plus, la nature de la commande peut être fonction de la distance relative de l'objet. Par exemple, lorsque la distance relative de l'objet est : - inférieure ou égale à un premier seuil, une première commande du robot peut être déclenchée, tel que par exemple un ralentissement du robot ;
- inférieure ou égale à un deuxième seuil, une deuxième commande du robot peut être déclenchée, tel que par exemple une modification de sa trajectoire de déplacement ; et
- inférieure ou égale à un troisième seuil, une troisième commande du robot peut être déclenchée, tel que par exemple un arrêt d'urgence du robot.
De manière générale, dans la présente demande, chaque image de profondeur est acquise sous la forme d'un nuage de points. Autrement dit, lorsqu'une caméra 3D prend une image, elle fournit un nuage de points représentant l'image de profondeur. Chaque point du nuage de point, est représenté par les coordonnées dudit point, ou par une donnée de distance et un angle solide, dans un référentiel associé à la caméra 3D au moment de l'acquisition de l'image.
Suivant des modes de mise en œuvre de l'invention, les différentes opérations appliquées aux images de profondeur peuvent être effectuées directement sur les nuages de points constituant lesdites images de profondeur. Par exemple, l'image de référence peut être réalisée en fusionnant entre elles des images de nuages de points. De même, une comparaison ou un recalage d'une première image de profondeur par rapport à une deuxième image de profondeur peut être réalisé par une comparaison ou un recalage du nuage de points représentant la première image de profondeur avec le nuage de points représentant la deuxième image de profondeur. Ce mode de mise en œuvre nécessite toutefois des ressources et un temps de calcul non négligeables, qui augmentent avec le nombre de points dans chaque nuage de points.
Suivant d'autres modes de mise en œuvre de l'invention, le nuage de points représentant une image de profondeur peut être préalablement traité ou segmenté pour en déduire un ensemble de formes géométriques simples, telles que des plans, de sorte à réduire la quantité d'information à traiter. Ce traitement préalable peut être réalisé par des techniques connues, par exemple en utilisant des algorithmes de type RANSAC. Ce traitement préalable fournit alors une image représentée ou modélisée par un ensemble de données indiquant la nature des formes géométriques ainsi détectées, leurs dimensions, leur position et leur orientation. Les fonctions appliquées à une image de profondeur, telles que le recalage et éventuellement la comparaison ou la détection d'un changement, peuvent alors être appliquées, non pas au nuage de points initial représentant l'image de profondeur, mais à l'ensemble des données fournies par le traitement préalable. Ce traitement préalable peut être appliqué à tout moment lors de la réalisation du procédé selon l'invention, tel que par exemple :
- directement à chaque image de profondeur acquise par une caméra 3D : dans ce cas aucune étape du procédé n'est appliquée au nuage de points ;
- à chaque image de profondeur composite obtenue, à un instant d'acquisition, pour l'ensemble des caméras 3D : dans ce cas, l'image de profondeur composite est obtenue par traitement des nuages de points représentant les images de profondeur individuelles ;
- à l'image de référence ou aux images utilisées pour construire l'image de référence ;
- à l'image de mesure.
Ainsi, suivant des modes de mise en œuvre, le recalage des images de profondeur de référence et de mesure peut être réalisé par analyse d'images en nuages de points.
Il peut notamment être réalisé par recherche de similitude, ou de corrélation, ou de minimisation de distances entre nuages de points, ou plus généralement par toutes les techniques actuellement connues.
Dans ce cas, l'étape de comparaison pour la détection d'un changement peut être réalisée également sur les nuages de points.
Suivant d'autres modes de mise en œuvre, le recalage des images de profondeur de référence et de mesure peut être réalisé par analyse d'images préalablement modélisées sous la forme de formes géométriques.
Ces formes géométriques peuvent comprendre notamment des plans. Le recalage des images peut notamment être réalisé par recherche de similitude, ou de corrélation, ou de minimisation de distances entre formes géométriques, ou plus généralement par toutes les techniques actuellement connues.
Dans ce cas, l'étape de comparaison pour la détection d'un changement peut être réalisée :
- entre l'image de référence et une image de mesure préalablement modélisées sous la forme de formes géométriques ; ou
- entre l'image de référence préalablement modélisée sous la forme de formes géométriques, et une image de mesure sous la forme d'un nuage de point.
Le recalage des images de profondeur de référence et de mesure peut également être réalisé avec un procédé de recalage de deux images de profondeur d'une scène réelle comprenant les étapes suivantes :
- pour chacune desdites images de profondeur :
- détection d'une pluralité de plusieurs formes géométriques dans ladite image de profondeur, et
- détermination d'au moins une relation géométrique entre au moins deux formes géométriques de ladite pluralité de formes géométriques ;
- identification de formes géométriques communes auxdites deux images par comparaison des relations géométriques détectées pour l'une des images à celles détectées pour l'autre desdites images ; - calcul, en fonction desdites formes géométriques communes, d'une transformation géométrique entre lesdites images ; et
- recalage de l'une desdites images, par rapport à l'autre desdites images, en fonction de ladite transformation géométrique.
La transformation géométrique peut être notamment une transformation linéaire ou rigide. Elle peut notamment être déterminée sous la forme d'une matrice de déplacement, représentative par exemple d'une translation et/ou d'une rotation.
Ainsi, le procédé de recalage selon l'invention propose de recaler entre elles, ou localiser entre elles, deux images de profondeur d'une même scène réelle, en utilisant non pas les objets se trouvant dans la scène, mais des relations géométriques entre des formes géométriques identifiées dans chaque image de profondeur.
L'identification, dans chaque image, des formes géométriques et des relations géométriques entre ces formes, nécessite moins de ressources de calcul et moins de temps de calcul, que l'identification des objets réels de la scène dans chaque image.
De plus, la comparaison entre elles des relations géométriques est plus simple et plus rapide, que de comparer les objets réels de la scène entre eux. En effet, les formes géométriques et leurs relations sont représentées par une quantité de données à traiter beaucoup plus faible que la quantité de données représentant les objets réels de la scène.
Les formes géométriques peuvent être des éléments géométriques pouvant être décrits ou modélisés par des équations ou des systèmes d'équations, tels que par exemple : des plans, des lignes, des cylindres, des cubes, ...
Suivant des modes de mise en œuvre, le procédé de recalage de l'invention peut comprendre une détection de formes géométriques toutes de même nature (par exemple uniquement des plans).
Suivant d'autres modes de mise en œuvre, le procédé de recalage de l'invention peut comprendre une détection de formes géométriques de nature différente parmi un ensemble fini (par exemple des plans et des cubes).
Avantageusement, les relations géométriques utilisées peuvent être invariantes par la transformation géométrique recherchée.
Ainsi, par exemple, des angles et des distances sont invariantes par les transformations géométriques de type rotation et translation.
Pour chaque image, l'étape de détection peut comprendre une détection d'au moins un groupe de formes géométriques présentant toutes une orientation similaire, ou une même orientation relativement à une direction de référence prédéterminée dans la scène.
Des formes géométriques peuvent être considérée comme présentant une orientation similaire, ou une même orientation relativement à une direction de référence, lorsqu'elles sont toutes orientées selon un angle particulier relativement à cette direction de référence, dans une gamme de tolérances angulaires prédéterminé, par exemple de +/-5 degrés, ou +/- 10 degrés. Cet angle particulier peut être par exemple 0 degré (orientation parallèle), ou 90 degrés (orientation perpendiculaire). Il est bien entendu que les formes géométriques d'un groupe peuvent par ailleurs présenter une orientation non parallèle entres elles.
La détection d'un groupe de formes géométriques peut comprendre une identification, ou une classification dans ce groupe, de formes géométriques dans un ensemble de formes géométriques préalablement détectées dans l'image de profondeur, ou une détection de ces formes géométriques particulières dans l'image de profondeur.
Dans le cas où une forme est une ligne, l'orientation de la forme peut correspondre à l'orientation de ladite ligne par rapport à la direction de référence. Dans le cas où une forme est un plan à deux dimensions, l'orientation de la forme peut correspondre à l'orientation dudit plan, ou de son vecteur normal, par rapport à la direction de référence. Enfin, lorsque une forme est une forme tridimensionnelle (telle qu'un cylindre ou un cube), son orientation peut être donnée par sa direction principale, ou d'extension, ou un axe de symétrie.
Les formes géométriques et leur orientation peuvent être déterminées par les techniques connues.
De manière générale, le nuage de points est segmenté ou regroupé sous formes de zones ou d'ensembles correspondant à, ou pouvant être modélisées ou approximées par, une ou des formes géométriques de nature prédéterminée. Puis les paramètres descriptifs de ces formes géométriques sont calculés par des méthodes de minimisation d'erreurs tels que les moindres carrées, en optimisant par exemple des paramètres d'une équation géométrique pour minimiser des écarts par rapport au nuage de points. L'orientation des formes géométriques peut alors se déduire par exemple des paramètres des équations qui les décrivent.
Préférentiellement, pour chaque image, l'étape de détection peut comprendre une détection : - d'un premier groupe de formes géométriques, présentant toutes une première orientation relativement à la direction de référence, en particulier une orientation parallèle à la direction de référence ; et
- d'au moins un deuxième groupe de formes géométriques présentant toutes une même deuxième orientation relativement à la direction de référence, différente de la première orientation, en particulier orthogonale à ladite première orientation.
Ainsi, le procédé selon l'invention permet d'obtenir deux groupes de formes d'orientation différentes relativement à la direction de référence, et en particulier perpendiculaires. Les relations géométriques sont déterminées entre les formes appartenant à un même groupe.
La relation géométrique recherchée entre les formes d'un groupe peut être identique, ou différente de la relation géométrique recherchée entre les formes d'un autre groupe. Par exemple, pour l'un des groupes, la relation géométrique recherchée entre les formes peut être une relation de distance, et pour l'autre des groupes la relation géométrique recherchée entre les formes peut être une relation angulaire.
Dans un mode de réalisation particulièrement préféré, la direction de référence peut être la direction du vecteur gravité dans la scène.
La direction du vecteur gravité peut correspondre à l'orientation de la force gravitationnelle.
Dans ce mode de réalisation, l'étape de détection peut comprendre une détection d'un groupe de formes géométriques présentant une orientation horizontale dans la scène, tel que par exemple de formes correspondant à des objets réels horizontaux dans la scène. De telles formes géométriques horizontales peuvent correspondre au sol, au plafond, à une table, etc.
Suivant une caractéristique avantageuse, mais nullement limitative, la relation géométrique entre deux formes géométriques horizontales peut comprendre, ou être, une distance entre lesdites deux formes, dans la direction du vecteur gravité.
Autrement dit, la distance recherchée entre deux formes horizontales est la distance séparant lesdites formes dans la direction verticale. Toujours dans le mode de réalisation où la direction de référence est la direction du vecteur gravité dans la scène, l'étape de détection peut comprendre une détection d'un groupe de formes géométriques présentant une orientation verticale dans la scène.
De telles formes géométriques verticales peuvent correspondre à des objets verticaux dans la scène, tels que des murs, des portes, des fenêtres, des meubles, etc.
Suivant une caractéristique avantageuse mais nullement limitative, la relation géométrique entre deux formes géométriques verticales peut comprendre au moins un angle entre les deux formes géométriques.
En particulier, la relation géométrique entre deux formes verticales peut comprendre un angle entre lesdites formes dans le plan horizontal. Suivant un mode de réalisation préféré, mais nullement limitatif, l'étape de détection peut réaliser une détection :
- d'un premier groupe de formes géométriques horizontales, et
- d'un deuxième groupe de formes géométriques verticales ;
par rapport au vecteur gravité.
Dans ce mode de réalisation, l'étape de détermination détermine :
- un ou des angles, mesurés dans le plan horizontal, entre les formes géométriques verticales ; et
- une ou des distances, mesurées dans la direction verticale, entre les formes géométriques horizontales.
La direction de référence peut être représentée par un vecteur de référence qui peut être tout vecteur préalablement déterminé et indiquant une direction et un sens dans la scène réelle.
La direction de référence peut, dans un cas particulier, être est la direction du vecteur gravité dans la scène, ou en d'autres termes le vecteur de référence peut être le vecteur gravité. Ce vecteur peut alors être utilisé, dans chaque image, pour déterminer si une forme de ladite image présente une orientation spécifique, par exemple une orientation verticale ou une orientation horizontale. Suivant un mode de réalisation, le vecteur de référence, et en particulier le vecteur gravité, peut être détecté et renseigné par un capteur pour chaque image. Un tel capteur peut par exemple être un accéléromètre.
Suivant un autre mode de réalisation, le vecteur de référence, et en particulier le vecteur de gravité, peut être déterminé, dans chaque image, par analyse de ladite image.
Par exemple, dans le cas où le vecteur de référence est le vecteur de gravité, alors chaque image peut être analysée pour détecter un plan correspondant au sol ou au plafond, dans le cas d'une scène d'intérieur : le vecteur gravité correspond alors au vecteur perpendiculaire à ce plan. En général, le sol ou le plafond sont les plus grands plans dans une image de profondeur.
Suivant un autre exemple de réalisation, lorsque l'image de profondeur comprend une composante couleur, alors la composante couleur peut être utilisée pour détecter un plan prédéterminé, et utiliser ce plan pour obtenir le vecteur de référence, et en particulier le vecteur gravité.
Avantageusement, l'étape de détermination de relations géométriques peut comprendre, pour chaque forme géométrique, une détermination d'une relation géométrique entre ladite forme géométrique et chacune des autres formes géométriques, de sorte qu'une relation géométrique est déterminée pour chaque combinaison par paires des formes géométriques.
Lorsque l'étape de détection comprend une détection d'un ou plusieurs groupes de formes géométriques, l'étape de détermination de relations géométriques peut comprendre, pour chaque forme géométrique d'un groupe, une détermination d'une relation géométrique entre ladite forme géométrique et chacune des autres formes géométriques dudit groupe, de sorte qu'une relation géométrique est déterminée pour chaque combinaison par paires des formes géométriques dudit groupe.
Ainsi, pour un groupe comprenant « n » formes géométriques, on obtient k de paires de formes géométriques, et donc autant de relations géométriques.
Au moins une forme géométrique peut être une ligne, un plan ou une forme géométrique tridimensionnelle. En particulier, le cas échéant, toutes les formes géométriques d'un même groupe, et plus généralement de tous les groupes, peuvent être de même nature. Dans une forme de réalisation particulièrement préférée, toutes les formes géométriques peuvent être des plans.
Dans ce cas, dans chaque image, l'étape de détection peut réaliser une approximation, par des plans, de surfaces de la scène réelle apparaissant dans ladite image. Ainsi, un objet comportant plusieurs faces est approximé par plusieurs plans, sans avoir à détecter l'objet dans son ensemble.
De plus les relations géométriques sont plus simples à déterminer entre des plans.
Dans chaque image, la détection des plans peut être réalisée de manière simple par des algorithmes connus, tels que par exemple l'algorithme RANSAC.
Suivant un exemple de réalisation, la détection de plans dans une image de profondeur peut être réalisée par les étapes suivantes :
- pour chaque point de l'image de profondeur, ou l'image en nuage de points, on calcule des normales (N) de chaque point du nuage à l'aide, par exemple, du gradient de profondeur. Celui-ci est obtenu, en pratique, pour chaque point, en soustrayant la profondeur du point inférieur à celle du point supérieur (gradient vertical) et la profondeur du point de gauche à celle du point de droite (gradient horizontal). La normale au point est alors donnée par le produit vectoriel du vecteur gradient vertical avec le vecteur gradient horizontal.
- au moins une itération d'une étape de calcul de plans dans le nuage de points en utilisant les normales des points dans le nuage de points. Cette étape comprend les opérations suivantes :
- tirer aléatoirement 3 points parmi le nuage de points, - calculer les paramètres d'un plan passant par ces 3 points, puis
- calculer le nombre de points de P appartenant à ce plan selon des critères tels que des distances inférieures à un seuil ou des normales proches.
Un plan peut être considéré comme identifié si un nombre minimum de points a été identifié comme lui appartenant. Les points appartenant à un plan sont retirés de l'ensemble P pour ne pas être utilisés pour l'identification des plans suivants. L'étape de calcul de plans ci-dessus peut être réitérée autant de fois que souhaité.
Les paramètres descriptifs du plan peuvent ensuite être déterminés à partir des points identifiés comme appartenant à ce plan, en calculant par exemple les paramètres d'une équation de ce plan au sens des moindres carrés.
L'étape de détection de plans fournit ainsi une liste des plans identifiés avec leurs paramètres descriptifs et l'ensemble des points leur appartenant.
L'ensemble des plans peut être traité au sein d'un unique groupe.
Alternativement, parmi tous les plans détectés, les plans verticaux peuvent être regroupés dans un premier groupe et les plans horizontaux peuvent être regroupés au sein d'un deuxième groupe. Les relations géométriques peuvent alors être déterminées entre les plans d'un même groupe, comme décrit plus haut.
Suivant un mode de réalisation, le calcul de la transformation géométrique peut comprendre un calcul d'une matrice de transformation construite à partir :
- d'une différence, au moins dans une direction donnée, entre la position d'au moins une forme géométrique dans l'une desdites images et la position de ladite au moins une forme géométrique dans l'autre desdites images ; et
- d'une différence d'orientation entre au moins un repère orthonormé associé à au moins une forme géométrique dans l'une desdites images et ledit au moins un repère orthonormé associé à ladite au moins une forme géométrique dans l'autre desdites images.
Suivant un mode de réalisation dans lequel toutes les formes géométriques sont des plans, en particulier un groupe de plan horizontaux et un groupe de plans verticaux, le calcul de la transformation géométrique peut comprendre un calcul d'une matrice de transformation peut être construite à partir:
- d'une distance, dans la direction verticale, entre la position d'un plan horizontal dans l'une desdites images et la position dudit plan dans l'autre desdites images ; - de deux distances, dans des directions horizontales, entre les positions respectives de deux plans verticaux non parallèles ou orthogonaux entre eux dans l'une desdites images et les positions respectives desdits plans dans l'autre desdites images ; et
- d'une différence d'orientation entre un repère orthonormé associé à un plan vertical dans l'une desdites images, et un repère orthonormé associé audit plan vertical dans l'autre desdites images.
Les distances dans les directions horizontales peuvent également être déterminées à partir des positions respectives, dans les deux images, des droites d'intersection de deux plans verticaux non parallèles ou orthogonaux entre eux.
La matrice de transformation ainsi obtenue est complète et permet de recaler complètement deux images de profondeur entre elles.
Suivant un autre aspect de l'invention, il est proposé un dispositif de surveillance de l'environnement d'un robot comprenant :
- au moins une caméra 3D, et
- au moins un moyen de calcul ;
configurés pour mettre en œuvre toutes les étapes du procédé de surveillance de l'environnement d'un robot selon l'invention.
Le moyen de calcul peut être un calculateur, un processeur, un microcontrôleur, une puce électronique, ou tout composant électronique.
Suivant encore un autre aspect de la présente invention, il est proposé un robot équipé d'un dispositif de surveillance selon l'invention.
Le robot selon l'invention peut être un robot, sous toutes ses formes, tel qu'un système robotisé, un robot mobile, un véhicule sur roues ou chenilles tel qu'un chariot muni d'un bras ou d'un système manipulateur, ou un robot de type humanoïde, gynoïde ou androïde, éventuellement pourvu d'organes de déplacement tels que des membres, un bras robotisé, etc. En particulier, un robot peut être mobile lorsqu'il est en mesure de se déplacer ou qu'il comprend des parties en mouvement. En particulier, le robot selon l'invention peut comprendre :
- au moins un segment mobile, et
- plusieurs caméras 3D distribuées autour d'un des segments mobiles.
Description des figures et modes de réalisation
D'autres avantages et caractéristiques apparaîtront à l'examen de la description détaillée d'exemples nullement limitatifs, et des dessins annexés sur lesquels :
- les FIGURES la et lb sont des représentations schématiques d'un exemple de réalisation non limitatif d'un robot selon l'invention ;
- la FIGURE 2 est une représentation schématique d'un exemple de réalisation non limitatif d'un procédé selon l'invention ;
- la FIGURE 3 est une représentation d'un exemple de réalisation d'un procédé de recalage d'images de profondeur pouvant être mise en œuvre dans la présente invention ; et
- la FIGURE 4 est un exemple d'application non limitatif et très simplifié du procédé de la FIGURE 3.
II est bien entendu que les modes de réalisation qui seront décrits dans la suite ne sont nullement limitatifs. On pourra notamment imaginer des variantes de l'invention ne comprenant qu'une sélection de caractéristiques décrites par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieur. Cette sélection comprend au moins une caractéristique de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieur.
En particulier toutes les variantes et tous les modes de réalisation décrits sont combinables entre eux si rien ne s'oppose à cette combinaison sur le plan technique.
Sur les figures, les éléments communs à plusieurs figures conservent la même référence. Les FIGURES la et lb sont des représentations schématiques d'un exemple de réalisation non limitatif d'un robot selon l'invention.
La FIGURE la est une représentation schématique du robot vue de profil, et la FIGURE lb est une représentation, vue de face, du segment distal du robot.
Le robot 100 de la FIGURE 1 est un bras robotisé comprenant plusieurs segments 102-108 : le segment 102 étant le segment de base du robot 100, et le segment 108 étant le segment distal du robot. Les segments 104, 106 et 108 sont mobiles en rotation grâce à des articulations 110-114, et des moteurs (non représentés) au niveau de ces articulations 110-114.
Le segment distal 108 peut être équipé d'un outil, tel qu'une pince 116 par exemple comme représenté sur la FIGURE la.
Le segment de base peut être fixe sur un sol 118. Alternativement, le segment de base peut être muni de moyens permettant au robot de se déplacer, telle que par exemple au moins une roue ou une chenille.
Selon l'invention, le robot embarque au moins une caméra 3D.
Dans l'exemple des FIGURES la et lb, le robot 100 est équipé de plusieurs, et exactement huit, caméras 3D 120.
Chaque caméra 3D 120 peut être une caméra temps de vol par exemple.
Les caméras 3D 120 sont disposées autour d'un segment du robot, et en particulier autour du segment distal 108.
Les caméras 120 sont plus particulièrement distribuées suivant un pas angulaire constant.
Chaque caméra 3D 120 permet de réaliser une image en profondeur d'une partie de la scène réelle constituée par l'environnement du robot 100, suivant un champ de vue 122, radial par rapport au segment distal 108. Le champ de vue 122 d'une caméra 3D 120 est différent du champ de vue 122 d'une autre caméra 3D.
Suivant un exemple de réalisation, les champs de vue 122 de deux caméra 3D adjacentes comportent une zone de recouvrement au-delà d'une certaine distance. Bien entendu, les champs de vue 122 de deux caméras 3D adjacentes peuvent ne pas comporter de zone de recouvrement. Comme montré sur la FIGURE lb, l'ensemble des champs de vue 122 des caméras 3D 120 couvrent une vue circulaire complète autour du segment distal 108. Il est clair qu'une vue seulement partielle de l'environnement est détectée pour une position du bras robotisé 100. Par contre, lorsque le bras robotisé se déplace d'autres parties de la scène vont être vues et détectées par les caméras 3D.
Bien entendu, dans d'autres exemples de mise en œuvre, le robot 100 peut comprendre des caméras 3D disposées différemment sur un segment, et/ou disposées sur différents segments. Dans d'autres exemples de configuration, les caméras 3D peuvent être disposées de façon à ce que leur champ de vue total combiné permette de saisir la scène réelle autour du robot dans son ensemble, au moins pour une position du robot 100.
Le bras robotisé 100 est en outre muni d'une unité de traitement 124, qui peut être un ordinateur, un calculateur, un processeur ou similaire. L'unité de traitement 124 est reliée à chacune des caméras 120, de manière filaire ou sans fil. Elle reçoit de chaque caméra 3D, chaque image de profondeur acquise par ladite caméra 3D pour traiter ladite image. L'unité de traitement 124 comprend des instructions informatiques pour mettre en œuvre le procédé selon l'invention.
Dans l'exemple représenté, l'unité de traitement 124 est représentée comme un module individuel distinct. Bien entendu, l'unité de traitement 124 peut être combinée, ou intégrée dans, un autre module ou dans un calculateur du bras robotisé 100.
La FIGURE 2 est une représentation schématique d'un exemple de réalisation non limitatif d'un procédé de surveillance de l'environnement d'un robot, selon l'invention.
Le procédé 200, représenté sur la FIGURE 2, peut en particulier être mis en œuvre par le robot 100 des FIGURES la et lb.
Le procédé 200 comprend une phase 202 d'obtention d'une image de profondeur de l'environnement du robot, sans la présence d'opérateurs ou d'objets non prévus. Cette image de l'environnement du robot sera utilisée comme image de référence pour détecter tout changement relatif à un objet dans l'environnement du robot.
La phase 202 comprend une étape 204 d'obtention d'une image de profondeur, à un instant d'acquisition, pour une configuration donnée du bras robotisé. Lorsque le robot est équipé d'une unique caméra 3D, l'image de profondeur correspond à l'image fournie par ladite unique caméra 3D.
Lorsque le robot est équipé de plusieurs caméras 3D, comme par exemple le robot 100 des FIGURES la et lb, alors une image de profondeur composite est construite à partir des images de profondeur individuelles prises par lesdites caméras 3D, audit instant d'acquisition. Dans ce cas, l'étape 204 comprend les étapes suivantes :
- lors d'une étape 206 réalisée audit instant d'acquisition, chaque caméra 3D prend une image de profondeur individuelle ; et
- lors d'une étape 208, les images de profondeur individuelles sont combinées, pour obtenir une image de profondeur composite pour l'ensemble des caméras 3D.
La combinaison des images de profondeur individuelles pour obtenir une seule image de profondeur composite, à un instant d'acquisition, peut être réalisée suivant différentes techniques.
Suivant une première technique, lorsque les images de profondeur individuelles comprennent des zones de recouvrement, c'est-à-dire lorsque les champs de vue des caméras 3D comportent des zones recouvrement, alors la combinaison des images de profondeur individuelles peut être réalisée en détectant ces zones de recouvrement, et en utilisant ces zones de recouvrement pour concaténer les images de profondeur individuelles en vue d'obtenir une image de profondeur composite.
Suivant une deuxième technique, qui peut être utilisée seule ou en combinaison avec la première technique, la combinaison des images de profondeur individuelles peut être réalisée en utilisant les configurations relatives des caméras 3D. En effet, la position et l'orientation de chaque caméra 3D est connue, dans la mesure bien entendu où elle est positionnée de manière connue sur le robot. Par conséquent, en utilisant les positions relatives et les orientations relatives des caméras 3D entre elles, il est possible de positionner entre-elles les images de profondeur individuelles prises par ces caméras 3D. Concrètement, pour chaque image de profondeur individuelle prise par une caméra 3D, la position de la caméra 3D correspond au centre ou au point d'origine de ladite image de profondeur individuelle, et l'orientation de chaque caméra 3D correspond à la direction selon laquelle l'image de profondeur individuelle a été prise. En utilisant ces deux informations, les images de profondeur individuelles peuvent être positionnées les unes par rapport aux autres, pour obtenir une seule image de profondeur composite pour l'ensemble des caméras 3D, à un instant d'acquisition.
L'étape 204 peut être réitérée autant de fois que souhaité, de manière séquentielle, à différents instants d'acquisition, chaque instant d'acquisition correspondant à une configuration différente du robot. Ainsi, pour chaque configuration du robot, une image de profondeur composite est obtenue.
En particulier, l'étape 204 peut être réitérée de manière séquentielle pendant que le robot est mis en mouvement, continu ou non, suivant une trajectoire prédéterminée en vue d'imager l'environnement du robot dans une large mesure, et en particulier dans sa totalité. Chaque itération de l'étape 204 permet d'obtenir une image de profondeur composite.
Lors d'une étape 210, l'image de référence est construite à partir des différentes images de profondeur composites obtenues séquentiellement pour différentes configurations du robot. La construction d'une image de référence à partir de plusieurs images de profondeur composites acquises séquentiellement à différents instants d'acquisition peut être réalisée suivant différentes techniques.
Suivant une première technique, les images de profondeur composites séquentielles peuvent être acquises en s'assurant qu'elles comprennent des zones de recouvrement. Dans ce cas, la construction de l'image de référence peut être réalisée en détectant les zones de recouvrement entre les images de profondeur composites et en utilisant ces zones de recouvrement pour concaténer les images de profondeur composites séquentielles entre elles.
Suivant une deuxième technique, qui peut être utilisée seule ou en combinaison avec la première technique, la construction de l'image de référence à partir des images de profondeur composites séquentielles peut être réalisée en utilisant la configuration géométrique du robot, pour chaque image de profondeur. Dans le cas d'un bras robotisé, la configuration géométrique du robot est donnée par :
- les dimensions des différents segments mobiles du robot : ces dimensions sont connues ; et
- les orientations relatives des segments mobiles : ces orientations peuvent être connues à partir des articulations, ou des moteurs placés dans les articulations.
Ainsi, en connaissant la configuration géométrique du robot à un instant d'acquisition, il est possible de positionner, dans un repère lié à l'environnement, l'image de profondeur obtenue pour cet instant d'acquisition.
L'image de référence ainsi obtenue est mémorisée lors d'une étape 212. Cette image de référence est ainsi constituée de l'ensemble des images de profondeur acquises et fusionnées de sorte à constituer une image représentant tout ou partie de l'environnement du robot.
Dans l'exemple décrit, l'étape 208 de construction d'une image de profondeur composite, à partir de plusieurs images de profondeur individuelles, est réalisée tout de suite après l'acquisition desdites images de profondeur individuelles. Alternativement, cette étape 208 peut être réalisée juste avant l'étape 210 de construction de l'image de référence. Suivant encore une autre alternative, les étapes 208 et 210 peuvent être réalisées en même temps, au sein d'une seule et unique étape, prenant en compte toutes les images de profondeur individuelles acquises pour chacun des instants d'acquisition séquentiels.
Le procédé 200 comprend en outre au moins une itération d'une phase 220 de détection réalisée lorsque le robot est en cours de fonctionnement. Cette phase de détection 220 est réalisée pour détecter, à un instant de mesure, un changement relatif à un objet se trouvant dans l'environnement du robot.
La phase de détection 220 comprend une étape 222 d'acquisition d'une image de profondeur, dite image de mesure, à l'instant de mesure. Cette image de mesure sera ensuite comparée à l'image de référence, mémorisée à l'étape 212, pour détecter un changement relatif à un objet se trouvant dans l'environnement du robot.
L'image de mesure, acquise à un instant de mesure, peut être une image de profondeur individuelle acquise par une caméra 3D. Dans ce cas, la phase de détection peut être réalisée individuellement pour chaque image de profondeur individuelle acquise par chaque caméra 3D, audit instant de mesure.
Alternativement, l'image de mesure acquise à un instant de mesure peut être une image de mesure composite construite à partir des images de profondeur individuelles acquises par toutes les caméras 3D, audit instant de mesure. Dans ce cas, l'étape 222 comprend une étape 224 d'acquisition d'une image de profondeur individuelle par chaque caméra 3D. Puis, lors d'une étape 226, l'image de mesure composite est construite à partir des images de profondeur individuelles acquise par toutes les caméras 3D, par exemple en utilisant l'une des techniques décrites plus haut en référence à l'étape 208.
Lors d'une étape 228, l'image de mesure, ou l'image de mesure composite, est recalée avec l'image de référence. Cette opération de recalage a pour but de localiser ou positionner l'image de mesure dans le repère ou le référentiel de l'image de référence.
Le recalage des images de référence et de mesure peut être réalisé par des techniques connues, telles que des techniques de recalage par recherche de similitude, ou par corrélation, ou par minimisation de distances.
Le recalage des images de référence et de mesure peut aussi être réalisé par un procédé de recalage de vue dont un exemple de réalisation non limitatif est décrit plus loin en référence aux FIGURES 3 et 4.
Une fois que l'image de mesure (composite) est recalée avec l'image de référence, les images recalées sont comparées entre elles, lors d'une étape 230, pour détecter un changement relatif à un objet dans l'image de mesure composite.
Dans le mode de mise en œuvre présenté, la comparaison des images est réalisée à partir des mesures de distance. Elle peut comprendre par exemple une détection de zones de l'image de mesure avec des distances ou des positions différentes à celles dans les zones correspondantes dans l'image de référence. Cette différence peut être due par exemple à l'apparition, à la disparition ou au déplacement d'un objet ou d'un opérateur.
Comme expliqué précédemment, cette comparaison peut être réalisée entre images sous la forme de nuage de points.
Lorsque l'image de référence est modélisée par des éléments géométriques, cette comparaison peut être réalisée, soit avec une image de mesure sous la forme de nuage de points, soit avec une image de mesure également modélisée par des éléments géométriques.
Le choix de la méthode de comparaison peut dépendre des objets ou des éléments recherchés.
Par exemple, dans une situation où l'environnement du robot est constitué par une pièce avec des murs et des éléments de mobilier (convoyeur, baie ou armoire, ...) et où on cherche à détecter des objets de forme non déterminée (opérateur, ...), il peut être avantageux :
- de modéliser l'image de référence avec des éléments géométriques, et en particulier des plans ;
- de modéliser l'image de mesure avec des éléments géométriques, et en particulier des plans, pour l'opération de recalage ; et
- d'utiliser l'image de mesure sous la forme de nuage de points pour détecter les changements relatifs aux objets.
Ainsi, le recalage peut être effectué d'une manière précise et peu consommatrice de puissance de calcul, et l'opération de comparaison permet d'extraire les points de mesure correspondant aux objets différents, sans hypothèses sur leur forme. On peut ainsi analyser ces objets, par exemple en vue de les identifier.
Lorsqu'aucune différence significative n'est constatée entre l'image de référence et l'image de mesure composite alors il est mis fin à cette itération de la phase de détection 220. Une nouvelle itération de la phase de détection 220 peut être réalisée, à tout moment.
Lorsqu'une différence significative relative à un objet est détectée entre l'image de référence et l'image de mesure composite, cette différence est analysée pour décider si une action est nécessaire. Dans ce cas, une commande du robot est déclenchée lors d'une étape 234.
Par exemple, en cas d'apparition d'un objet, la phase de détection peut en outre comprendre une étape 232 de calcul d'une distance relative dudit objet. Cette distance relative dudit objet est donnée dans l'image de mesure (composite) puisque cette dernière comprend une information de distance pour chaque pixel de ladite image.
Lorsque la distance déterminée à l'étape 232 est inférieure à un seuil prédéterminé alors une commande du robot est déclenchée lors de l'étape 234. Des exemples de commandes peuvent comprendre :
- un arrêt d'urgence, en particulier si un objet approchant est identifié comme un opérateur ;
- un changement de vitesse ou un ralentissement ;
- une modification de trajectoire, avec par exemple une génération d'une trajectoire de contournement ;
- un déclanchement d'une tâche spécifique, ou le paramétrage d'une tâche, par exemple en cas de détection d'un chariot avec des objets à manipuler.
Il est également possible de définir des zones dans la scène de référence qui feront l'objet d'un traitement particulier en cas par exemple de détection d'un élément dans ces zones. Il est par exemple de définir :
- une zone proche, et/ou une zone lointaine ;
- une zone de sécurité où un opérateur provoque un ralentissement, ou une zone d'exclusion avec arrêt du robot ;
- une zone liée à l'exécution d'une tâche (position attendue d'un convoyeur, ...).
Nous allons maintenant décrire, en référence aux FIGURES 3 et 4, un exemple de réalisation d'un procédé de recalage d'images de profondeur pouvant être mise en œuvre dans la présente invention, et en particulier lors de l'étape 228. La FIGURE 3 est une représentation schématique d'un exemple de réalisation non limitatif d'un procédé de recalage d'images de profondeur selon l'invention, en utilisant comme formes géométriques des plans.
Le procédé 300, représenté sur la FIGURE 3 permet de recaler entre elles, ou localiser entre elles, une première image de profondeur d'une scène (telle qu'une image de référence) et une deuxième image de profondeur de la même scène (telle qu'une image de mesure), dans un référentiel commun qui peut être celui d'une des deux images ou un référentiel lié à ladite scène. Le procédé 300 comprend une phase 302i de traitement de la première image de profondeur.
La phase de traitement 302i comprend une étape 304i de détection de plans dans la première image. Cette étape 304i peut être réalisée par des techniques connues, telles que par exemple une technique utilisant l'algorithme RANSAC. Suivant un exemple de réalisation nullement limitatif, l'étape de détection de plans 304i peut être réalisée de la manière suivante, en considérant que la première image de profondeur est représentée par un nuage de points noté PI. Une première étape calcule les normales (N) de chaque point du nuage de points P à l'aide, par exemple, du gradient de profondeur : celui-ci est obtenu, en pratique, pour chaque point, en soustrayant la profondeur du point inférieur à celle du point supérieur (gradient vertical) et la profondeur du point de gauche à celle du point de droite (gradient horizontal). La normale au point est alors donnée par le produit vectoriel des deux vecteurs gradients. Puis une deuxième étape utilise les normales des points pour le calcul des plans dans le nuage de points. Cette étape consiste à :
- tirer aléatoirement 3 points parmi le nuage de points PI,
- calculer les paramètres d'un plan passant par ces 3 points puis,
- calculer le nombre de points de PI appartenant à ce plan selon des critères tels que des distances inférieures à un seuil ou des normales proches.
L'étape de détection de plan 304i peut être réitérée un nombre de fois prédéterminé. Un plan peut être considéré comme identifié si un nombre minimum de points a été identifié comme lui appartenant. Les points appartenant à un plan sont retirés de l'ensemble PI de points, pour ne pas être utilisés pour l'identification des plans suivants.
L'étape 304i de détection de plans fournit une liste des plans identifiés avec leurs paramètres descriptifs et l'ensemble des points de P leur appartenant.
Il est à noter que ce procédé décrit pour l'étape de détection des plans est également applicable pour la modélisation d'images de profondeur sous la forme d'éléments géométriques telle que décrite précédemment.
Ensuite, une étape 306i, optionnelle, permet de détecter le vecteur de gravité dans la première image. Ce vecteur de gravité correspond au vecteur ayant la même direction que la force gravitationnelle, exprimée dans le repère de la caméra 3D qui a pris l'image. Pour obtenir ce vecteur, un plan grossièrement horizontal le plus étendu est recherché. Ce plan est considéré comme étant parfaitement orthogonal à la force gravitationnelle. La normale à ce plan donne le vecteur de gravité. Alternativement, le vecteur de gravité peut être renseigné par un capteur, tel qu'un accéléromètre ou un inclinomètre, détectant ledit vecteur de gravité au moment de la prise de la première image de profondeur.
Ensuite, une étape 308i permet de sélectionner, parmi tous les plans identifiés à l'étape 304i, un premier groupe de plans horizontaux. Chaque plan présentant une normale parallèle (ou sensiblement parallèle avec une tolérance angulaire, par exemple de +/-10 degrés) au vecteur de gravité est considéré comme étant horizontal. L'étape 308i fournit donc un premier groupe de plans horizontaux.
Lors d'une étape 310i, pour chaque plan horizontal du premier groupe, une relation géométrique est détectée entre ce plan horizontal et chacun des autres plans horizontaux faisant partie du premier groupe. En particulier, dans le mode de mise en œuvre présenté, la relation géométrique entre deux plans horizontaux utilisée est la distance entre ces plans dans la direction du vecteur de gravité, c'est-à-dire dans la direction verticale. Les relations géométriques identifiées à l'étape 310i sont mémorisées.
Une étape 312i permet de sélectionner, parmi tous les plans identifiés à l'étape 304i, un deuxième groupe de plans verticaux. Chaque plan présentant une normale perpendiculaire (ou sensiblement perpendiculaire avec une tolérance angulaire, par exemple de +/-10 degrés) au vecteur de gravité est considéré comme étant vertical. L'étape 312i fournit donc un deuxième groupe de plans verticaux.
Lors d'une étape 314i, pour chaque plan vertical du deuxième groupe, une relation géométrique est détectée entre ce plan vertical et chacun des autres plans verticaux faisant partie du deuxième groupe. En particulier, dans le mode de mise en œuvre présenté, la relation géométrique entre deux plans verticaux utilisée est l'angle relatif entre ces plans. Les relations géométriques identifiées à l'étape 314i sont mémorisées.
Une phase de traitement 3022 est appliquée à la deuxième image de profondeur, en même temps que la phase de traitement 302i ou après la phase de traitement 302i. Cette phase de traitement 3022 est identique à la phase de traitement 302i, et comprend des étapes 3042-3142 identiques respectivement aux étapes 304i-314i.
Lors d'une étape 316, chaque relation géométrique entre les plans horizontaux, identifiée pour la première image à l'étape 310i, est comparée à chaque relation géométrique entre les plans horizontaux, identifiée pour la deuxième image à l'étape 3102. Lorsque deux relations géométriques correspondent, alors cela indique que ces relations géométriques concernent les mêmes plans horizontaux sur les deux images. Ainsi, les plans horizontaux communs aux deux images sont identifiés.
Lors d'une étape 318, chaque relation géométrique entre les plans verticaux, identifiée pour la première image à l'étape 314i, est comparée à chaque relation géométrique entre les plans verticaux, identifiée pour la deuxième image à l'étape 3142. Lorsque deux relations géométriques correspondent, alors cela indique que ces relations géométriques concernent les mêmes plans verticaux sur les deux images. Ainsi, les plans verticaux communs aux deux images sont identifiés.
A l'issu de ces étapes, on obtient une mise en correspondance des plans verticaux et horizontaux respectifs des deux images. Le procédé selon l'invention peut en outre comprendre des étapes supplémentaires de validation de la mise en correspondance des plans des deux images. Il est ainsi notamment possible de vérifier :
- si les vecteurs normaux et les distances à l'origine des plans sont similaires ;
- si les étendues des plans, représentées par leurs enveloppes convexes, se superposent ;
- si les points formant l'enveloppe convexe d'un plan identifié sur la première image sont proches de la surface du plan identifié sur la deuxième image ;
- si leurs distributions de couleurs ou leur apparence, par exemple obtenues à partir des histogrammes de couleur respectifs des deux plans, sont similaires.
Ces étapes supplémentaires de validation peuvent être réalisées, par exemple, par le calcul des heuristiques de comparaison des plans deux à deux, en appliquant au besoin une transformation géométrique (par exemple comme décrite ci-dessous) pour exprimer les plans de la seconde image dans le repère de la première image et ainsi les rendre comparables. Lors d'une étape 320, une transformation géométrique, sous la forme d'une matrice homogène de déplacement, est calculée en considérant la position et l'orientation des plans communs identifiés dans chacune des images. Cette matrice permet par exemple d'exprimer les plans de la seconde image dans le repère de la première image. Elle permet ainsi de déterminer le déplacement ou la différence de position, dans la scène, du capteur ou de la caméra 3D qui a permis d'acquérir chacune des images.
Dans le mode de mise en œuvre présenté, la rotation de l'une des images, par rapport à l'autre des images, est déterminée à l'aide de plans verticaux communs. En effet, le vecteur de gravité, associé à un vecteur normal de plan vertical, étant orthogonal à la gravité, donne une base orthonormée. Les deux bases orthonormées qui se correspondent dans deux vues donnent directement l'angle de rotation du capteur selon chacun des axes. Les angles de rotation selon les trois axes sont donc calculés pour chaque plan correspondant et moyennés. Ensuite, le vecteur de translation horizontal est calculé en mettant en correspondance les deux droites d'intersection entre deux plans verticaux orthogonaux. A ce stade, on peut également obtenir la translation verticale en définissant la matrice d'erreur quadrique associée aux deux plans pour obtenir le vecteur qui minimise cette matrice.
De plus, les plans horizontaux communs permettent de calculer la translation verticale. En calculant la différence de distance à l'origine de chaque plan dans les deux images, on peut retrouver un vecteur de translation orienté selon la normale des plans horizontaux.
La matrice de déplacement déterminée à l'étape 320 peut ensuite être appliquée à l'une des images pour la recaler sur l'autre des images, lors d'une étape 322.
Les deux images sont alors recalées l'une avec l'autre dans un même repère, ou en d'autres termes, positionnées l'une et l'autre dans un même repère.
Les images ainsi recalées peuvent ensuite être exploitées indépendamment l'une de l'autre.
Elles peuvent également être fusionnées entre elles ou dans une représentation 3D plus large, selon des techniques connues. Cette fusion peut notamment être réalisée entre nuages de points, ou entre formes géométriques identifiées.
La FIGURE 4 est une représentation schématique d'un exemple d'application, très simplifié, d'un procédé de recalage d'images de profondeur selon l'invention, et en particulier du procédé 300 de la FIGURE 3.
La FIGURE 4 représente deux images de profondeur 402 et 404 d'une même scène (par exemple une image de référence et une image de mesure) suivant deux champs de vue différents. Le repère (C,U,Z) est un repère associé au champ de vue de l'image 402, ou au capteur associé. Il est donc différent d'un repère associé au champ de vue de l'image 404. Chacune des images 402 et 404 est traitée pour détecter, dans chaque image, des plans verticaux et les plans horizontaux. Le résultat obtenu pour l'image 402 est donné par l'image à base de plan 406, et pour l'image 404 par l'image à base de plan 408. Ainsi, pour chaque image, des plans horizontaux et des plans verticaux sont identifiés. Le vecteur normal de chaque plan est également indiqué.
Dans la première image 402, les plans horizontaux détectés à l'étape 308i sont les suivants :
- un plan horizontal hl dont :
o le vecteur normal hl est le vecteur Nhl = (0, 1, 0)
o le centre de gravité est le point Chl = (1, -1, 2)
- un plan horizontal h2 dont :
o le vecteur normal est le vecteur Nh2 = (0, -1, 0)
o le centre de gravité est le point Ch2 = (-2, 2, 1).
Les coordonnées peuvent être par exemple en mètres.
La relation de distance entre ces deux plans horizontaux, détectée à l'étape 310i est donnée par une projection des points Chl et Ch2 (ou des vecteurs correspondant depuis l'origine du repère) sur un des vecteurs normaux, par exemple Nhl. Elle est donnée par la relation suivante :
distance(Chl, Ch2) = abs(Nhl.Chl-Nhl.Ch2) = 3.
avec « abs » la valeur absolue et « . » le produit scalaire.
Toujours dans la première image 402 les plans verticaux détectés à l'étape 312i sont les suivants :
- un plan vertical vl dont :
o le vecteur normal est le vecteur Nvl = (1, 0, 0),
o le centre de gravité, défini comme la moyenne des positions de tous les points 3D appartenant au plan vl, est le point Cvl = (-2, 1, 1)
- un plan vertical v2 dont :
o le vecteur normal est le vecteur Nv2 = (0, 0, -1)
o le centre de gravité est le point Cv2 = (1, 1, 3)
La relation angulaire entre ces deux plans verticaux, détectée à l'étape 314i, est donnée par la relation suivante : angle(Nvl, Nv2) = 90°. Dans la deuxième image 404, les plans horizontaux détectés à l'étape 3082 sont les suivants :
- un plan horizontal h'I dont :
o le vecteur normal hl est le vecteur Nh'l = (-0.150, 0.985, 0.087)
o le centre de gravité est le point Ch'l = (2.203, -0.311, 1.203)
- un plan horizontal h'2 dont :
o le vecteur normal est le vecteur Nh'2 = (0.150, -0.985, - 0.087)
o le centre de gravité est le point Ch'2 = (-1.306, 2.122, 2.074).
La relation de distance entre ces deux plans horizontaux, détectée à l'étape 3102 et calculée comme précédemment, est donnée par la relation suivante :
distance(Ch'l, Ch'2) = abs(Nh'l.Ch'l-Nh'l .Ch'2) = 3.
Toujours dans la deuxième image 404 les plans verticaux détectés à l'étape 3122 sont les suivants :
- un plan vertical v'1 dont :
o le vecteur normal est le vecteur Nv'l = (0.853, 0.174, - 0.492),
o le centre de gravité est le point Cv'l = (-1.156, 1.137, 1.988)
- un plan vertical v'2 dont :
o le vecteur normal est le vecteur Nv'2 = (-0.5, 0, -0.866) o le centre de gravité est le point Cv'2 = (2.402, 1.658, 2.242).
La relation angulaire entre ces deux plans verticaux, détectée à l'étape 3142, est donnée par la relation suivante : angle(Nv'l, Nv'2) = 90°.
En comparant les relations angulaires angle(Nvl, Nv2) et angle(Nv'l, Nv'2), on détecte une égalité :
angle(Nvl, Nv2)=angle(Nv'l, Nv'2). Cela permet de confirmer que les plans verticaux (vl,v2) dans la première image 402 sont bien les plans verticaux (v'l,v'2) dans la deuxième image 404. De plus, en comparant les relations distance(Chl, Ch2) et distance(Ch'l, Ch'2), on détecte une égalité :
distance(Chl, Ch2)=distance(Ch'l, Ch'2)
Cela permet de confirmer que les plans horizontaux (hl, h2) dans la première image 402 sont bien les plans horizontaux (h'1, h'2) dans la deuxième image 404.
En utilisant, les caractéristiques des plans verticaux et des plans horizontaux communs aux deux images 402 et 404, une matrice de déplacement homogène est calculée. Dans l'exemple donné, la matrice de déplacement homogène (R, T) est la suivante :
- Rotation R = (0°, 30°, 10°),
- Translation T = (0.20, 0.50, 0.05)
On peut noter qu'il existe une relation entre les différents paramètres définissant les plans et les vecteurs R et T. Par exemple : Nv'l = R x Nvl et Cv'l = R x Cvl + T.
La rotation R est calculée à l'aide des plans verticaux vl, v2, v'1, v'2 et du vecteur de gravité.
Les composantes de translation horizontale (en x et z) de T sont calculées à l'aide des plans verticaux vl, v2, v'1 et v'2.
La composante de translation verticale (y) de T est calculée à l'aide des plans horizontaux hl, h2, h'1 et h'2.
La transformation T ainsi calculée est appliquée à la deuxième image 404 afin d'exprimer cette image 404 dans le repère (C,U,Z) de la première image 402.
Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention. Dans les exemples décrits, le robot comprend plusieurs caméras 3D. Bien entendu, le nombre de caméras 3D n'est pas limitatif et le robot peut comprendre une ou plusieurs caméras. Lorsque le robot comprend une seule caméra, les étapes 208 et 226 de construction d'images de profondeur composite ne sont pas réalisées.

Claims

REVENDICATIONS
1. Procédé (200) de surveillance de l'environnement d'un robot (100) comprenant :
- une phase (202) d'obtention d'une image de profondeur de l'environnement dudit robot (100), dite image de référence, par au moins une caméra 3D (120) portée par ledit robot (100) ; et
- au moins une itération d'une phase de détection (220) comprenant les étapes suivantes :
- acquisition (222), à un instant de mesure, d'une image de profondeur dudit environnement, dite image de mesure, par ladite au moins une caméra 3D (120),
- recalage (228) desdites images de référence et de mesure, et
- détection (230) d'un changement relatif à un objet dans l'environnement dudit robot (100) par comparaison desdites images de référence et de mesure.
2. Procédé (200) selon la revendication 1, caractérisé en ce que la phase (202) d'obtention de l'image de référence comprend les étapes suivantes :
- acquisition (204), de manière séquentielle, d'au moins deux images de profondeur, à différents instants d'acquisition et pour différentes positions de l'au moins une caméra 3D (120) ; et
- construction (210) de l'image de référence à partir desdites images de profondeur séquentielles.
3. Procédé (200) selon la revendication 2, caractérisé en ce que la construction de l'image de référence est réalisée en fonction de la configuration de l'au moins une caméra 3D (120), à chaque instant d'acquisition.
4. Procédé (200) selon la revendication 3, caractérisé en ce que la position, à un instant d'acquisition, de l'au moins une caméra 3D (120) est déterminée en fonction d'une configuration géométrique du robot (100) audit instant d'acquisition.
5. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce que, lorsque le robot (100) est équipé de plusieurs caméras 3D (120), de champs de vue (122) différents, l'étape (204) d'acquisition d'une image de profondeur, à un instant d'acquisition, comprend les opérations suivantes :
- acquisition (206), audit instant d'acquisition, par au moins deux desdites caméras 3D (120), d'images de profondeur individuelles ; et
- construction (208) d'une image de profondeur composite à partir desdites images de profondeur individuelles.
6. Procédé (200) selon la revendication 5, caractérisé en ce que la construction de l'image de profondeur composite, à partir des images de profondeur individuelles, est réalisée en fonction des configurations relatives entre elles des caméras 3D (120).
7. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce que la phase de détection (220) est réalisée individuellement pour au moins une caméra 3D, en prenant comme image de mesure, une image de profondeur individuelle prise par ladite caméra 3D (120) à l'instant de mesure.
8. Procédé (200) selon l'une quelconque des revendications 1 à 6, caractérisé en ce que, lorsque le robot (100) est équipé de plusieurs caméras 3D (120) de champs de vue (122) différents, l'étape (222) d'acquisition d'une image de mesure comprend les opérations suivantes :
- acquisition (224), à l'instant de mesure, par plusieurs caméras 3D (120), d'images de profondeur individuelles ; et
- construction (226) d'une image de mesure composite à partir desdites images de profondeur individuelles.
9. Procédé (200) selon la revendication 8, caractérisé en ce que la construction de l'image de mesure composite est réalisée en fonction des positions relatives entre elles des caméras 3D (120).
10. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce que la détection (230) d'un changement relatif à un objet dans l'environnement du robot (100) est réalisée en exploitant des informations de distances de l'image de mesure.
11. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une étape (234) de déclenchement d'une commande du robot (100), en cas de détection d'un changement relatif à un objet dans l'image de mesure.
12. Procédé (200) selon l'une quelconque des revendications précédentes, caractérisé en ce que le recalage des images de profondeur de référence et de mesure est réalisé par analyse d'images en nuage de points.
13. Procédé (200) selon l'une quelconque des revendications 1 à 11, caractérisé en ce que le recalage des images de profondeur de référence et de mesure est réalisé par analyse d'images préalablement modélisées sous la forme de formes géométriques.
14. Procédé (200) selon la revendication précédente, caractérisé en ce que le recalage des images de profondeur de référence et de mesure comprend les étapes suivantes :
- pour chacune desdites images :
- détection (308i,312i, 3082, 3122) d'une pluralité de formes géométriques dans ladite image (402,404), et
- détermination (310i, 3102, 314i, 3142) d'au moins une relation géométrique entre au moins deux formes géométriques de ladite pluralité de formes géométriques ;
- identification (316,318) de formes géométriques communes auxdites deux images (402,404) par comparaison des relations géométriques détectées pour l'une (402) des images à celles détectées pour l'autre (404) des images ;
- calcul (320), en fonction desdites formes géométriques communes, d'une transformation géométrique entre lesdites images (402,404); et - recalage (322) de l'une (304) desdites images, par rapport à l'autre (302) desdites images, en fonction de ladite transformation géométrique.
15. Dispositif de surveillance de l'environnement d'un robot comprenant :
- au moins une caméra 3D (120), et
- au moins un moyen de calcul (124) ;
configurés pour mettre en œuvre toutes les étapes du procédé (200) de surveillance de l'environnement d'un robot selon l'une quelconque des revendications précédentes.
16. Robot (100) équipé d'un dispositif de surveillance selon la revendication précédente.
17. Robot (100) selon la revendication précédente, caractérisé en ce qu'il comprend :
- au moins un segment mobile (104-108), et
- plusieurs caméras 3D (120) distribuées autour d'un des segments mobiles.
EP20705316.6A 2019-02-22 2020-02-10 Procede et dispositif de surveillance de l'environnement d'un robot Withdrawn EP3928292A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1901828A FR3093215B1 (fr) 2019-02-22 2019-02-22 Procédé et dispositif de surveillance de l’environnement d’un robot
PCT/EP2020/053273 WO2020169380A1 (fr) 2019-02-22 2020-02-10 Procede et dispositif de surveillance de l'environnement d'un robot

Publications (1)

Publication Number Publication Date
EP3928292A1 true EP3928292A1 (fr) 2021-12-29

Family

ID=66867531

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20705316.6A Withdrawn EP3928292A1 (fr) 2019-02-22 2020-02-10 Procede et dispositif de surveillance de l'environnement d'un robot

Country Status (5)

Country Link
US (1) US20220130147A1 (fr)
EP (1) EP3928292A1 (fr)
CN (1) CN113767421A (fr)
FR (1) FR3093215B1 (fr)
WO (1) WO2020169380A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049563A (zh) * 2022-01-12 2022-02-15 国网瑞嘉(天津)智能机器人有限公司 带电作业环境的评估方法、作业环境评估系统及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782438B (zh) * 2022-06-20 2022-09-16 深圳市信润富联数字科技有限公司 物体点云修正方法、装置、电子设备和存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010023201A1 (en) * 2000-03-08 2001-09-20 Susumu Takatsuka Method of replaying game, recording medium, program, and entertainment system
US6724385B2 (en) * 2000-03-08 2004-04-20 Sony Computer Entertainment Inc. Method of replaying game, recording medium, program, and entertainment system
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
KR20080066408A (ko) * 2007-01-12 2008-07-16 삼성전자주식회사 3차원 영상 처리 장치 및 방법
EP2600316A1 (fr) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Procédé, système et programme logiciel pour enregistrer et éditer un film comprenant au moins une image d'une animation 3D générée par ordinateur
FR2984057B1 (fr) * 2011-12-13 2014-01-03 Solidanim Systeme de tournage de film video
US9177224B1 (en) * 2013-03-14 2015-11-03 Amazon Technologies, Inc. Object recognition and tracking
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9299013B1 (en) * 2014-03-27 2016-03-29 Amazon Technologies, Inc. Visual task feedback for workstations in materials handling facilities
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160048966A1 (en) * 2014-08-13 2016-02-18 Bendix Commercial Vehicle Systems Llc Learning the distance between cameras for articulated vehicles
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
WO2016126297A2 (fr) * 2014-12-24 2016-08-11 Irobot Corporation Robot de sécurité mobile
US10458990B1 (en) * 2015-03-06 2019-10-29 Scanit Technologies, Inc. Spore state discrimination
WO2016141984A1 (fr) * 2015-03-11 2016-09-15 Huawei Technologies Co., Ltd. Dispositif et procédé de traitement d'images pour étalonnage géométrique d'images
EP3086283B1 (fr) * 2015-04-21 2019-01-16 Hexagon Technology Center GmbH Fourniture d'un nuage de points à l'aide d'un instrument de surveillance et un dispositif de caméra
US11513205B2 (en) * 2017-10-30 2022-11-29 The Research Foundation For The State University Of New York System and method associated with user authentication based on an acoustic-based echo-signature
JP6936974B2 (ja) * 2017-12-19 2021-09-22 オムロン株式会社 位置姿勢推定装置、位置姿勢推定方法及びプログラム
KR20200108857A (ko) * 2018-01-17 2020-09-21 매직 립, 인코포레이티드 디스플레이와 사용자의 눈들 사이의 정합을 결정하기 위한 디스플레이 시스템들 및 방법들
MX2022004163A (es) * 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
EP4138703A1 (fr) * 2020-04-24 2023-03-01 Smith&Nephew, Inc. Dispositif de suivi optique à module lumineux structuré intégré

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049563A (zh) * 2022-01-12 2022-02-15 国网瑞嘉(天津)智能机器人有限公司 带电作业环境的评估方法、作业环境评估系统及电子设备
CN114049563B (zh) * 2022-01-12 2022-05-03 国网瑞嘉(天津)智能机器人有限公司 带电作业环境的评估方法、作业环境评估系统及电子设备

Also Published As

Publication number Publication date
FR3093215A1 (fr) 2020-08-28
WO2020169380A1 (fr) 2020-08-27
FR3093215B1 (fr) 2021-08-27
US20220130147A1 (en) 2022-04-28
CN113767421A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
EP1976671B1 (fr) Procede et systeme permettant la prehension automatisee de piece(s)
EP3928281A1 (fr) Procede de recalage d'images de profondeur
US10302424B2 (en) Motion contrast depth scanning
EP2766872B1 (fr) Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile
FR2760277A1 (fr) Procede et dispositif de localisation d'un objet dans l'espace
WO2014079880A1 (fr) Procede de mosaiquage 3d panoramique d'une scene
EP3928292A1 (fr) Procede et dispositif de surveillance de l'environnement d'un robot
FR3025918A1 (fr) Procede et systeme de modelisation automatisee d'une piece
EP3072108A1 (fr) Procede d'estimation de la vitesse de deplacement d'une camera
WO2017025521A1 (fr) Dispositif et procédé pour la détection d'obstacles adaptés à un robot mobile
EP3072109A1 (fr) Procede d'estimation de la vitesse de deplacement d'une camera
EP3740616A1 (fr) Procédé de commande d'un ensemble d'un ou plusieurs outils d'intervention montés sur un véhicule ferroviaire d'intervention
WO2015185532A1 (fr) Dispositif de detection a plan horizontal d'obstacles et procede de detection mettant en oeuvre un tel dispositif
EP3729327A1 (fr) Methode de reconnaissance d'objets dans une scene observee en trois dimensions
FR3036473A1 (fr) Procede de mesure de la position d'une structure mobile
FR3011960A1 (fr) Procede d'identification a partir d'un modele spatial et spectral d'objet
EP2756483B1 (fr) Procédé et système d'acquisition et de traitement d'images pour la détection du mouvement
EP4015422A2 (fr) Procédé pour désempiler des pneus empilés en rangées inclinées
Walter et al. Enabling multi-purpose mobile manipulators: Localization of glossy objects using a light-field camera
WO2018206331A1 (fr) Procédé de calibration d'un dispositif de surveillance d'un conducteur dans un véhicule
EP1958157A1 (fr) Procede de mise en correspondance d'images stéréoscopiques
FR3103301A1 (fr) Procédé de détection de pics d’intensité de faisceau lumineux réfléchi de manière spéculaire
Eastman et al. Performance Evaluation and Metrics for Perception in Intelligent Manufacturing
Li et al. Reconstruction of concave surface of the specular object using of inter-reflection

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210909

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20230901