EA040216B1 - Позиционирование инструмента - Google Patents

Description

Это изобретение относится к определению позиций инструментов и обрабатываемых деталей.

В операциях сборки является желательным иметь возможность отслеживать позиции инструментов и обрабатываемых деталей. Это предоставляет возможность поддержания аудита того, какой инструмент был использован на какой обрабатываемой детали. Это предоставляет возможность сбора данных о том, какие операции были выполнены над какой обрабатываемой деталью: например, какой конкретный болт был затянут до конкретного момента затяжки. Это предоставляет возможность конфигурирования инструментов автоматически, чтобы соответствовать конкретной обрабатываемой детали: например, чтобы гарантировать, что правильная настройка момента затяжки выполнена на гайковерте, когда он применяется к гайке в конкретной позиции на детали, которая собирается.

Одним способом отслеживания позиции инструмента является использование радиопозиционирования. Например, https://www.decawave.com/news/current-news/decawave-featured-2016-bosch-connectedworld описывает использование совместимых со стандартом IEEE802.15.4а сигналов для оценки местоположения инструментов. Радиопозиционирование имеет ряд недостатков. Например, оно может быть подвержено помехам, и оно не может типично определять ориентацию инструмента, пока инструмент не будет снабжен множеством радиопередатчиков или приемников.

Было бы желательным иметь возможность улучшенного способа определения позиций инструментов и обрабатываемых деталей.

Согласно настоящему изобретению предоставляется способ/оборудование, как изложено в сопровождающей формуле изобретения.

Настоящее изобретение будет теперь описано посредством примера со ссылкой на сопровождающие чертежи.

На чертежах:

фиг. 1 показывает окружающую обстановку для сборки, фиг. 2 показывает примеры знаков.

фиг. 3 показывает схему размещения знаков в окружающей обстановке и в кадрах, захватываемых посредством устройства формирования изображения, таким как камера.

Система на фиг. 1 содержит рабочее пространство 1. Потолок 2 протягивается над рабочим пространством.

На рабочем пространстве оператор 7 работает над обрабатываемой деталью 3. Обрабатываемая деталь является подвижной в рабочем пространстве, например, на колесах 12 или на конвейерной ленте. Обрабатываемая деталь может обрабатываться на производственной линии. Обрабатываемая деталь имеет компоненты 4, которые должны быть обработаны. Они могут быть, например, гайками или болтами, которые должны быть затянуты; вставками, которые должны быть установлены на место; элементами, которые должны быть подогнаны к обрабатываемой детали таким средством как низкотемпературная пайка, высокотемпературная пайка, сварка, зажим или посредством клея; элементами, которые должны быть удалены с обрабатываемой детали. Оператор должен работать над компонентами с помощью инструмента 11. Природа инструмента 11 будет зависеть от природы компонентов, но это может быть, например, гаечный ключ, молоток, гайковерт, дрель, динамометрический ключ, пила или любой другой подходящий инструмент. Он может быть ручным инструментом или инструментом с электроприводом.

Позиционирующий блок 5 присоединяется к обрабатываемой детали 5. Позиционирующий блок 5 предпочтительно присоединяется к обрабатываемой детали в предварительно определенном местоположении и ориентации, так что позиция и ориентация обрабатываемой детали относительно позиционирующего блока 5 является известной. Альтернативно, одна или обе из позиции и ориентации обрабатываемой детали относительно позиционирующего блока могут быть узнаны, когда обрабатываемая деталь обрабатывается: например, когда она находится в исходной позиции и/или ориентации.

Позиционирующий блок 10 присоединяется к инструменту 11. Позиционирующий блок 10 предпочтительно присоединяется к инструменту в предварительно определенном местоположении и ориентации, так что позиция и ориентация инструмента относительно позиционирующего блока 10 является известной. Альтернативно, одна или обе из позиции и ориентации инструмента относительно позиционирующего блока могут быть узнаны, когда инструмент перемещается: например, когда он находится в исходной позиции и/или ориентации.

Позиционирующий блок 9 присоединяется к носимому предмету 8, носимому оператором 7. Носимый предмет может быть, например, каской или очками. Он предпочтительно является носимым традиционным образом на голове оператора. Позиционирующий блок 9 предпочтительно присоединяется к носимому предмету 8 в предварительно определенном местоположении и ориентации, так что позиция и ориентация носимого предмета относительно позиционирующего блока 9 является известной. Альтернативно, одно или оба из позиции и ориентации носимого предмета относительно позиционирующего блока могут быть узнаны, когда носимый предмет перемещается: например, когда он находится в исходной позиции и/или ориентации.

Позиционирующие блоки 5, 9, 10 предоставляют данные блоку 20 управления по линиям 30, 33, 32 передачи данных соответственно.

Инструмент имеет локальный блок 13 управления. Он связывается с блоком 20 управления по ли

- 1 040216 нии 31 передачи данных. Локальный блок управления может выполнять что-либо или все из следующего: (а) передача отчета блоку 20 управления о настройках инструмента (например, его моменте затяжки или ограничениях скорости), (b) передача отчета блоку 20 управления об операциях, выполняемых посредством инструмента (например, что он выполнил операцию затяжки до конкретного момента затяжки), и (с) прием данных от блока 20 управления, командующих, чтобы настройка была применена к инструменту (например, настройка момента затяжки или рабочий режим), и применение этой настройки к инструменту.

Позиционирующие системы 5, 9, 10 могут работать, как описано в EP 2962284.

Знаки 6 наносятся на объекты в рабочем пространстве 1. В этом примере знаки наносятся на потолок 2 рабочего пространства. Знаки предпочтительно имеют внешний вид, который является легко отличимым от окружающей обстановки. Например, они могут иметь очень высокую отражающую способность (например, из световозвращающего материала) или очень низкую отражающую способность (например, имеющую матовое черное покрытие поверхности), или они могут быть определенного цвета, например, особого зеленого. Когда знаки имеют высокую отражающую способность, предпочтительно каждый знак имеет материал, который отражает предпочтительно в направлении, ортогональном его основной плоскости, как может быть в случае со специализированными световозвращающими материалами. Знаки предпочтительно являются плоскими: например, они могут быть в форме пластинчатых наклеек, наложенных на одну или более поверхностей. Это может делать их легко применяемыми в окружающей обстановке. Знаки предпочтительно не несут маркировок на поверхности (например, чисел или штрих-кодов), по которым каждый знак может быть отличен от других. Это может упрощать задачу применения знаков в окружающей обстановке. Знаки, все могут иметь одинаковый контур (например, круглый или квадратный), или они могут иметь различные контуры. Знаки позиционируются в неупорядоченной схеме размещения. Схема размещения предпочтительно является неповторяющейся. Это может быть осуществлено посредством случайного позиционирования знаков в окружающей обстановке. Позиционирование знаков в неупорядоченной схеме размещения может делать задачу применения знаков более легкой, а также облегчает нахождение местоположений объектов в окружающей обстановке, как будет описано ниже. Знаки все могут быть одинакового размера, что может помогать определять их диапазон, как будет описано дополнительно ниже, или различных размеров. Таким образом, в предпочтительном варианте осуществления знаки предоставляются посредством идентичных световозвращающих наклеек, которые применяются к окружающей обстановке в неупорядоченной или случайной схеме размещения.

Фиг. 2 показывает примеры знаков. Знаки могут быть круглыми (см. 50), квадратными (см. 51) или других форм. Знаки могут нести маркировку, такую как штрих-код 52, которая предоставляет возможность уникально отличать какой-либо из знаков от других, или они могут не нести такую маркировку. Для удобства знаки могут принимать форму наклеек, имеющих верхнюю поверхность 53 предварительно определенного цвета и/или отражающей способности и нижнюю клейкую поверхность 54, посредством которой они могут быть приклеены к окружающей обстановке.

Знаки могут быть расположены на обращенных вверх, обращенных вниз или обращенных вбок поверхностях окружающей обстановки. Является предпочтительным, чтобы, по меньшей мере, некоторые из знаков располагались на обращенных вниз поверхностях, например потолке 2. Такая обращенная вниз поверхность может быть над местом, где над обрабатываемой деталью 3 ведется работа. Видимость знаков, расположенных над детектором 5, 9, 10, типично является лучшей по сравнению со знаками, расположенными сбоку или снизу детектора, поскольку они менее вероятно будут загорожены другими объектами или людьми.

Как обсуждалось выше, обрабатываемая деталь 3, инструмент 11 и оператор 7, каждый, несут соответствующее позиционирующее устройство 5, 10, 9 соответственно. Каждое позиционирующее устройство содержит устройство формирования изображения, такое как камера. Камера каждого позиционирующего блока конфигурируется, чтобы захватывать изображения в направлении, как правило, от объекта, который ее несет. Каждая камера предпочтительно направлена вверх. Каждая камера предпочтительно обнаруживается так, чтобы иметь возможность изображать, по меньшей мере, некоторые из знаков 6, когда объект, несущий камеру, находится в своей предназначенной ориентации в рабочем пространстве. Изображения, например, видеокадры, снятые посредством камеры, обрабатываются для расчета местоположения соответствующего позиционирующего блока. Из этого местоположения местоположение объекта, несущего соответствующий позиционирующий блок, может быть логически выведено.

Камера позиционирующего устройства и знаки 6 предоставляют возможность расчета местоположения позиционирующего устройства в рабочем пространстве. Способ, которым это осуществляется, будет сейчас описан со ссылкой на фиг. 3.

Камера позиционирующего блока 5, 9, 10 захватывает последовательность кадров. Направление, в котором камера позиционирующего блока указывает, когда она захватывает кадр, зависит от того, как объект, несущий соответствующий позиционирующий блок, располагается в это время. Фиг. 3 показывает знаки 6 в неупорядоченной схеме размещения и множество контуров 31, 32, 33, 34, указывающих границы кадров, захватываемых посредством камеры позиционирующего блока. Позиционирующий блок

- 2 040216 содержит процессор и память. Память хранит в энергонезависимой форме набор инструкций, исполняемых процессором, чтобы выполнять его функции. Процессор принимает последовательные кадры, захватываемые посредством камеры позиционирующего блока. Процессор анализирует каждый кадр, чтобы обнаруживать местоположения знаков 6, которые представлены в кадре. Знаки могут быть обнаружены посредством их характерной яркости, формы, цвета или сочетания этих факторов. Например, в случае световозвращающих знаков, знаки могут быть указаны очень яркими группами пикселов в изображении.

Сравнивая позицию и компоновку знаков, которые обнаружены в последовательных кадрах, процессор может (а) строить карту схемы размещения или расстановки, сформированной знаками, и (b) делать заключение о перемещении позиционирующего блока между кадрами. Для иллюстрации, предположим, что в первый раз камера позиционирующего блока захватывает изображение, указанное по ссылке 31. Процессор идентифицирует знаки 6 в этом изображении. Знаки могут считаться лежащими на векторах, протягивающихся от камеры и пересекающих местоположения знаков, которые представлены в изображении 31. На этой стадии диапазоны знаков от камеры являются неизвестными. Во второй раз камера захватывает изображение, указанное по ссылке 32. Некоторые знаки являются общими для изображений 31 и 32. Поскольку знаки позиционируются случайным образом, можно предположить, что относительные позиции знаков, найденных в каждом кадре, являются уникальными в области знаков. Сравнивая позиции изображений знаков в последовательных кадрах, процессор может строить запись того, где в трехмерном пространстве находятся фактические знаки. Например, поскольку три знака 6 появляются в общем пространственном соотношении в кадрах 31 и 32, может быть сделано заключение, что камера подверглась перемещению меду такими изображениями без поворота или наклона. Сравнение позиций знаков в кадре 33 со знаками в других кадрах 31, 32, чьи поля обзора перекрывают кадр 33, предоставляет возможность процессору делать заключение о том, что позиционирующий блок был повернут вокруг своей основной оси, прежде чем кадр 33 был захвачен. Сравнение позиций знаков в кадре 34 со знаками в других кадрах (например, 32), чьи поля обзора перекрывают кадр 34, предоставляет возможность процессору сделать заключение, что позиционирующий блок был наклонен, прежде чем кадр 33 был захвачен. Аналогично, перемещение позиционирующего блока по направлению к или от поля знаков может быть обнаружено посредством масштабирования обнаруженных позиций знаков между последовательными кадрами.

Точность этого способа позиционирования может быть улучшена, если камера позиционирующего блока имеет относительно широкое поле обзора, и/или если плотность поля знаков является такой, что многочисленные знаки могут, как ожидается, быть захвачены в каждом кадре. Это делает менее вероятным то, что будет существовать позиционная неопределенность вследствие того, что множество знаков непреднамеренно имеют одинаковое позиционное соотношение и, следовательно, путаются между изображениями. Это также снижает влияние других объектов, которые могут выглядеть аналогично знакам (например, лампы освещения) и которые могут перемещаться. При определении позиции камеры процессор ищет лучшее соответствие собранным данным, но это соответствие может не быть точным: например, оно может не соответствовать подвижной лампе освещения, которая была ошибочно идентифицирована в качестве одного из знаков.

Позиция знаков в изображении указывает направление таких знаков относительно камеры позиционирующего блока, но необязательно их расстояние от камеры. Может быть возможным для процессора позиционирующего блока делать вывод о расстоянии до знаков из размера, с которым они появляются в изображении. Альтернативно, или в дополнение, расстояние до знаков может быть логически выведено из изменений в изображенных позициях знаков, которые возникают между кадрами. Процессор решает проблему множества переменных, в которой относительные направления от камеры позиционирующего устройства до знаков в последовательных кадрах являются известными. Процессор определяет карту знаков, которая предоставляет лучшее соответствие информации, собранной в последовательных кадрах относительно направлений знаков от камеры. Сформировав карту, он оценивает позицию камеры со ссылкой на эту карту, идентифицируя позицию и ориентацию, из которых вид нанесенных на карту знаков будет, как ожидается, лучше всего соответствовать знакам, которые идентифицированы в самом последнем изображении с камеры. Эта проблема может быть упрощена, если является известным с большей достоверностью, что один и тот знак из знаков, который представляется в местоположении в первом кадре, также представляется в местоположении во втором кадре. Это взаимоотношение может быть осуществлено посредством одного или обоих из следующего: (i) частота, с которой кадры захватываются, является достаточно высокой, так что один или более знаков будут типично появляться в последовательных кадрах и могут, следовательно, быть отслежены процессором; и (ii) процессор ищет общие пространственные схемы размещения между знаками, которые изображены, которые указывают, что одинаковый набор знаков был изображен в различных кадрах.

Будет возможным предварительно запрограммировать процессор местоположениями знаков, но было обнаружено, что с расстановкой знаков подходящей плотности это не является обязательным, поскольку процессор может узнавать их местоположения удовлетворительным образом. Однако это может помогать в предоставлении возможности определения поступательного и/или вращательного сдвига между позицией, определенной посредством позиционирующего блока, и контрольным местоположени

- 3 040216 ем/ориентацией в студии. Альтернативно, это может быть определено посредством помещения позиционирующего блока в известное местоположение и/или ориентацию в студии, а затем отслеживания его последующих перемещений.

Будет возможным снабжение знаков отличительными метками, чтобы помогать процессору отличать изображения различных знаков друг от друга. Они могут, например, быть числами или штрихкодами, или форма или цвет различных знаков может отличаться, так что они могут быть различимы.

С помощью процесса, описанного выше, процессор обнаруживает и отслеживает перемещение камеры.

Позиционирующие системы 5, 9, 10 предоставляют выходные данные, указывающие местоположения обрабатываемой детали, инструмента и оператора с течением времени. Они предоставляются контроллеру 20. Контроллер содержит процессор 21 и память 22. Память хранит энергонезависимым образом код, который является исполняемым посредством процессора, чтобы инструктировать контроллеру выполнять функции, описанные для него в этом документе.

Данные, определяющие множество предназначенных операций, принимаются контроллером 20 на этапе 23. Эти данные определения операции представляют параметры операций, которые должны выполняться оператором с помощью инструмента 10. Например, данные определения операции могут указывать, что болт в конкретном местоположении на обрабатываемой детали должен быть затянут до конкретного момента затяжки. Данные определения операции могут также определять местоположения компонентов 4 на обрабатываемой детали 3 относительно исходного местоположения и ориентации, таких как местоположение и ориентация, в которых располагается детектор 5 местоположения.

Инструмент 11 может содержать ручку и рабочую головку. Позиционирующее устройство 10 может быть присоединено к ручке инструмента. Оно может быть позиционно сдвинуто от головки. Оценка местоположения головки инструмента на основе местоположения позиционирующего устройства 10 может применять знание (а) ориентации устройства 10 и, следовательно, ручки, и (b) расстояние между устройством 10 и головкой. Поскольку позиционирующее устройство определяет свое местоположение оптически из группы 6 элементов, ориентация устройства 10 может быть известна. Расстояние между устройством 10 и головкой может быть сохранено в устройстве 10 и/или в блоке 20 управления, чтобы разрешать и оценку местоположения самой головки.

Когда выполняется работа, система работает следующим образом.

Устройства 5, 9, 10 определения местоположения непрерывно или периодически отслеживают местоположения в рабочем пространстве 1 объектов, несущих их. Они выполняют это, ссылаясь на знаки 6, как описано выше. Местоположения объектов передаются контроллеру 20.

В одном режиме работы контроллер 20 работает, чтобы сохранять запись аудита операций, которые были выполнены. Поскольку местоположение инструмента 11 и обрабатываемой детали 3 являются известными со ссылкой на рабочее пространство 1, их относительные местоположения могут быть определены. Это вместе с релевантными данными определения операции предоставляет возможность контроллеру 20 рассчитывать, над каким компонентом инструмент работает. Когда контроллер 20 делает заключение, что инструмент должен работать над компонентом, эта информация регистрируется контроллером 20. Контроллер 20 может сохранять весь путь инструмента, когда он перемещается рядом с обрабатываемой деталью. Аналогично, позиция оператора может регистрироваться во время выполнения операции, или непрерывно/периодически. Контроллер 20 может сохранять подробности операций, выполняемых посредством инструмента. Блок 13 управления инструмента может сигнализировать контроллеру 20, когда операция, такая как операция затяжки, выполняется, и необязательно параметры этой операции, например примененный момент затяжки.

В другом режиме работы, когда контроллер 20 определяет, что инструмент позиционируется в конкретном компоненте 4, он определяет из данных определения операции, какие настройки инструмента требуются для этого компонента, передает настройки инструменту, и контроллер 13 инструмента применяет принятую настройку. Руководство, основанное на данных определения операции, может быть передано контроллером 20 для отображения на носимой головной гарнитуре или другом дисплее, доступном оператору 7.

Оператор может быть роботом-манипулятором или человеком.

Система, описанная выше, может предоставлять множество преимуществ над другими системами. Первое, она может предоставлять возможность определения ориентации инструмента и/или обрабатываемой детали и/или оператора без использования множества передатчиков/приемников на соответствующем объекте. Второе, поскольку местоположения объектов определяются оптически относительно общей группы знаков 6, относительные местоположения объектов можно достоверно определять, и без риска радиопомех.

Заявитель, таким образом, раскрывает отдельно каждый индивидуальный признак, описанный в данном документе и любую комбинацию из двух или более таких признаков, до такой степени, что такие признаки или комбинации способны выполняться на основе настоящей спецификации как одно целое в свете обычного общего знания специалиста в области техники, независимо от того, решают ли такие признаки или комбинации признаков какие-либо проблемы, раскрытые в данном документе, и без огра

-

Claims (12)

1. ничения рамками формулы изобретения. Заявитель указывает, что аспекты настоящего изобретения могут состоять из любого такого отдельного признака или комбинации признаков. Принимая во внимание предшествующее описание, специалисту в области техники будет очевидно, что различные модификации могут быть выполнены в рамках изобретения.

   ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Способ наблюдения за рабочим процессом, в котором обрабатываемая деталь обрабатывается посредством инструмента, способ содержит этапы, на которых предоставляют неупорядоченной схему размещения знаков в удалении от обрабатываемой детали и инструмента;

   формируют изображение знаков посредством устройства формирования изображения, переносимого обрабатываемой деталью, и, тем самым, рассчитывают местоположение обрабатываемой детали относительно знаков;

   формируют изображение знаков посредством устройства формирования изображения, переносимого инструментом, и, тем самым, рассчитывают местоположение инструмента относительно знаков; и сопоставляют местоположение обрабатываемой детали и инструмента, чтобы рассчитывать операцию, выполняемую посредством инструмента над обрабатываемой деталью.
2. 2. Способ по п.1, при этом инструмент переносится оператором и способ содержит этап, на котором формируют изображение знаков посредством устройства формирования изображения, переносимого оператором, и, тем самым, рассчитывают местоположение оператора относительно знаков.
3. 3. Способ по п.2, при этом камера, переносимая оператором, присоединяется к предмету головного убора, носимого оператором.
4. 4. Способ по любому предшествующему пункту, при этом знаки располагаются над обрабатываемой деталью.
5. 5. Способ по любому предшествующему пункту, при этом этап расчета местоположения обрабатываемой детали содержит этапы, на которых принимают посредством устройства формирования изображения, переносимого обрабатываемой деталью, последовательность изображений окружающей обстановки, захватываемых посредством устройства формирования изображения;

   обнаруживают в изображениях, захватываемых посредством устройства формирования изображения, представление каждого из множества знаков, расположенных в окружающей обстановке; и формируют упомянутый расчет позиции обрабатываемой детали, сравнивая местоположения представлений знаков в изображениях, захватываемых в различные моменты времени.
6. 6. Способ по любому предшествующему пункту, при этом этап расчета местоположения инструмента содержит этапы, на которых принимают посредством устройства формирования изображения, переносимого инструментом, последовательность изображений окружающей обстановки, захватываемых посредством устройства формирования изображения;

   обнаруживают в изображениях, захватываемых посредством устройства формирования изображения, представление каждого из множества знаков, расположенных в окружающей обстановке; и формируют упомянутый расчет позиции инструмента, сравнивая местоположения представлений знаков в изображениях, захватываемых в различные моменты времени.
7. 7. Способ по любому предшествующему пункту, при этом этап расчета местоположения оператора содержит этапы, на которых принимают посредством устройства формирования изображения, переносимого оператором, последовательность изображений окружающей обстановки, захватываемых посредством устройства формирования изображения;

   обнаруживают в изображениях, захватываемых посредством устройства формирования изображения, представление каждого из множества знаков, расположенных в окружающей обстановке; и формируют упомянутый расчет позиции оператора, сравнивая местоположения представлений знаков в изображениях, захватываемых в различные моменты времени.
8. 8. Способ по любому из пп.5-7, содержащий этап, на котором обнаруживают представление каждого знака в изображении как область изображения относительно высокой яркости.
9. 9. Способ по любому предшествующему пункту, при этом знаки являются светоотражающими.
10. 10. Способ по любому предшествующему пункту, при этом знаки являются практически идентичными.
11. 11. Способ по любому предшествующему пункту, при этом знаки располагаются на обращенной вниз поверхности окружающей обстановки.
12. 12. Оборудование, сконфигурированное, чтобы выполнять этапы по любому предшествующему пункту.

    -