DE102023124693A1

DE102023124693A1 - Golf rule recognition process using a mobile device and app

Info

Publication number: DE102023124693A1
Application number: DE102023124693.3A
Authority: DE
Inventors: Reto Walter Meier; Katrin BAER
Original assignee: Golfsoft Ag
Current assignee: Golfsoft Ag
Priority date: 2022-09-29
Filing date: 2023-09-13
Publication date: 2024-04-04
Also published as: CH720078A2

Abstract

Es wird ein Golfregelerkennungsverfahren zur Durchführung durch einen Golfspieler während des Golfspiels auf einem Golfplatz eingeführt, welches teilweise automatisch abläuft und durch digitale Mittel durchgeführt wird, sodass jeder Golfspieler die jeweils geltende Golfregel erfahren kann. Dies wird erreicht durch:- Starten einer auf die Erfassung von Golfregeln spezialisierte Anwendungssoftware,- manuelles Auslösen einer Bildaufnahme einer Golfspielsituation auf einem Golfplatz in Form von visuellen Daten- automatischen Datentransfer der Pixeldaten der visuellen Daten in mindestens ein künstliches neuronales Netzwerk der Anwendungssoftware,- anschliessende Bilderkennung der visuellen Daten mittels künstlichem neuronalen Netzwerk,- Zuordnung von zu den visuellen Daten passenden Golfregel durch die Anwendungssoftware und- Anzeige der Definition der erkannten geltenden Golfregel auf dem Berührbildschirm des mobilen Endgerätes.A golf rule recognition method is introduced to be carried out by a golfer while playing golf on a golf course, which is partially automatic and carried out by digital means so that each golfer can find out the applicable golf rule at any given time. This is achieved by:- starting application software specialised in recording golf rules,- manually triggering an image recording of a golf game situation on a golf course in the form of visual data,- automatic data transfer of the pixel data of the visual data to at least one artificial neural network of the application software,- subsequent image recognition of the visual data using an artificial neural network,- assignment of golf rules that match the visual data by the application software and- displaying the definition of the recognized applicable golf rule on the touch screen of the mobile device.

Description

Technisches GebietTechnical area

Die vorliegende Erfindung beschreibt ein Golfregelerkennungsverfahren zur Durchführung durch einen Golfspieler während des Golfspiels auf einem Golfplatz, unter Verwendung einer auf die Erfassung von Golfregeln spezialisierte Anwendungssoftware und eines mobilen Endgerätes mit einem Betriebssystem, einem Datenspeicher, mindestens einer Kamera, eines Funkdatenmoduls und eines Berührbildschirms, als kombiniertes Ein- und Ausgabegerät, sowie eine auf Golfregeln spezialisierte Anwendungssoftware.The present invention describes a golf rule recognition method to be carried out by a golfer during a game of golf on a golf course, using application software specialized in the detection of golf rules and a mobile terminal with an operating system, a data memory, at least one camera, a radio data module and a touch screen, as a combined input and output device, as well as application software specialized in golf rules.

Stand der TechnikState of the art

Auf einem Golfplatz kommt es während des Golfspiels zu unterschiedlichen Golfspielsituationen. Entsprechend gibt es ein umfangreiches Regelwerk für den Golfsport, welches jeder Golfspieler und jede Golfspielerin kennen muss. Uns ist bewusst, dass gerade die Anzahl von Golfspielerinnen in den letzten Jahren erfreulicherweise stark zugenommen hat, zur besseren Lesbarkeit von Personenbezeichnungen und personenbezogenen Wörtern wird aber in diesem Text nur die männliche Form genutzt.On a golf course, different golfing situations arise during the game of golf. Accordingly, there is an extensive set of rules for golf that every golfer must know. We are aware that the number of female golfers has fortunately increased significantly in recent years, but to make personal names and personal words easier to read, only the male form is used in this text.

Von den Golfregeln gibt es neben einer Spieleredition auch die offiziellen Golfregeln, welche sich an diejenigen richten, die das Spiel organisieren und die auch die Vielzahl von Fragen beantworten müssen, die bei Turnieren auftreten können. Die Golfregeln gelten international in identischer Version, was vor allem bei internationalen Turnieren wichtig ist. Aber auch beim privaten Spiel, sollten die beteiligten Golfspieler die Golfspielsituation erkennen können und die entsprechende anzuwendende Golfregel wissen.In addition to a player's edition of the golf rules, there are also official golf rules, which are aimed at those who organize the game and who also have to answer the many questions that can arise at tournaments. The golf rules apply internationally in an identical version, which is especially important for international tournaments. But even when playing privately, the golfers involved should be able to recognize the golf game situation and know the corresponding golf rule to be applied.

Auch, wenn Golfspieler alle Regeln zur Erlangung der Platzreife kennen müssen oder sollten, kommt es immer wieder zu Golfspielsituationen, in welchen die geltende Regel nicht gewusst wird. Dazu haben Golfspieler das Regelwerk in der Regel während des Golfspiels in gedruckter Form mitgeführt. Das Regelwerk erlaubt aber nur eine fehlerfreie Eruierung der gerade geltenden Golfregel, wenn der Golfspieler weiss wonach er sucht. Mit dem Regelwerk ist keine Interaktion möglich, denn der Golfspieler kann nur das geschriebene Regelwerk durchgehen und aufgeführte Beispiele mit seiner Golfspielsituation vergleichen.Even if golfers have to or should know all the rules for obtaining the license to play, there are always golfing situations in which the applicable rule is not known. For this purpose, golfers usually carry the rules with them in printed form while playing golf. However, the set of rules only allows error-free determination of the current golf rule if the golfer knows what he is looking for. No interaction is possible with the set of rules, because the golfer can only go through the written set of rules and compare the listed examples with his golf game situation.

Elektronische Assistenten sind zwar in den letzten Jahren entwickelt worden, wie beispielsweise in KR20220099919 und WO03062950 beschrieben, liefern aber nur örtliche Positionsinformationen, Informationen zum Golfplatz oder geben Tipps zur Wahl des richtigen Golfschlägers. Ein solcher elektronischer Assistent zeigt auf einem Bildschirm nur die aktuelle Position des Golfspielers bzw. des elektronischen Assistenten auf dem Goldplatz an und leistet keine Dienste zur Eruierung von Golfregeln. Der Golfspieler muss entsprechend regelfest sein oder muss die Golfregeln mit sich führen.Electronic assistants have been developed in recent years, for example in KR20220099919 and WO03062950 described, but only provide local position information, information about the golf course or give tips on choosing the right golf club. Such an electronic assistant only shows the current position of the golfer or the electronic assistant on the gold course on a screen and does not provide any services for determining golf rules. The golfer must be compliant with the rules or must carry the rules of golf with him.

Darstellung der ErfindungPresentation of the invention

Die vorliegende Erfindung hat sich zur Aufgabe gestellt, einem Golfspieler die Eruierung der in allen möglichen Golfspielsituationen zur Anwendung kommende Golfspielregel einfach und zu jeder Zeit an Ort und Stelle des Golfspiels zu ermöglichen.The aim of the present invention is to enable a golfer to determine the golf game rules that apply in all possible golf game situations easily and at any time during the golf game.

Gelöst wird diese Aufgabe mit dem beanspruchten Golfregelerkennungsverfahren, welches in einzelnen Schritten auf dem Golfplatz, während des Golfspiels und bei in Frage kommenden unbekannten Golfspielsituationen durchgeführt wird. Die dafür technisch notwendigen Mittel sind ein elektronisches mobiles Endgerät mit mindestens einer Kamera und eine Anwendungssoftware, welche auf dem mobilen Endgerät oder teilweise auf einem externen Sever installiert ist.This task is solved with the claimed golf rule recognition method, which is carried out in individual steps on the golf course, during the golf game and in unknown golf game situations. The technically necessary means for this are an electronic mobile device with at least one camera and application software, which is installed on the mobile device or partially on an external server.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Der Erfindungsgegenstand wird nachstehend im Zusammenhang mit den anliegenden Zeichnungen beschrieben.The subject matter of the invention is described below in connection with the accompanying drawings.

Weitere Merkmale, Einzelheiten und Vorzüge der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung sowie der Zeichnungen.

1 zeigt eine schematische perspektivische Ansicht von Golfspielsituationen auf einem Golfplatz.
2a zeigt eine schematische Ansicht der Erfassung von visuellen Daten mittels mobilem Endgerät einer Golfspielsituation vor Ort während des Golfspiels,
2b zeigt auf einem Berührbildschirm des mobilen Endgerätes ein Photo einer erfassten Golfspielsituation mit Verweis auf die anwendbare Golfregel, während
2c eine schematische Detaildarstellung der identifizierten Golfregel nach Bilderkennung und Regelzuweisung.
3 zeigt eine vereinfachte Darstellung eines künstlichen neuronalen Netzwerks zur Erläuterung der Funktionsweise der Bilderkennung.

Further features, details and advantages of the invention result from the following description of preferred embodiments of the invention and the drawings.

1 shows a schematic perspective view of golf game situations on a golf course.
2a shows a schematic view of the capture of visual data using a mobile device of a golf game situation on site during the golf game,
2 B shows a photo of a recorded golf game situation on a touch screen of the mobile device with reference to the applicable golf rule, while
2c a schematic detailed representation of the identified golf rule after image recognition and rule assignment.
3 shows a simplified representation of an artificial neural network to explain how image recognition works.

BeschreibungDescription

In 1 ist eine typische Golfplatzszene gezeigt, wobei Golfspieler in verschiedenen Platzbereichen, wie Abschlag, Grüns, Penalty Areas und Bunker an verschiedenen Löchern unterwegs sind. Die Golfspieler bewegen sich den Golfball schlagend durch das Gelände und versuchen mit möglichst wenig Schlägen ihre Golfbälle auf das Grün und in das Loch des Grüns zu befördern. Je nach auftretender Golfspielsituation kann der Spielfluss aber unterbrochen sein, beispielweise, wenn sich der Golfball unmittelbar in der Nähe eines Gegenstands befindet, andere Hindernisse auftauchen oder nicht klar ist, wie weitergespielt und vor allem -gezählt wird. In 1 ist ein Masten in einem Bereich dargestellt, an welchem der Golfball berührend anliegt. Nun muss der Golfspieler die anwendbare Golfregel kennen oder möglicherweise eine Ausnahmeregel kennen, um das Golfspiel bei richtiger Reaktion auf die Golfspielsituation und bei korrekter Schlagzählung fortsetzen zu können.In 1 A typical golf course scene is shown, with golfers in different areas of the course, such as the tee, greens, penalty areas and bunkers on different holes. The golfers move through the area hitting the golf ball and try to get their golf balls onto the green and into the hole in the green with as few hits as possible. Depending on the golf game situation, the flow of the game can be interrupted, for example if the golf ball is in the immediate vicinity of an object, other obstacles appear or it is not clear how to continue playing and, above all, how to count. In 1 a pole is shown in an area where the golf ball is in contact. The golfer must now know the applicable golf rule or possibly an exception rule in order to be able to continue playing golf by reacting correctly to the golf situation and counting the strokes correctly.

Wir schlagen hier darum ein teilweise automatisches Golfregelerkennungsverfahren vor, welches mittels eines mobilen digitalen Endgerätes durchführbar ist, welches vom Golfspieler während des Golfspielens mitgeführt wird. Als mobiles Endgerät ist ein Smartphone, ein Mobiltelefon oder eine sogenannte Smart-Watch mit umfangreichen Computer-Funktionalität und Konnektivität oder ein Tabletcomputer, als tragbarer flacher Computer gemeint. Das mobile Endgerät weist ein Betriebssystem, einen Datenspeicher und eine installierte auf die Erfassung von Golfregeln spezialisierte Anwendungssoftware oder App, mindestens eine Kamera, ein Funkdatenmodul und einen Berührbildschirm, als kombiniertes Ein- und Ausgabegerät, auf. Der Golfspieler soll das Golfregelerkennungsverfahren direkt auf dem Golfplatz, während des Golfspiels durchführen.We are therefore proposing a partially automatic golf rule recognition method, which can be carried out using a mobile digital device that is carried by the golfer while playing golf. A mobile device is a smartphone, a cell phone or a so-called smart watch with extensive computer functionality and connectivity or a tablet computer, a portable flat computer. The mobile terminal has an operating system, a data storage and an installed application software or app that specializes in recording golf rules, at least one camera, a radio data module and a touch screen, as a combined input and output device. The golfer should carry out the golf rule recognition procedure directly on the golf course during the golf game.

Zur Bestimmung der anzuwendenden Golfregel während eines Golfspiels, kann der Golfspieler mittels mobilem Endgerät ein Photo oder ein Video der Situation anfertigen. Nach Aufstarten der spezialisierten Anwendungssoftware oder App mittels mobilem Endgerät loggt sich der Golfspieler bevorzugt in ein in der App hinterlegtes Benutzerkonto ein und wählt dann die Aufnahme einer Golfspielsituation mittels der mindestens einen Kamera am elektronischen mobilen Endgerät an. Dies ist beispielhaft in 2a gezeigt und als manuelles Auslösen einer Bildaufnahme durch den Golfspieler definiert. Mittels der Kamera erfasst die App auf dem mobilen Endgerät visuelle Daten, in Form von Videos oder Standbildern, der momentanen Golfspielsituation und speichert diese im Datenspeicher ab. Hier ist beispielhaft eine Szene mit in einem Bunker liegenden Rechen dargestellt und photographiert worden.To determine which golf rule to apply during a golf game, the golfer can take a photo or video of the situation using a mobile device. After starting the specialized application software or app using a mobile device, the golfer preferably logs into a user account stored in the app and then selects to record a golf game situation using the at least one camera on the electronic mobile device. This is exemplified in 2a shown and defined as the golfer manually triggering an image capture. Using the camera, the app on the mobile device captures visual data, in the form of videos or still images, of the current golf game situation and saves it in the data storage. Here, as an example, a scene with rakes lying in a bunker has been shown and photographed.

Anschliessend werden die aufgenommenen visuellen Daten automatisch mittels technischer Mittel des mobilen Endgerätes, beispielsweise des Funkdatenmoduls an eine künstliche Intelligenz transferiert, welche im mobilen Endgerät oder auf einem entfernten externen Server mittels Softwaremodulen der Anwendungssoftware gelöst ist. Wenn eine Datenauswertung auf dem entfernten externen Server stattfindet, kann die Anwendungssoftware oder Teile davon nur auf dem mobilen Endgerät und/oder auf dem Server installiert sein.The recorded visual data is then automatically transferred using technical means of the mobile device, for example the radio data module, to an artificial intelligence that is implemented in the mobile device or on a remote external server using software modules of the application software. If data analysis takes place on the remote external server, the application software or parts of it can only be installed on the mobile device and/or on the server.

Die künstliche Intelligenz umfasst mindestens ein künstliches neuronalen Netzwerk, insbesondere mit deep learning Funktion, welches auf die Bilderkennung visueller Daten angepasst wurde. Die aufgenommenen visuellen Daten werden in Form ihrer einzelnen Pixel, als Input in das mindestens eine neuronale Netzwerk eingespiesen.The artificial intelligence includes at least one artificial neural network, in particular with a deep learning function, which has been adapted to the image recognition of visual data. The recorded visual data is fed into the at least one neural network in the form of its individual pixels as input.

Das mindestens eine neuronale Netzwerk ist durch Softwaremittel der Anwendungssoftware gelöst und sorgt für die Bilderkennung der eingespeisten visuellen Daten. Dazu wurde das mindestens eine künstliche neuronale Netzwerk vorgängig mit einer Vielzahl von Bildern verschiedener Golfspielsituationen trainiert, damit eine Bilderkennung stattfinden kann. Vorgängig hat dieses maschinelle Lernen dazu geführt, dass zu einer Vielzahl von Bildern die jeweilige Golfspielsituation zugeordnet wurde und die Bilder auf einer nächsten Ebene mit Golfregeln verknüpft wurden. Dieses Golfregelwissen ist aus Erfahrung, also aufgenommenen Bildern generiert worden.The at least one neural network is implemented using software in the application software and ensures image recognition of the visual data fed in. To do this, the at least one artificial neural network was previously trained with a large number of images of different golf game situations so that image recognition could take place. This machine learning previously led to a large number of images being assigned to the respective golf game situation and the images being linked to golf rules at the next level. This knowledge of golf rules was generated from experience, i.e. from recorded images.

Die Bilderkennung ist ein digitaler Vergleich von Bildern trainierter gespeicherter Golfspielsituationen mit dem aktuell aufgenommenen visuellen Daten, mittels mindestens einem neuronalen Netzwerk. Diese Bilderkennung kann wahlweise direkt in der Anwendungssoftware auf dem mobilen Endgerät oder nach Versendung der aufgenommenen visuellen Daten mittels Funkdatenmodul an einen entfernten Server, auf dem Server erfolgen.Image recognition is a digital comparison of images of trained, stored golf game situations with the currently recorded visual data, using at least one neural network. This image recognition can either be carried out directly in the application software on the mobile device or on the server after sending the recorded visual data to a remote server using a radio data module.

Das Training der Bilderkennung ist während der Entwicklung der Anwendungssoftware auf dem mobilen Endgerät bzw. auf dem externen entfernten Server erfolgt. Das Training kann aber durch weiteren Gebrauch der Anwendungssoftware weiter trainiert werden, wobei die Golfspieler diese Funktion in ihrer App erlauben müssen.The image recognition training took place during the development of the application software on the mobile device or on the external remote server. However, training can be continued through continued use of the application software, whereby the golfers must allow this function in their app.

Den bei der Bilderkennung benutzten trainierten ähnlichen Bildern wurden vorgängig zugehörige Golfregeln zugeordnet, sodass im nächsten Schritt die aufgenommenen visuellen Daten nach der Bilderkennung, der zugeordneten Golfregel zugewiesen werden können.The trained similar images used in image recognition were previously assigned to corresponding golf rules, so that in the next step the recorded visual data was image recognition, which can be assigned to the associated golf rule.

Im Beispiel gemäss 2b hat die Bilderkennung und die ihr zugeordneten trainierten Golfspielsituationen die Golfspielsituation „Rechen im Bunker“ erkannt. Dies wird automatisch durch die App auf dem Berührbildschirm angezeigt, wobei erstmal nur die Definition der hier anwendbaren Golfregel dargestellt wird. Jedem Trainingsbild ist eine grobe Definition der anwendbaren Golfregel und eine weitere Detailinformation zugeordnet worden, was damit ebenfalls jedem erkannten Bild auch zugeordnet werden kann.In the example according to 2 B The image recognition and the trained golf game situations assigned to it have recognized the golf game situation "rake in the bunker". This is automatically displayed by the app on the touch screen, whereby initially only the definition of the golf rule applicable here is shown. Each training image has been assigned a rough definition of the applicable golf rule and further detailed information, which can also be assigned to each recognized image.

Möchte der Golfspieler den genauen Wortlaut der Golfregel erhalten und z.B. die Anweisung, wie es im Golfspiel weitergehen sollte, dann muss der Golfspieler dies am Berührbildschirm quittieren. Dies geschieht über die Betätigung einer Schaltfläche auf dem Berührbildschirm, wie in 2b angedeutet.If the golfer would like to receive the exact wording of the golf rule and, for example, instructions on how the golf game should proceed, then the golfer must acknowledge this on the touch screen. This is done by pressing a button on the touch screen, as in 2 B indicated.

Dann gelangt der Golfspieler auf eine Detaildarstellung der identifizierten Golfregel, welche in 2c gezeigt ist. Die Detailinformation und -darstellung umfasst eine Anweisung für das Weiterspielen aus der zugrundeliegenden identifizierten Golfregel, bestimmt durch das teilweise automatisch ablaufende Golfregelerkennungsverfahren mittels der Anwendungssoftware. Auch die Detailinformationen sind während des Trainings des neuronalen Netzwerkes zugeordnet worden.The golfer then accesses a detailed representation of the identified golf rule, which is in 2c is shown. The detailed information and representation includes an instruction for continuing to play from the underlying identified golf rule, determined by the partially automatic golf rule recognition process using the application software. The detailed information was also assigned during the training of the neural network.

Das künstliche neuronale Netzwerk zur Bilderkennung, welches in der Anwendungssoftware programmiert ist, besteht aus mehreren hintereinander liegenden Schichten von Neuronen, wie schematisch in 3 gezeigt. Die erste Schicht bilden die Input-Neuronen. Die Neuronen jeder weiteren Schicht sind dabei verbunden mit den Neuronen der vorausgehenden Schicht und werden je nach Gewichtung der Verbindung von den vorhergehenden Neuronen aktiviert, bis die Aktivierung der Neuronen der letzten Schicht, Output-Neuronen, über die Kategorisierung, also die Zuordnung bzw. Definition der erkannten visuellen Daten zur Golfspielsituation und zur anwendbaren Golfregel, des Inputs bestimmt.The artificial neural network for image recognition, which is programmed in the application software, consists of several consecutive layers of neurons, as shown schematically in 3 shown. The first layer is made up of the input neurons. The neurons of each subsequent layer are connected to the neurons of the previous layer and are activated by the previous neurons depending on the weighting of the connection until the activation of the neurons of the last layer, output neurons, determines the categorization, i.e. the assignment or definition of the recognized visual data to the golf game situation and the applicable golf rule, of the input.

Die Architektur des künstlichen neuronalen Netzwerks ist fix und wurde gemäss gängiger Best-Practices gewählt. Die einmal gewählte Anzahl von drei Schichten miteinander verbundener Input-, Hidden- und Output-Neuronen wird entsprechend nach dem Training, im Gebrauch der App nicht mehr verändert.The architecture of the artificial neural network is fixed and was chosen according to common best practices. Once the number of three layers of interconnected input, hidden and output neurons is chosen, it will not be changed after training or when using the app.

Die Gewichtungen der Verbindungen zwischen den Neuronen sind nicht fix, sondern werden während des Deep Learning Prozesses durch wiederholtes Training optimiert, bis die als Trainingsmaterial gewählten Bilder die bestimmten Kategorien genügend gut erkennen. Da das Training auch im Gebrauch der Anwendungssoftware weitergeführt werden kann, kann auch die Gewichtung der Verbindungen zwischen den Neuronen weiter optimiert werden.The weighting of the connections between the neurons is not fixed, but is optimized during the deep learning process through repeated training until the images chosen as training material recognize the specific categories sufficiently well. Since the training can also be continued while using the application software, the weighting of the connections between the neurons can also be further optimized.

Die aktuell verwendete Architektur des mindestens einen neuronalen Netzwerks entspricht der des bekannten MobileNetV2, ohne die letzte Schicht. Diese wird ersetzt durch drei zusätzliche Schichten und eine Schicht auf die Anzahl Kategorien angepasste Schicht Output-Neuronen. Während 100 Iterationen wurden die Verbindungen dieser letzten vier hinzugefügten Schichten trainiert, während für die übrigen Schichten die anhand einer öffentlichen Datenbank mit Bildern vortrainierten Gewichtungen verwendet wurden. Das Netzwerk wurde mit einer Python-basierten Deep Learning API (keras.io), der Deep Learning Plattform (tensorflow.org) und mit Hilfe anderer Applikationen trainiert.The architecture of at least one neural network currently used corresponds to that of the well-known MobileNetV2, without the last layer. This is replaced by three additional layers and a layer of output neurons adapted to the number of categories. During 100 iterations, the connections of these last four added layers were trained, while for the remaining layers, the weights pre-trained using a public database of images were used. The network was trained using a Python-based deep learning API (keras.io), the deep learning platform (tensorflow.org) and with the help of other applications.

Welche Kamera des mobilen Endgerätes benutzt wird, kann in der Anwendungssoftware gewählt werden. Wahlweise können auch bereits aufgenommene visuelle Daten zur Bilderkennung ausgewählt werden.Which camera of the mobile device is used can be selected in the application software. Alternatively, previously recorded visual data can also be selected for image recognition.

Wenn weiterführende Informationen zu identifizierten Golfregeln gewünscht sind, kann in der Anwendungssoftware einem Link gefolgt werden, um gespeicherte Daten oder Zusatzdaten über das Internet abzurufen. Dazu müsste dann ebenfalls das Funkdatenmodul des mobilen Endgerätes mit dem Internet verbunden sein.If further information on identified golf rules is required, a link can be followed in the application software to retrieve stored data or additional data via the Internet. The wireless data module of the mobile device would also have to be connected to the Internet for this to happen.

Besteht eine Verbindung mit dem Internet, könnten durch die Anwendungssoftware lokal aufgenommene visuelle Bilddaten über das Internet an den Hersteller der Anwendungssoftware versandt werden, für weitere deep learning Schritte des bilderkennenden neuronalen Netzwerks. Der Golfspieler müsste diesen Datentransfer vom mobilen Endgerät an den Hersteller der Anwendungssoftware gesondert erlauben.If there is a connection to the Internet, the application software could send locally recorded visual image data over the Internet to the manufacturer of the application software for further deep learning steps of the image-recognizing neural network. The golfer would have to separately allow this data transfer from the mobile device to the manufacturer of the application software.

Mittels der Anwendungssoftware und der Verbindung zum Internet ist eine Chat-Verbindung des Golfspielers vor Ort mit dem Hersteller der Anwendungssoftware oder weiteren Benutzern der Anwendungssoftware möglich, sodass bei fehlerhafter Bilderkennung bzw. Regelbestimmung, die korrekte Regelauslegung per Chat geklärt werden könnte. Oder entdeckte Fehler können vom Golfspieler vor Ort über die Anwendungssoftware per Textnachricht weitergeleitet werden.Using the application software and the Internet connection, the golfer on site can chat with the manufacturer of the application software or other users of the application software, so that if the image recognition or rule determination is incorrect, the correct interpretation of the rules can be clarified via chat. Or any errors discovered can be forwarded by the golfer on site via the application software by text message.

Aus Gründen des Kopierschutzes können mindestens Teile der Anwendungssoftware auf dem externen Server ausgelagert installiert sein, weil somit nicht das komplette Wissen im Quelltext der Software steckt. Über das Funkdatenmodul am mobilen Endgerät und eine entsprechende digitale Datenverbindung ist das mobile Endgerät mit dem externen Server verbunden. Für den Datenaustausch sind dem Fachmann mehrere mögliche Protokolle bekannt.For reasons of copy protection, at least parts of the application software can be installed on the external server because the complete knowledge is not contained in the source code of the software. The mobile device is connected to the external server via the radio data module on the mobile device and a corresponding digital data connection. Those skilled in the art are aware of several possible protocols for data exchange.

Auch, weil die Rechenleistung bzw. der Datenspeicher der trainierten Beispielbilder auf einem Server in der Regel höher ist, als auf mobilen Endgeräten, bietet sich eine mindestens teilweise Auslagerung der Anwendungssoftware auf einen externen Server an. Natürlich befindet sich der Server nicht unter der Kontrolle des Golfspielers, der die Anwendungssoftware installiert, sondern beispielsweise dem Hersteller der App.Also, because the computing power or data storage of the trained example images on a server is generally higher than on mobile devices, it is advisable to at least partially outsource the application software to an external server. Of course, the server is not under the control of the golfer who installs the application software, but, for example, of the app manufacturer.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely to provide the reader with better information. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

KR 20220099919 [0005]
WO 03062950 [0005]

Claims

Golf rule recognition method to be carried out by a golfer while playing golf on a golf course, characterized by the steps: - Starting an application software specializing in the capture of golf rules, which is installed on a mobile device with an operating system, a data storage device, at least one camera, a radio data module and a touch screen , is installed as a combined input and output device, by manipulating the touch screen, - manually triggering an image recording of a golf game situation on a golf course in the form of visual data on the touch screen, - automatic data transfer of the visual data into at least one artificial neural network of the application software on the mobile Terminal device or an external remote server for image recognition controlled by the application software, - image recognition of the visual data by comparison with previously trained images of golf game situations using the at least one artificial neural network by the application software and subsequent - assignment of golf rules that match the visual data by the application software and - displaying the definition of the applicable golf rule recognized from the recorded golf game situation on the touch screen of the mobile device.

Golf rule recognition method Claim 1 , wherein the golfer, after viewing the definition of the applicable golf rule, requests a detailed display on the touch screen using application software by activating a button on the touch screen, after which the detailed display of the determined golf rule is automatically displayed on the touch screen.

Golf rule recognition method according to one of the preceding claims, wherein the at least one neural network used comprises at least three layers of interconnected input, hidden and output neurons.

Golf rule recognition method Claim 3 , where the architecture of the artificial neural network is fixed.

Golf rule recognition procedure according to Claim 3 or 4 , where the weights of the connections between the neurons are not fixed, but are optimized during the deep learning process through repeated training.

Golf rule recognition method according to one of the preceding claims, wherein the training of the at least one neural network for image recognition took place during the development of the application software.

Golf rule recognition method according to one of the preceding claims, wherein the training of the at least one neural network of the application software for image recognition is further trained during the use of the application software by golfers using known deep learning processes.

Golf rule recognition method according to one of the preceding claims, wherein visual data recorded by golfers are automatically stored in the data memory of the mobile terminal and, after acknowledgment of the permission, are sent from the mobile terminal to the manufacturer of the application software by means of a radio data module and application software, so that further deep learning processes can also be carried out on the server.

Golf rule recognition method according to one of the preceding claims, wherein errors discovered by golfers in the image recognition or rule determination can be sent via the radio data module and the application software by text message from the golf course directly to the manufacturer of the application software.

Application software specialized in golf rules, installed on an electronic mobile device and/or a server connected to the electronic mobile device, the application software being operatively connected to at least one camera installed on the mobile device and having at least one neural network, which is used for image recognition in advance using deep learning was trained to carry out a golf rule recognition method according to one of the preceding claims.

Application software specialized in golf rules according to Claim 10 , where the deep learning was performed using a Python-based deep learning API.

Application software specialized in golf rules according to one of the Claims 10 or 11 , wherein the at least one neural network used in the application software comprises at least three layers of interconnected input, hidden and output neurons.

Use of a mobile device with an operating system, a data storage device, at least one camera, a radio data module and a touch screen, as a combined input and output device and application software installed on it, with at least one artificial neural network, for image capture of visual data and subsequent automatic assignment of the golf rule matching the visual data, using previously trained images of golf game situations using a deep learning process.