DE102020116499A1

DE102020116499A1 - Methode zur Auswahl von Fragen für Befragte in einem Befragten-Anfragesystem

Info

Publication number: DE102020116499A1
Application number: DE102020116499.8A
Authority: DE
Inventors: Per-Erik Lagerstrom; Kathryn Anne Forgan; Adam VOTAVA
Original assignee: Sqn Innovation Hub AG
Current assignee: Sr Huebner Munich Patent und Rechtsanwaltsp De
Priority date: 2019-06-24
Filing date: 2020-06-23
Publication date: 2020-12-31
Also published as: WO2020259799A1; US20200402082A1; US20210398150A1; US20200402081A1; WO2020260324A1; DE102020116495A1; US20200402080A1; WO2020260321A1; WO2020260317A1; DE102020116497A1

Abstract

Ein Verfahren zum Abfragen von Befragten einer oder mehrerer Populationen potenzieller Befragter in Bezug auf ein oder mehrere Konstrukte mit einem Interrogator (200), der so konfiguriert ist, dass er Fragensignale (210) an jeden Befragten sendet und Antwortsignale (220) von den Befragten als Antwort auf die Fragensignale empfängt, wobei das Verfahren eine oder mehrere Umfragen umfasst. Jede Umfrage umfasst mindestens einen Teil eines Abfragezyklus, der die folgenden Schritte umfasst, die gleichzeitig ausgeführt werden: (a) Ein Fragenauswahlschritt, in dem der Interrogator (200) eine oder mehrere Fragen für jeden von einem oder mehreren Befragten auswählt, die in einem Twisit abgefragt werden, wobei jeder Frage mindestens ein der mehreren Konstrukte zugewiesen wird, (b) Ein Abfrageschritt, in dem der Interrogator (200) ein Fragensignal (210) sendet, das die Frage(n) an die ein oder mehrere Befragte umfasst und (c) Ein Antwortschritt, in dem der Interrogator (200) Antwortsignale (220) von den Befragten empfängt, die auf das Fragensignal/die Fragesignale (210) des Interrogators (200) reagieren. In mindestens einer der Umfragen in mindestens einem der Twisits der Umfrage werden mindestens ein Teil der Befragten mindestens zweimal in demselben Twisit befragt, nachdem der Interrogator (200) in Schritt (c) Antwortsignal (e) empfangen hat (220) von einem Befragten des Teils des Befragten, der Interrogator (200), wählt im gleichzeitigen Schritt (a) eine oder mehrere neue Frage(n) für denselben Befragten aus und im gleichzeitigen Schritt sendet der Interrogator (200) ein oder mehrere Fragensignale, die die neuen Fragen enthalten, an denselben Befragten.

Description

Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zum Abfragen von Befragten aus einer oder mehreren Populationen potenzieller Befragter potenzieller Befragter. Es betrifft auch einen Interrogator, der konfiguriert ist, um ein solches Verfahren durchzuführen. Darüber hinaus betrifft die Erfindung ein Computerprogrammprodukt, das ein computerlesbares Speichermedium umfasst, das computerverwendbaren Programmcode speichert, der von einem Prozessor ausführbar ist, wobei der ausführbare computerverwendbare Programmcode Code umfasst, um ein solches Verfahren durchzuführen. Ferner betrifft die Erfindung ein Verfahren zum Sammeln von Bewertungsinformationen von einem Benutzer mit einem Computernetzwerk und ein Computernetzwerk zum Sammeln von Bewertungsinformationen für mindestens ein vorbestimmtes Merkmal von mindestens einem Benutzer.
Hintergrund der Erfindung
Aus der Patentanmeldungsveröffentlichung US 2019 0066136 A1 sind Verfahren zur Erzeugung von Konversationsumfragefragen bekannt. Die Methoden analysieren eine empfangene Umfrageantwortantwort, um Merkmale einer Umfrageantwort zu identifizieren, einschließlich Themen und anderer Antwortmerkmale. Beispielsweise können die Systeme eine Stimmung bestimmen, die mit einem bestimmten Produkt oder einer bestimmten Dienstleistung verbunden ist, die ein Befragter in einer Antwort ausdrückt. Basierend auf der ermittelten Stimmung und ferner basierend auf einer Reihe von Logikregeln, die von einem Umfrageadministrator erhalten wurden, generieren die Methoden Konversations-Follow-up-Fragen, die mit dem identifizierten Produkt oder der identifizierten Dienstleistung verbunden sind.
Die Patentanmeldungsveröffentlichung US 2019 0164182 A1 bezieht sich auf das Sammeln und Analysieren elektronischer Umfrageantworten, die vom Benutzer verfassten Text enthalten. Insbesondere werden Verfahren offenbart, die das Sammeln elektronischer Umfrageantworten als Antwort auf elektronische Umfragefragen erleichtern. Sie klassifizieren die Fragen zur elektronischen Umfrage und bestimmen ein Semantikmodell mit benutzerdefinierten Operatoren zur Analyse der Antworten der elektronischen Umfrage auf die entsprechenden Fragen zur elektronischen Umfrage. Darüber hinaus bieten die Methoden eine Darstellung der Ergebnisse der Analyse der elektronischen Umfrageantworten über eine grafische Benutzeroberfläche eines Clientgeräts.
Aus der Patentanmeldungsveröffentlichung US 2008 0091510 A1 werden Methoden zur Vermessung einer Zielpopulation bereitgestellt. Ein Erhebungsinstrument wird einer Stichprobenpopulation der Zielpopulation zugeordnet, wobei einzelne Mitglieder der Stichprobenpopulation aus der Zielpopulation so ausgewählt werden, dass die Verteilung der Mitglieder in der Stichprobe, die das Erhebungsinstrument starten, eine Wahrscheinlichkeitsstichprobe der Zielpopulation für mindestens eine Schichtungsvariable liefert. Aus der Stichprobe wird eine qualifizierte Population identifiziert, wobei sich jedes Mitglied der qualifizierten Population für das Erhebungsinstrument qualifiziert, basierend auf einer Antwort auf eine oder mehrere Screener-Fragen im Erhebungsinstrument. Eine Gesamtzahl von Mitgliedern innerhalb der Zielpopulation, die die qualifizierte Population darstellt, wird basierend auf einem Vergleich der Verteilung der qualifizierten Population und der Verteilung der Zielpopulation in Bezug auf die mindestens eine Schichtungsvariable bestimmt.
Das Patent US 10,387,786 B2 offenbart ein Situationsbewusstseins- und Kommunikationssystem, das eine Anfrage nach Situationsbewusstseinsinformationen von einem anfordernden Gerät empfängt, das einem Anforderer zugeordnet ist. Die Situationsbewusstseinsanfrage umfasst ein geografisches Interessengebiet und eines oder mehrere eines demografischen Interessenprofils und ein aktuelles Interessengebiet. Das System empfängt auch geografische Standortdaten in Echtzeit, die von Mobilkommunikationsgeräten gemeldet werden, die potenziellen Befragten zugeordnet sind, sowie eine oder mehrere demografische Daten und Daten zu aktuellen Interessengebieten, die von den Kommunikationsgeräten gemeldet oder aus Social-Media-Dateien abgerufen wurden, die den potenziellen Befragten zugeordnet sind das geografische Gebiet von Interesse. Das System stellt dem anfordernden Gerät Situationsbewusstseinsinformationen zur Verfügung, einschließlich demografischer Statistiken für potenzielle Befragte innerhalb des geografischen Gebiets von Interesse.
Gegenstand der Erfindung
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Abfragen von Befragten aus einer oder mehreren Populationen potenzieller Befragter bereitzustellen. Es ist eine weitere Aufgabe der vorliegenden Erfindung, einen Interrogator bereitzustellen, der konfiguriert ist, um ein solches verbessertes Verfahren durchzuführen. Darüber hinaus zielt die Erfindung darauf ab, ein Computerprogrammprodukt bereitzustellen, das ein computerlesbares Speichermedium umfasst, das computerverwendbaren Programmcode speichert, der von einem Prozessor ausführbar ist, wobei der ausführbare computerverwendbare Programmcode Code umfasst, um das verbesserte Verfahren durchzuführen. Die Erfindung versucht ferner, ein verbessertes Verfahren zum Sammeln von Bewertungsinformationen von einem Benutzer mit einem Computernetzwerk und ein verbessertes Computernetzwerk zum Sammeln von Bewertungsinformationen für mindestens ein vorbestimmtes Merkmal von mindestens einem Benutzer bereitzustellen.
Lösung gemäß der Erfindung
Im Folgenden ist jeder Verweis auf ein (einschließlich der Artikel „ein“ und „das“), zwei oder eine andere Anzahl von Objekten, sofern nichts anderes ausdrücklich erwähnt wird, so zu verstehen, dass das Vorhandensein weiterer solcher Objekte in nicht ausgeschlossen wird die Erfindung. Die Referenznummern in den Patentansprüchen sollen nicht einschränkend sein, sondern lediglich dazu dienen, die Lesbarkeit der Ansprüche zu verbessern.
In einem Aspekt der Erfindung wird das Problem durch ein Verfahren zum Abfragen von Befragten einer oder mehrerer Populationen potenzieller Befragter in Bezug auf ein oder mehrere Konstrukte gemäß Anspruch 1 gelöst. Ein Interrogator, der zum Senden konfiguriert ist Fragensignale (210) an einen beliebigen Befragten und Empfangen von Antwortsignalen von den Befragten als Antwort auf die Fragensignale. Das Verfahren umfasst eine oder mehrere Umfragen, und jede Umfrage umfasst mindestens einen Teil eines Abfragezyklus, der die folgenden Schritte umfasst, die gleichzeitig ausgeführt werden:

a) Ein Fragenauswahlschritt, in dem der Interrogator eine oder mehrere Fragen für jeden von einem oder mehreren Befragten auswählt, die im Twisit abgefragt werden sollen, wobei jede Frage mindestens einer der mehreren von zugewiesen wird Konstrukte,
b) Ein Abfrageschritt, in dem der Interrogator ein oder mehrere Fragensignale, die die Frage (n) umfassen, an den einen oder die mehreren Befragten sendet, und
c) Ein Antwortschritt, in dem der Interrogator Antwortsignale von den Befragten empfängt, die auf die Fragensignale des Interrogators reagieren.

Im Zusammenhang mit der vorliegenden Erfindung werden die Begriffe „Pluralität“, „mehrere“ und „mehrere“ synonym verwendet und bedeuten „eine oder mehrere“. „Mindestens eines der x“ in Bezug auf etwas „x“, das auch nur einmal vorhanden sein kann, ist als Abkürzung für „das x oder mindestens eines der x“ gedacht. Zum Beispiel bedeutet „mindestens eine der Umfragen“ „die Umfrage oder mindestens eine der Umfragen“.
Ein „Interrogator“ ist ein Gerät oder eine Kombination von Geräten, die mit den Befragten kommunizieren können, um Signale auszutauschen. Die Erfindung umfasst auch Ausführungsformen, die mehr als einen Interrogator umfassen. Der Interrogator ist typischerweise ein Computer, beispielsweise ein Server in einem Computernetzwerk oder eine Kombination von Computern, die ein Computerprogramm ausführen, das ein erfindungsgemäßes Verfahren ausführt.
Ein „potenzieller Befragter“ in einer Entität, der mit dem Interrogator kommunizieren kann, um Signale auszutauschen. Potenzielle Befragte können beispielsweise ein Sensorgerät wie ein Wettersensorgerät, das Temperatur oder Niederschlagsmengen messen kann, oder einen medizinischen Sensor, der physiologische Parameter seines Trägers messen kann, oder ein „Ding“ eines Internet der Dinge umfassen. Es kann auch eine Vorrichtung sein, die eine Mensch-Computer-Schnittstelle zum Ausgeben von Informationen an einen menschlichen Benutzer und zum Empfangen von Informationen von einem menschlichen Benutzer umfasst. Potenzielle Befragte können insbesondere persönliche Profile eines menschlichen oder tierischen Befragten sein, jeweils in Kombination mit einem Gerät, das eine Mensch-Computer-Schnittstelle umfasst, die sich gemäß dem Profil verhält. Die Befragten können sogar Tiere oder Menschen sein, solange die Tiere oder Menschen jeweils Fragensignale vom Interrogator empfangen und Antwortsignale an den Interrogator senden können. Eine „Population potenzieller Befragter“ sind die verschiedenen potenziellen Befragten insgesamt.
Ein „Befragter“ ist ein „potenzieller Befragter“, der im Auswahlschritt des Befragten ausgewählt wurde, um vom Interrogator Fragensignale zu senden. Jedem Befragten werden ein oder mehrere Fragensignale gesendet, und der Befragte kann ein oder mehrere Antwortsignale als Antwort senden, typischerweise ein Antwortsignal als Antwort auf jedes Fragensignal. Das heißt, typischerweise kann der Interrogator ein Antwortsignal für jedes gesendete Fragensignal empfangen, vorausgesetzt, der Befragte reagiert. Typischerweise enthält jedes Fragensignal Informationen, nämlich eine „Frage“, die der Befragte bei der Erstellung des Antwortsignals berücksichtigt. Beispielsweise kann das Fragensignal eine SOAP- oder E-Mail-Nachricht sein oder auf einem Computerbildschirm ausgegeben werden. Ebenso kann jedes Antwortsignal beispielsweise eine SOAP- oder E-Mail-Nachricht, eine Texteingabe über eine Tastatur, ein Ton, insbesondere gesprochene Wörter, die von einem Mikrofon aufgezeichnet wurden, oder ein Video sein, das von einer Kamera aufgezeichnet wurde. Die Frage kann zum Beispiel lauten: „Wie hoch ist die Temperatur in Grad Celsius?“, „Wie hoch ist der Niederschlag in Millimetern?“. oder „Wie hoch ist die Begeisterung in Ihrer Organisation auf einer Skala von 1 bis 10?“. Typischerweise enthält das Antwortsignal auch Informationen, nämlich eine „Antwort“. Die Antworten auf die obigen Fragen können beispielsweise „18“, „10“ und „7“ sein.
Im Zusammenhang mit der vorliegenden Erfindung kann eine „Frage“ eine einzelne Frage sein, oder es kann eine Reihe von Teilfragen sein, die zusammen die Frage bilden. Im Fall eines Wettersensors kann eine Reihe von Fragen lauten: „Sind Sie mit einem Niederschlagssensor ausgestattet?“, „Wenn ja, haben Sie in den letzten 24 Stunden Regen festgestellt?“ und „Wenn ja, wie hoch ist die Niederschlagsmenge in Millimetern?“. Wenn der Befragte Mitglied einer menschlichen Organisation ist oder seine Antworten von einem Mitglied einer menschlichen Organisation erhält, kann eine Reihe von Fragen lauten: „Denken Sie an einen wichtigen Tag in Ihrer Organisation, an dem Sie sich begeistert fühlten. Was ist an diesem Tag passiert?“ und „Was hast du gedacht, als es passierte?“
Jede Frage ist mindestens einem „Konstrukt“ zugeordnet. In der Regel gibt es mehrere Konstrukte, und einem oder mehreren Konstrukten kann eine Frage zugewiesen werden. Vorzugsweise bezieht sich ein Konstrukt auf eine Schlussfolgerung, zu der die dem Konstrukt zugewiesenen Fragen beitragen. Wenn der Befragte beispielsweise ein Wettersensor ist, können Fragen, die zu einer Schlussfolgerung über die scheinbare Temperatur beitragen, dem Konstrukt „scheinbare Temperatur“ zugeordnet werden. Zu diesen Fragen gehören beispielsweise „Wie hoch ist die Lufttemperatur?“, „Wie hoch ist die relative Luftfeuchtigkeit?“ Und „Wie hoch ist die Windgeschwindigkeit?“. Wenn der Befragte Mitglied einer menschlichen Organisation ist oder seine Antworten von einem Mitglied einer menschlichen Organisation erhält, stellen sich Fragen wie „Auf einer Skala von 1 bis 10, wie bereit sind Sie, sich für Ihre Organisation einzusetzen“, und „auf einer Skala von 1 bis 10, wie bereit sind Sie, für Ihren Vorgesetzten einzutreten?“ kann dem Konstrukt „Advocacy“ zugeordnet werden.
Es kann nur eine Population geben, wobei alle potenziellen Befragten Teil dieser Population sind, oder es kann mehrere Populationen potenzieller Befragter geben. Im letzteren Fall wird jeder potenzielle Befragte mindestens einer von mehreren „Zellen“ zugeordnet, und alle potenziellen Teilnehmer, die sich eine solche Zelle teilen, bilden die Population dieser Zelle. Vorzugsweise stellen die Zellen ein intrinsisches Merkmal des Befragten dar, dh eine Information, die nicht aus der Interaktion des Interrogators und des Empfängers resultiert, beispielsweise seinen Standort (wie „Schweiz“ oder „Südafrika“) oder seinen Aufgabenbereich (wie „Verkauf“ oder „Forschung und Entwicklung“ oder „Temperatur“ oder „Niederschlag“). Es kann auch eine Kombination solcher intrinsischer Merkmale sein, beispielsweise die Kombination von Standort und Aufgabenbereich. Vorzugsweise werden die potenziellen Teilnehmer in Populationen unterteilt, die sich gegenseitig ausschließen, vorzugsweise indem jeder potenzielle Befragte nur einer Zelle zugewiesen wird. Die Erfindung umfasst jedoch auch Ausführungsformen, bei denen sich mindestens einige der Populationen überlappen, vorzugsweise indem mindestens einige Teilnehmer mehr als einer Zelle zugeordnet werden. Beispielsweise können einigen Teilnehmern die Zelle „Schweiz“ und die Zelle „Zürich“ zugewiesen werden, anderen die Zelle „Schweiz“ und die Zelle „Bern“.
Mit „den Empfängern, die reagieren“ soll klargestellt werden, dass das Antwortsignal auf das Fragensignal reagiert, dh durch das Fragensignal veranlasst wird, und dass nicht alle oder sogar keines der Fragensignale möglicherweise nicht zu einem Antwortsignal führen. Letzteres kann darauf zurückzuführen sein, dass die Befragten die Fragensignale nicht empfangen, z. B. aufgrund von Netzwerkproblemen, und daher möglicherweise keine Antwortsignale senden. Darüber hinaus geben einige oder alle Befragten möglicherweise kein Antwortsignal, selbst wenn sie ein Fragensignal erhalten, beispielsweise aufgrund eines Energiemangels oder weil sie keine Antwort auf die Frage erstellen können. Selbst wenn ein Befragter ein Antwortsignal sendet, erreicht dies möglicherweise nicht den Interrogator, z. B. aufgrund von Netzwerkproblemen.
Ein „Twisit“ ist eine Iteration des Abfragezyklus. Das Wort kann als Akronym verstanden werden, das für „So wie ich es sehe“ steht. Die Begriffe „Twisit“ und „Abfragezyklus“ bedeuten nicht, dass ein Twisit abgeschlossen sein muss, bevor das nächste Twisit gestartet wird. Vielmehr ist eine Überlappung von Twisits zulässig. Insbesondere kann es vorkommen, dass ein Antwortsignal als Antwort auf ein Fragensignal, das in einem früheren Twisit an einen Befragten gesendet wurde, vom Interrogator nur empfangen wird, während ein späteres Twisit bereits gestartet wurde. Dieser spätere Twisit kann von derselben Umfrage oder sogar von einer späteren Umfrage sein. Eine solche Überlappung kann beispielsweise durch Verzögerungen in der Kommunikation zwischen dem Interrogator und den Befragten oder durch einen Zeitpunkt verursacht werden, zu dem der Befragte ein Antwortsignal als Antwort auf das Fragensignal erstellen muss.
Ebenso soll der Begriff „Schritt“ nicht bedeuten, dass ein Schritt abgeschlossen sein muss, bevor der nächste Schritt gestartet wird. Beispielsweise kann es vorkommen, dass im Antwortschritt Antwortsignale empfangen werden, während im Abfrageschritt noch Fragensignale an die Befragten gesendet werden. Ebenso müssen im Schritt der Fragenauswahl nicht alle Fragen gleichzeitig ausgewählt werden. Vielmehr können gemäß der Erfindung zunächst nur einige Fragen im Fragenauswahlschritt ausgewählt und im Abfrageschritt an einen oder mehrere Befragte gesendet werden; Informationen über die Antworten, die als Antwort auf diese Fragen erhalten wurden, können dann bei der Auswahl weiterer Fragen in der Fortsetzung des Fragenauswahlschritts in derselben Phase verwendet werden.
Es ist ein erreichbarer Vorteil dieses Aspekts der Erfindung, dass durch mehrmaliges Befragen eines Befragten in derselben Zeit relevantere Informationen erhalten werden können. Vom Befragten. Beispielsweise kann der Interrogator bei der ersten Frage aufgefordert werden, eine bestimmte Datenkategorie zur Verfügung zu stellen, und bei der zweiten Frage können bestimmte Daten aus dieser Kategorie abgerufen werden. Wie nachstehend ausführlicher erläutert wird, ist es mit der Erfindung insbesondere möglich, dass die nachfolgenden Fragen auf der Grundlage der Antwort des Befragten auf die erste Frage ausgewählt werden, wodurch die Effizienz der Kommunikation erheblich erhöht wird.
In einem anderen Aspekt der Erfindung wird das Problem durch einen Interrogator gemäß Anspruch 14 gelöst. Der Interrogator ist konfiguriert, um Fragensignale in Bezug auf ein oder mehrere Konstrukte an jeden Befragten zu senden, der aus einer Population potenzieller Befragter ausgewählt ist, und Antwortsignale zu empfangen von den Befragten als Antwort auf die Fragensignale Der Interrogator ist so konfiguriert, dass er die oben beschriebene Methode ausführt.
In einem weiteren Aspekt der Erfindung wird das Problem durch ein Computerprogrammprodukt nach Anspruch 17 gelöst. Das Computerprogrammprodukt umfasst ein computerlesbares Speichermedium, das computerverwendbaren Programmcode speichert, der von einem Prozessor ausführbar ist, wobei der ausführbare computerverwendbare Programmcode umfasst Code, um die obige Methode auszuführen. In einem anderen Aspekt der Erfindung wird das Problem durch einen Interrogator gemäß Anspruch 14 gelöst. Der Interrogator ist konfiguriert, um Fragensignale in Bezug auf ein oder mehrere Konstrukte an jeden Befragten zu senden, der aus einer Population potenzieller Befragter ausgewählt ist, und Antwortsignale zu empfangen von den Befragten als Antwort auf die Fragensignale Der Interrogator ist so konfiguriert, dass er die oben beschriebene Methode ausführt.
In einem weiteren Aspekt der Erfindung wird das Problem durch ein Computerprogrammprodukt nach Anspruch 17 gelöst. Das Computerprogrammprodukt umfasst ein computerlesbares Speichermedium, das computerverwendbaren Programmcode speichert, der von einem Prozessor ausführbar ist, wobei der ausführbare computerverwendbare Programmcode umfasst Code, um die obige Methode auszuführen.
In einem weiteren Aspekt der Erfindung wird das Problem durch ein Verfahren zum Sammeln von Bewertungsinformationen von einem Benutzer mit einem Computernetzwerk nach Anspruch 18 gelöst. Das Computernetzwerk führt Folgendes aus:

- Empfangen eines anfänglichen Satzes vorbestimmter Antwortaufgaben für jede Antwortaufgabe, einschließlich einer Anzahl vorbestimmter Antwortoptionen, wobei basierend auf den von einem Benutzer ausgewählten Antwortoptionen Bewertungsinformationen zum Bewerten mindestens eines vorbestimmten Merkmals bestimmt werden können;
- Ausgeben einer Antwortaufgabe zur freien Formulierung an mindestens einen Benutzer über ein Computergerät des Computernetzwerks, mit der eine zumindest teilweise frei formulierte Antwort vom Benutzer empfangen werden kann;
- Identifizieren von Bewertungsinformationen über ein Computergerät des Computernetzwerks auf der Grundlage der frei formulierten Antwort, wobei die Bewertungsinformationen zum Bewerten der mindestens einen vorbestimmten Eigenschaft verwendet werden können;
- Erzeugen eines angepassten Satzes von Antwortaufgaben über ein Computergerät des Computernetzwerks basierend auf den identifizierten Bewertungsinformationen.

In einem letzten Aspekt der Erfindung wird das Problem durch ein Computernetzwerk zum Sammeln von Bewertungsinformationen für mindestens ein vorbestimmtes Merkmal von mindestens einem Benutzer gemäß Anspruch 19 gelöst. Das Computernetzwerk hat einen anfänglichen Satz von vorbestimmten Antwortaufgaben, jede Antwort Aufgabe, die eine Anzahl von vorbestimmten Antwortoptionen umfasst, wobei basierend auf den von einem Benutzer ausgewählten Antwortoptionen Bewertungsinformationen zum Bewerten mindestens eines vorbestimmten Merkmals bestimmt werden können; und wobei das Computernetzwerk mindestens eine Verarbeitungseinheit umfasst, die konfiguriert ist, um eines der folgenden Softwaremodule auszuführen, die in einer Datenspeichereinheit des Computernetzwerks gespeichert sind:

- Ein Freiformulierungsausgabesoftwaremodul, das so konfiguriert ist, dass es mindestens eine Freiformformulationsantwortaufgabe bereitstellt, mit der eine frei formulierte Antwort von mindestens einem Benutzer empfangen werden kann;
- Ein Softwaremodul zur Analyse freier Formulierungen, das konfiguriert ist, um die frei formulierte Antwort zu analysieren und dadurch die darin enthaltenen Bewertungsinformationen zu identifizieren, wobei die Bewertungsinformationen zum Bewerten der mindestens einen vorbestimmten Eigenschaft verwendet werden können;

Ein konfiguriertes Softwaremodul zur Anpassung des Antwortsatzes, das konfiguriert ist, generiert einen angepassten Satz von Antwortaufgaben basierend auf den Bewertungsinformationen, die vom Softwaremodul für die Analyse der freien Formulierung identifiziert wurden.
Bevorzugte Ausführungsformen der Erfindung
Bevorzugte Merkmale der Erfindung, die allein oder in Kombination angewendet werden können, werden im Folgenden und in den abhängigen Ansprüchen diskutiert.
Eine bevorzugte Untersuchung gemäß der Erfindung umfasst mehr als einen Twisit, beispielsweise zwei, drei, vier oder fünf Twisits. Vorzugsweise beträgt die Anzahl der Twisits 20 oder weniger, bevorzugter 10 oder weniger.
Dynamische Verzweigung
In einer bevorzugten Ausführungsform der erfindungsgemäßen Umfrage werden in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - in mindestens einer - vorzugsweise in allen - der Umfrage-Twisits mindestens ein Teil der Befragten befragt mindestens zweimal in demselben Twisit, bevorzugter dreimal in demselben Twisit, vorzugsweise mindestens viermal, bevorzugter mindestens fünfmal, bevorzugter mindestens sechsmal. Jedes Mal, wenn der Interrogator in Schritt (c) Antwortsignale von einem Befragten des Teils des Befragten als Antwort auf die erste Frage(n) empfangen hat, wählt der Interrogator in Schritt (a) gleichzeitig einen oder mehrere aus mehr neue Frage(n) für denselben Befragten, und im gleichzeitigen Schritt (b) sendet der Interrogator Fragensignale, die die neuen Fragen enthalten, an denselben Befragten, und dies kann die entsprechende Anzahl von Malen wiederholt werden.
Beispielsweise wählt der Interrogator in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - in mindestens einer - vorzugsweise in allen - Zweien der Umfrage im Schritt der Fragenauswahl die erste(n) Frage(n) für jeden von einem oder mehreren Befragten aus Um im Twisit abgefragt zu werden, sendet der Interrogator im Abfrageschritt das erste Fragensignal (die ersten Fragensignale), das die erste(n) Frage(n) umfasst, an den einen oder die mehreren Befragten, und im Antwortschritt empfängt der Interrogator das erste Antwortsignal (die ersten Antwortsignale) von den Befragten, die auf den ersten Satz von Fragensignalen des Interrogators reagieren. Dann wählt der Interrogator vorzugsweise im Fragenauswahlschritt desselben Twisits die zweite(n) Frage(n) für jeden von einem oder mehreren Befragten aus, die in dem Twisit abgefragt werden sollen, wobei der Interrogator bei der Auswahl der zweiten Frage(n) Informationen über die Frage verwendet erste Antwortsignale. Mit anderen Worten, der Fragenauswahlschritt endet nicht nach der Auswahl der ersten Frage(n), sondern wird fortgesetzt. Die Abfrage- und Antwortschritte können ebenfalls mit einem oder mehreren zweiten Fragensignalen fortgesetzt werden, die die zweite(n) Frage(n) umfassen, und im Antwortschritt können mit dem zweiten Antwortsignal (den zweiten Antwortsignalen) von den antwortenden Befragten fortgefahren werden zu den zweiten Fragensignalen des Interrogators. Der Prozess kann mit dritten, vierten, fünften und noch weiteren Fragen, Fragensignalen und Antwortsignalen fortgesetzt werden. Vorzugsweise verwendet der Interrogator bei der Auswahl der dritten, vierten, fünften und weiteren Frage(n) Informationen über alle vorherigen Antwortsignale desselben Twisit.
Wenn ein zuvor abgefragter Empfänger im selben Twisit erneut abgefragt wird, verwendet der Interrogator bei der Auswahl der einen oder der mehreren Frage(n) für den Befragten vorzugsweise Informationen über die Antwortsignale, die der Interrogator zuvor von demselben empfangen hat Befragter, bevorzugter im selben Twisit. Vorteilhafterweise kann bei dieser Ausführungsform der Erfindung der Interrogator in den nachfolgenden Abfragen relevantere Fragen stellen. Infolgedessen kann das Verhältnis der erhaltenen relevanten Informationen zum Ausmaß der Interaktion zwischen dem Interrogator und dem Befragten erhöht werden, wodurch die Wirksamkeit der Abfragemethode erhöht wird. In der ersten Frage kann der Interrogator beispielsweise den Befragten fragen, um welchen Gerätetyp es sich handelt. Wenn es antwortet, dass es sich um ein Niederschlagssensorgerät handelt, kann es bestimmte Fragen zum Niederschlag stellen und Fragen vermeiden, die vom Befragten nicht beantwortet werden können, wie z. B. Fragen zur Temperatur. Wenn der Empfänger in der Antwort auf eine frühere Frage etwas meldet, das das Interesse des Interrogators weckt, kann er in einer späteren Frage versuchen, weitere Details zu erläutern. Zum Beispiel kann der Interrogator eine offene Frage stellen, z. B. „Was ist in den letzten 24 Stunden von Bedeutung passiert?“, Wodurch die Bewertung der Relevanz für den Befragten verbleibt. Wenn der Befragte auf „einen vorbeigehenden Tornado“ antwortet, kann der Interrogator bestimmte Fragen zum Tornado stellen.
Vorzugsweise werden alle Befragten eines Twisits mindestens einmal abgefragt, aber nur ein Teil der Befragten wird mehr als fünfmal, vorzugsweise mehr als viermal, vorzugsweise mehr als dreimal, vorzugsweise mehr als zweimal, vorzugsweise mehr als einmal abgefragt. Dadurch wird es vorteilhafterweise möglich, dass Folgefragen zu früheren Fragen auf diejenigen Befragten beschränkt werden können, deren Antworten nach ihren vorherigen Antworten zu erwarten sind, um den größten Beitrag zur Verbesserung der Vollständigkeitsbewertungen zu leisten. Infolgedessen kann die Anzahl der Fragen verringert werden, während gleichzeitig ein aussagekräftigeres Ergebnis aus allen von den Befragten empfangenen Antwortsignalen erzielt werden kann.
In einer bevorzugten Ausführungsform der Erfindung fragt der Interrogator in derselben Zeit einen Befragten weiter ab, bis eine Stoppbedingung des Befragten erfüllt ist. Geeignete Stoppbedingungen für den Befragten sind, dass eine Abfrageladeinformation des Befragten einen ersten Schwellenwert erreicht hat.
Im Zusammenhang mit der vorliegenden Erfindung sind „Abfrageladeinformationen“ Informationen, die angeben, in welchem Ausmaß in einem bestimmten Zeitintervall eine oder mehrere Ressourcen des Befragten aufgrund der Abfrage durch den Interrogator verwendet wurden. Eine Ressource kann beispielsweise die Zeit oder Energie des Befragten sein, die erforderlich ist, um Antworten oder Antwortsignale auf Fragen oder Fragensignale zu erzeugen, die vom Befragten empfangene oder gesendete Datenmenge oder die Menge oder Dauer der Datenübertragung über einen Kommunikationskanal zwischen dem Befragten Interrogator und Befragter; im Fall des Befragten, der eine Mensch-ComputerSchnittstelle zum Ausgeben von Informationen an einen menschlichen Benutzer und zum Empfangen von Informationen von einem menschlichen Benutzer umfasst, können die Abfrageladeinformationen eine Nutzungsdauer der Mensch-Computer-Schnittstelle angeben. Das bestimmte Zeitintervall kann zum Beispiel die Zeit seit dem Beginn der ersten Umfrage, die Zeit seit dem Beginn der vorliegenden Umfrage oder ein festes Zeitintervall in der Vergangenheit sein, beispielsweise die vergangene Woche, der vergangene Monat, die letzten drei Monate. die letzten sechs Monate oder das vergangene Jahr.
Mit dieser Ausführungsform der Erfindung kann vorteilhafterweise vermieden werden, dass die Ressourcen des Befragten übermäßig belastet werden. Es kann auch vermieden werden, dass Fragensignale unbeantwortet bleiben, da dem Empfänger die Ressourcen ausgehen. Zum Beispiel, wenn die in einem Befragten, der ein solarbetriebenes Messgerät ist, verfügbare Energiemenge nur ausreicht, um eine Minute pro Woche abgefragt zu werden, oder wenn der Datenplan des Mobilfunknetzes, über das das Messgerät mit dem verbunden ist Der Interrogator ermöglicht nur zehn Minuten Kommunikation pro Monat.
Wenn ein menschlicher Befragter nur 30 Minuten seiner Zeit pro Jahr zur Verfügung hat, wird die Abfrage beendet, sobald diese Grenze erreicht ist. Alternativ wird der Schwellenwert für die Befragten niedriger gewählt, sodass nur ein Teil der Ressourcen des Interrogators im Twisit verbraucht wird, um Ressourcen für eine oder mehrere spätere Abfragen zu sparen, insbesondere in einer späteren Umfrage.
Die Konstrukte sind vorzugsweise hierarchisch so organisiert, dass einige der Konstrukte anderen Konstrukten untergeordnet sind. Vorzugsweise kann ein Konstrukt ein oder mehrere andere Konstrukte als Untergebene haben. Vorzugsweise kann ein Konstrukt auch einem oder mehreren anderen Konstrukten untergeordnet sein. In einer bevorzugten Hierarchie kann ein Konstrukt gleichzeitig einem oder mehreren anderen Konstrukten untergeordnet sein und ein oder mehrere weitere Konstrukte als Untergebene haben.
Der Interrogator bei der Auswahl der einen oder mehreren Fragen im Auswahlschritt wählt vorzugsweise ein oder mehrere Konstrukte aus und wählt dann eine oder mehrere Fragen nur aus den Fragen aus, die dem ausgewählten Konstrukt oder den ausgewählten Konstrukten zugewiesen sind Konstrukt (e), das den ausgewählten Konstrukten untergeordnet oder indirekt untergeordnet ist. In diesem Zusammenhang bedeutet ein erstes Konstrukt, das einem zweiten Konstrukt „indirekt untergeordnet“ ist, dass das erste Konstrukt mindestens einem Zwischenkonstrukt untergeordnet ist, das wiederum dem zweiten Konstrukt untergeordnet oder indirekt (über weitere Zwischenkonstrukte) untergeordnet ist.
In einer bevorzugten Ausführungsform der Erfindung werden einige der Konstrukte als Primärkonstrukte klassifiziert. Dadurch kann angezeigt werden, dass diese Konstrukte im Vergleich zu Konstrukten, die nicht als „primär“ klassifiziert sind, von besonderer Relevanz oder Bedeutung sind. Der Interrogator bei der Auswahl der einen oder mehreren Fragen im Auswahlschritt wählt vorzugsweise das Konstrukt (die Konstrukte) nur aus dieser Gruppe von Primärkonstrukten aus. Auf diese Weise kann die Abfrage nur auf diese relevanteren oder wichtigeren Konstrukte konzentriert werden, wodurch die Anzahl der zu sendenden und zu empfangenden Antwortsignale für den Abschluss der Umfrage verringert wird.
Vorzugsweise umfasst in mindestens einer der Umfragen mindestens ein Twisit

d) Ein Vertrauensbewertungsschritt, bei dem der Interrogator mindestens einem Konstrukt in Bezug auf mindestens eine Population einen Konfidenzwert zuweist, der unter Verwendung von Informationen aus Antwortsignalen erhalten wird, die der Interrogator zuvor in derselben Umfrage vom Befragten erhalten hat.

Wenn ein zuvor abgefragter Empfänger im selben Twisit erneut abgefragt wird, verwendet der Interrogator bei der Auswahl der einen oder mehreren Fragen für den Befragten eine oder mehrere Konfidenzbewertungen, die unter Verwendung von Informationen aus vorherigen Antwortsignalen von demselben Befragten erhalten werden . Es ist ein erreichbarer Vorteil dieser Ausführungsform der Erfindung, dass der Interrogator auf der Grundlage der Konfidenzbewertung entscheiden kann, ob er mehr Fragen zu demselben Konstrukt stellt, dh das Konstrukt weiter „ausnutzt“ oder zu einem anderen Konstrukt übergeht, d. h. ein anderes Konstrukt „erforschen“.
Im Zusammenhang mit der vorliegenden Erfindung spiegelt die „Konfidenzbewertung“ das Vertrauen in die Zuverlässigkeit wider, ein Wert, der aus den Empfängerantworten bezüglich des Konstrukts abgeleitet wird, für das die Konfidenzbewertung berechnet wird. Vorzugsweise spiegelt es eine Fehlerquote oder einen Standardfehler des Wertes in dem Sinne wider, dass die Konfidenzbewertung umso höher ist, je niedriger die Fehlerquote in Bezug auf die statistischen Schlussfolgerungen ist. Die Konfidenzwerte werden vorzugsweise normalisiert, so dass Konfidenzwerte, die verschiedenen Konstrukten zugeordnet sind, miteinander verglichen werden können.
Die Konfidenzwerte können beispielsweise aus den im Antwortsignal enthaltenen Antworten erhalten werden, beispielsweise aus dem Grad, in dem die Antwort selbstkonsistent ist, oder aus dem Grad, in dem die Antwort glaubwürdige Informationen zur Unterstützung der Antwort enthält. Wenn ein Befragter beispielsweise ein Wettersensor ist und zusätzlich zu der Antwort „18“ auf die Frage „Wie hoch ist die Lufttemperatur?“ liefert die Messungen von drei unabhängigen Temperatursensoren, aus denen das Ergebnis gemittelt wurde, diese können verwendet werden, um eine Zuverlässigkeit des Ergebnisses zu berechnen; In diesem Fall können stark unterschiedliche Messungen der drei Sensoren ein geringes Vertrauen anzeigen. Ähnlich wie im Fall der Vollständigkeitsbewertung könnte der Wert beispielsweise der Durchschnitt oder Median dieser drei Antworten sein, und die Konfidenzbewertung könnte der inverse relative Standardfehler sein. Alternativ oder zusätzlich kann der Konfidenzwert auch aus der Zuverlässigkeit abgeleitet werden, die die im Antwortsignal enthaltenen Daten anzeigt. Dies kann beispielsweise ein Vertrauen oder eine Fehlerquote sein, die der Befragte in Bezug auf die Antwort (en) bereitstellt, oder es kann die Zeit sein, die der Befragte benötigt, um die Frage zu beantworten. Im letzteren Fall kann, wenn der Befragte ein Mensch ist oder seine Antworten von einem Menschen erhält, eine kurze Zeit, die der Befragte oder der Mensch zur Beantwortung der Frage benötigt, darauf hinweisen, dass der Mensch die Frage und damit das Vertrauen in die Antwort nicht ausreichend in Betracht gezogen hat. Die Zuverlässigkeit ist gering, was zu einem niedrigen Konfidenzwert führt.
Normalerweise gibt es mehr als ein Konstrukt. In einer bevorzugten Ausführungsform der Erfindung wird in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - in mindestens einem der Twisits - vorzugsweise in allen Twisits - im Fragenauswahlschritt der Interrogator für die Befragten von mindestens einem der Populationen wählt Fragen in Bezug auf mehrere Konstrukte aus. Es ist ein erreichbarer Vorteil dieser Ausführungsform der Erfindung, dass Schätzungen über mehrere Konstrukte in derselben Übersicht erhalten werden können. Vorzugsweise werden im Fragenauswahlschritt für mindestens einige der Teilnehmer Fragen ausgewählt, die mehreren Konstrukten zugeordnet sind. Zum Beispiel wird diesen Teilnehmern mindestens eine Frage in Bezug auf ein Konstrukt und mindestens eine andere Frage in Bezug auf ein anderes Konstrukt gestellt; oder ihnen wird mindestens eine Frage gestellt, die sich auf zwei Konstrukte bezieht. Letzteres nutzt die Tatsache aus, dass einer Frage nicht unbedingt nur ein Konstrukt zugewiesen werden muss, sondern auch ein oder mehrere andere Konstrukte. Zum Beispiel im Beispiel eines Wettersensors die Frage „Wie hoch ist die relative Luftfeuchtigkeit in Prozent?“ könnte sowohl für das Konstrukt „scheinbare Temperatur“ als auch für das Konstrukt „Feuchtigkeit“ relevant sein. Die Erfindung umfasst jedoch auch Ausführungsformen, bei denen jedem Teilnehmer immer nur Fragen zu einem Konstrukt gestellt werden.
Vorzugsweise ist in mindestens einer Umfrage - bevorzugter in allen Umfragen - in mindestens einer - vorzugsweise allen - Twisit(s) der Vertrauensbewertungsschritt funktional mit dem Fragenauswahlschritt desselben Twisits so verbunden, dass bei neuen Fragen ausgewählt, am meisten, bevorzugter alle Antwortsignale, die vom Befragten empfangen und vor diesem Moment vom Interrogator verarbeitet wurden, werden bei der Fragenauswahl berücksichtigt. Wie bei allen Schritten kann sich der Vertrauensbewertungsschritt mit anderen Schritten überschneiden. Insbesondere kann der Vertrauensbewertungsschritt fortgesetzt werden, solange im Fragenauswahlschritt nicht alle Fragen ausgewählt wurden, die in einem Twisit gestellt werden sollen. In diesem Fall berechnet der Vertrauensbewertungsschritt vorzugsweise vor jeder Auswahl neuer Fragen die aktuellsten Vertrauensbewertungen unter Berücksichtigung aller neuen Antwortsignale, die seit der letzten Auswahl von Fragen eingetroffen und verarbeitet wurden, und verwendet den Schritt des Fragenabschnitts diese Ergebnisse.
orzugsweise wählt der Interrogator bei der Auswahl der einen oder mehreren Frage(n) im Auswahlschritt die Frage(n) nur aus Fragen aus, die zugewiesen wurden, um die Konfidenzbewertung zu konstruieren, deren Konfidenzbewertung unter einer ersten Konfidenzschwelle liegt. Mit anderen Worten, wenn der Konfidenzwert eines bestimmten Konstrukts über einem bestimmten Schwellenwert liegt, kann der Interrogator dieses Konstrukt nicht weiter ausnutzen, sondern muss andere Konstrukte untersuchen oder, wenn alle ausgewählten Konstrukte einen Konfidenzwert über dem Konfidenzschwellenwert haben, die Abfrage beenden Befragter.
Sobald der Interrogator begonnen hat, den Befragten nach einem Konstrukt abzufragen, fragt er den Befragten vorzugsweise weiter nach diesem Konstrukt ab, bis eine oder mehrere Konstruktstoppbedingungen erfüllt sind. Eine bevorzugte Konstruktstoppbedingung ist, dass die Konfidenzwerte des Konstrukts und aller untergeordneten und indirekt untergeordneten Konstrukte über der Konfidenzschwelle liegen. Mit anderen Worten, bevor der Interrogator zu einem anderen Konstrukt übergeht, nutzt er das vorliegende Konstrukt aus, bis die Konfidenzschwelle überschritten wurde. Auf diese Weise kann sichergestellt werden, dass ein Konstrukt ordnungsgemäß ausgenutzt wird, bevor der Interrogator zum nächsten Konstrukt übergeht. Eine andere bevorzugte Stoppbedingung für Konstrukte besteht darin, dass dem Interrogator die Fragen ausgehen, dh alle dem Konstrukt zugewiesenen Fragen, seine untergeordneten Konstrukte und seine indirekt untergeordneten Konstrukte wurden gestellt. Vorzugsweise wird jede Frage, die einem Konstrukt zugeordnet ist (untergeordnet oder nicht), dem Befragten nur einmal gestellt, um Redundanz zu vermeiden.
In einer bevorzugten Ausführungsform der Erfindung umfassen in mindestens einer der Umfragen - vorzugsweise alle Umfragen - mindestens ein Twisit - vorzugsweise alle Twisits

e) Ein Relevanzbewertungsschritt, in dem der Interrogator mindestens einer Frage in Bezug auf mindestens ein Konstrukt eine Relevanzbewertung zuweist, die unter Verwendung von Informationen aus Antwortsignalen erhalten wird, die der Interrogator zuvor erhalten hat, und in denen

Vorzugsweise wird die Relevanzbewertung erhalten, indem Informationen aus Antwortsignalen verwendet werden, die der Interrogator zuvor von einem Befragten erhalten hat, bevorzugter von einer Umfrage. Die Berücksichtigung aller Befragten und / oder aller Umfragen hat den Vorteil, dass eine große Stichprobe zur Verfügung steht, um die Relevanzbewertungen zu erhalten, wodurch die statistische Signifikanz der Relevanzbewertungen verbessert wird.
Im Zusammenhang mit der vorliegenden Erfindung spiegelt eine „Relevanzbewertung“ das wahrscheinliche Ausmaß wider, in dem die jeweilige Frage einen Einblick in das Konstrukt liefert, für das die Vertrauensbewertung erhalten wird. Vorzugsweise werden die Relevanzbewertungen normalisiert, so dass Relevanzbewertungen, die verschiedenen Fragen in Bezug auf dasselbe Konstrukt zugeordnet sind, miteinander verglichen werden können. Die Relevanzwerte können beispielsweise der Durchschnitt aller Konfidenzwerte sein, die bisher in allen Populationen und Umfragen in Bezug auf dieses Konstrukt erhalten wurden.
Vorzugsweise sind die Relevanzbewertungen proportional zur Wahrscheinlichkeit, eine Antwort mit einer bestimmten Relevanz zu erhalten; Mit anderen Worten, das Verhältnis eines Paares von Relevanzbewertungen in Bezug auf dasselbe Konstrukt ist das Verhältnis der Wahrscheinlichkeit, Antworten mit derselben Relevanz von dem Fragenpaar zu erhalten, dem die Relevanzbewertungen zugeordnet sind. Wenn zum Beispiel die Wahrscheinlichkeit, dass eine Frage A eine Antwort mit der Relevanz „10“ in Bezug auf ein bestimmtes Konstrukt liefert, doppelt so hoch ist wie die Wahrscheinlichkeit, dass eine Frage B eine Antwort dieser Relevanz für dasselbe Konstrukt liefert, ist die Frage A. Die Relevanzbewertung in Bezug auf dieses Konstrukt ist vorzugsweise doppelt so hoch wie die von Frage B in Bezug auf dasselbe Konstrukt.
Vorzugsweise sind die Relevanzwerte proportional zur durchschnittlichen oder mittleren Relevanz einer erhaltenen Antwort. Mit anderen Worten, das Verhältnis eines Paares von Relevanzbewertungen in Bezug auf dasselbe Konstrukt ist das Verhältnis der durchschnittlichen oder mittleren Relevanz der Antworten, die von dem Fragenpaar erhalten wurden, dem die Relevanzbewertungen zugeordnet sind. Wenn beispielsweise die mittlere Relevanz einer Antwort, die eine Frage A in Bezug auf ein bestimmtes Konstrukt liefert, doppelt so hoch ist wie die mittlere Relevanz der Antwort, die eine Frage B in Bezug auf dasselbe Konstrukt liefert, wird die Relevanz von Frage A bewertet in Bezug auf dieses Konstrukt ist es vorzugsweise doppelt so hoch wie das von Frage B in Bezug auf dasselbe Konstrukt.
Im Zusammenhang mit der vorliegenden Erfindung spiegelt eine „Relevanz“ einer Antwort für ein Konstrukt den Beitrag wider, den die Antwort zur Verbesserung der Konfidenzbewertung des Konstrukts leisten kann. Dementsprechend kann der Relevanzfaktor dem Interrogator helfen, die Fragen auszuwählen, die die aufschlussreichsten Antworten liefern. Zu diesem Zweck wählt der Interrogator bei der Auswahl der einen oder mehreren Fragen im Auswahlschritt vorzugsweise zuerst ein oder mehrere Konstrukte aus und wählt dann eine oder mehrere Fragen aus allen Fragen oder eine Teilmenge aller Fragen aus zu den Relevanzwerten der Fragen in Bezug auf das Konstrukt.
Bei der Auswahl einer Frage aus allen Fragen oder einer Teilmenge aller Fragen auf der Grundlage der Relevanzbewertungen der Fragen wählt der Interrogator die Fragen vorzugsweise so aus, dass die Wahrscheinlichkeit, dass eine Frage ausgewählt wird, umso höher ist, je höher die Relevanzbewertung der Frage ist in Bezug auf dieses Konstrukt ist. Um dies zu erreichen, werden die Fragen vorzugsweise zufällig ausgewählt, sind jedoch abhängig von ihrer Relevanzbewertung gewichtet. Vorzugsweise hängt die Wahrscheinlichkeit, dass eine Frage ausgewählt wird, zumindest bei Relevanzwerten über einem bestimmten Schwellenwert, linear mit dem Relevanzwert zusammen. Vorzugsweise ist die Wahrscheinlichkeit, dass eine Frage ausgewählt wird, zumindest bei Relevanzwerten unterhalb eines bestimmten Schwellenwerts, nicht proportional zum Relevanzwert; Vielmehr ist insbesondere bei Relevanzwerten unter einem bestimmten Schwellenwert die Wahrscheinlichkeit, dass eine Frage ausgewählt wird, unverhältnismäßig hoch. Es ist ein erreichbarer Vorteil des letzteren, dass selbst Fragen mit einem niedrigen Relevanzwert häufig genug verwendet werden, um ihre Relevanz beurteilen zu können.
Vollständigkeit
Vorzugsweise verwendet in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - im Fragenauswahlschritt von mindestens einem Twisit - vorzugsweise in allen Twisits - der Interrogator bei der Auswahl der einen oder mehreren Fragen für den / die Befragten Informationen über die Antwortsignale, die der Interrogator zuvor in derselben Umfrage erhalten hat. Es ist ein erreichbarer Vorteil dieser Ausführungsform der Erfindung, dass unter Verwendung von Informationen über die Antwortsignale, die zuvor in derselben Umfrage empfangen wurden, besonders geeignete neue Fragen ausgewählt werden können. In diesem Zusammenhang bedeutet „zuvor in derselben Umfrage empfangen“, dass zuvor in derselben Umfrage oder in einer vorherigen Umfrage derselben Umfrage empfangen wurde. Wenn beispielsweise in einem ersten Twisit unvollständige oder inkonsistente Antworten in Bezug auf ein bestimmtes Konstrukt eingegangen sind, kann dies ausgeglichen werden, indem im selben Twisit oder in einem nachfolgenden Twisit weitere Fragen zu diesem Konstrukt gestellt werden. Insbesondere durch geeignete Auswahl der Fragen ist es möglich, dass in der gesamten Umfrage die Zuverlässigkeit der aus den Antworten abgeleiteten Schlussfolgerungen maximiert werden kann. Mit anderen Worten, die Anzahl der Fragen kann reduziert werden, während gleichzeitig ein aussagekräftigeres Ergebnis aus allen von den Befragten empfangenen Antwortsignalen erzielt werden kann.
In einer bevorzugten Ausführungsform der Erfindung umfassen in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - mindestens ein Twisit - vorzugsweise in allen Twisits

a) Ein Vollständigkeitsbewertungsschritt, bei dem der Interrogator mindestens einem Konstrukt in Bezug auf mindestens eine Population eine Vollständigkeitsbewertung zuweist, die unter Verwendung von Informationen aus Antwortsignalen erhalten wird, die der Interrogator zuvor in derselben Umfrage von Befragten des erhalten hat jeweilige Population.

Vorzugsweise weist der Interrogator mehreren oder vorzugsweise allen Konstrukten in Bezug auf mehrere oder vorzugsweise allen Populationen eine Vollständigkeitsbewertung zu, wobei Informationen aus Antwortsignalen verwendet werden, die der Interrogator zuvor in derselben Umfrage von Befragten der jeweiligen Population erhalten hat. Wenn es beispielsweise drei Konstrukte gibt, denen Vollständigkeitsbewertungen in Bezug auf zwei Populationen zugeordnet sind, gibt es insgesamt sechs Vollständigkeitsbewertungen. Diese Vollständigkeitsbewertungen können vorteilhafterweise zur Auswahl von Fragen verwendet werden, wie nachstehend ausführlicher erläutert wird. Dementsprechend verwendet der Interrogator in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - in den Fragenauswahlschritten von mindestens einem Twisit - vorzugsweise in den Fragenauswahlschritten aller Twisits - bei der Auswahl der einen oder mehreren Fragen eine oder mehrere mehr - vorzugsweise alle - der Vollständigkeitswerte.
Im Zusammenhang mit der vorliegenden Erfindung spiegelt eine „Vollständigkeitsbewertung“ das Vertrauen in die Zuverlässigkeit einer Schätzung wider, die aus den Antworten abgeleitet wurde, die das Konstrukt betreffen, für das die Vollständigkeitsbewertung berechnet wurde und das während der Umfrage erhalten wurde. Die Schätzung kann beispielsweise der Durchschnitts- oder Medianwert der Antworten sein. Vorzugsweise spiegelt die Vollständigkeitsbewertung eine Fehlerquote (manchmal auch als „Standardfehler“ bezeichnet) in der Schätzung in dem Sinne wider, dass das durch die Vollständigkeitsbewertung reflektierte Vertrauen umso höher ist, je niedriger die Fehlerquote ist die statistischen Schlussfolgerungen. Der Begriff „Vollständigkeitsbewertung“ ergibt sich aus der Tatsache, dass damit beurteilt werden kann, inwieweit die Umfrage in Bezug auf das jeweilige Konstrukt vollständig ist: Wenn die Schätzung von hoher Sicherheit ist, kann die Umfrage in Bezug auf die Bewertung als „vollständig“ betrachtet werden zu diesem Konstrukt.
Die Vollständigkeitsbewertungen werden vorzugsweise normalisiert, so dass Vollständigkeitsbewertungen, die verschiedenen Konstrukten zugeordnet sind, miteinander verglichen werden können. In ähnlicher Weise werden die Vollständigkeitsbewertungen vorzugsweise normalisiert, so dass Vollständigkeitsbewertungen, die verschiedenen Populationen zugeordnet sind, miteinander verglichen werden können. In dem zuvor diskutierten Beispiel, in dem die Befragten Wettersensorgeräte sind, könnte der Interrogator einer Reihe solcher Sensoren die drei Fragen stellen: „Wie hoch ist die Lufttemperatur in Grad Celsius?“, „Wie hoch ist die relative Luftfeuchtigkeit in Prozent?“ und „Wie hoch ist die Windgeschwindigkeit in Metern pro Sekunde?“ und leiten aus den Antworten eine Schätzung des Konstrukts „scheinbare Temperatur“ ab. Diese Schätzung weist einen Standardfehler auf, und der Vollständigkeitswert kann beispielsweise der umgekehrte Wert dieses Standardfehlers mal ein Normalisierungsfaktor sein, der die Vollständigkeitswerte verschiedener Konstrukte und Populationen miteinander vergleichbar macht. Eine Normalisierung kann zum Beispiel erreicht werden, indem die Umkehrung speziell des relativen Standardfehlers als Vollständigkeitsbewertung verwendet wird. Basierend auf der Vollständigkeitsbewertung kann der Interrogator im Fragenauswahlschritt diejenigen Fragen priorisieren, die die Konstrukte betreffen, deren Schätzung am wenigsten zuverlässig ist, so dass eine minimale Zuverlässigkeit über alle Schätzungen hinweg verbessert werden kann.
Vorzugsweise ist der Vollständigkeitsbewertungsschritt funktional mit dem Fragenauswahlschritt derart verbunden, dass bei Auswahl neuer Fragen die meisten, bevorzugter alle vom Interrogator vor diesem Moment empfangenen und verarbeiteten Antwortsignale bei der Fragenauswahl berücksichtigt werden. Wie bei allen Schritten kann sich der Vollständigkeitsbewertungsschritt mit allen anderen Schritten überschneiden. Insbesondere kann der Vollständigkeitsbewertungsschritt fortgesetzt werden, solange im Fragenauswahlschritt nicht alle Fragen ausgewählt wurden, die in einem Twisit gestellt werden sollen. In diesem Fall berechnet der Vollständigkeitsbewertungsschritt vorzugsweise vor jeder Auswahl neuer Fragen die aktuellsten Vollständigkeitsbewertungen unter Berücksichtigung aller neuen Antwortsignale, die seit der letzten Auswahl von Fragen eingetroffen und verarbeitet wurden, und der Schritt zum Fragenabschnitt verwendet diese Ergebnisse.
In der bevorzugten Ausführungsform der Erfindung werden bei der Berechnung der Vollständigkeitsbewertung die Informationen aus Antwortsignalen, die der Interrogator zuvor in derselben Umfrage erhalten hat, basierend auf den diesen Informationen zugewiesenen Konfidenzbewertungen gewogen. Es ist ein erreichbarer Vorteil dieser Ausführungsform der Erfindung, dass eine Verzerrung der Vollständigkeitsbewertung aufgrund einer Variation des Vertrauens von Antwortsignalen oder der in diesen Signalen enthaltenen Informationen zwischen Befragten vermieden werden kann.
Ein bevorzugter Weg, die Vollständigkeitsbewertungen im Fragenauswahlschritt zu verwenden, besteht darin, dass der Interrogator bei der Auswahl von Fragen an die Befragten mindestens einer der Populationen Fragen bevorzugt, die sich auf Konstrukte beziehen, die niedrigere Vollständigkeitsbewertungen haben, gegenüber denen, die sich auf Konstrukte beziehen mit höheren Vollständigkeitswerten. Dies kann auf eine, mehrere oder alle Populationen angewendet werden. In einer Ausführungsform der Erfindung wird der obige Vergleich nur innerhalb einer Population durchgeführt, dh nur innerhalb jeder Population werden Fragen, die sich auf Konstrukte mit niedrigeren Vollständigkeitsbewertungen beziehen, gegenüber solchen bevorzugt, die sich auf Konstrukte mit höheren Vollständigkeitsbewertungen beziehen. Infolgedessen kann eine Annäherung in jeder Population einzeln erreicht werden. In einer anderen Ausführungsform wird der Vergleich über die gesamte Population hinweg durchgeführt, dh Fragen, die sich auf Konstrukte mit niedrigeren Vollständigkeitswerten beziehen, werden gegenüber Fragen bevorzugt, die sich auf Konstrukte mit höheren Vollständigkeitswerten beziehen, unabhängig davon, ob die beiden aus derselben Population stammen oder nicht. Infolgedessen kann eine Annäherung an die potenziellen Befragten insgesamt erreicht werden.
In diesem Zusammenhang wird eine Frage als „verwandt“ mit einem Konstrukt bezeichnet, wenn sie diesem Konstrukt zugeordnet ist oder wenn sie einem anderen Konstrukt zugeordnet ist, das dem Konstrukt direkt oder indirekt untergeordnet ist. Letzteres tritt auf, wenn die Konstrukte hierarchisch so organisiert sind, dass einige der Konstrukte anderen Konstrukten untergeordnet sind. „Bevorzugen“ bedeutet, dass Fragen, die sich auf Konstrukte mit niedrigeren Vollständigkeitswerten beziehen, statistisch überrepräsentiert sind, relativ zu Fragen, die sich auf Konstrukte mit höheren Vollständigkeitswerten beziehen. Infolgedessen kann vorteilhafterweise eine Annäherung der Vollständigkeitsbewertungen erreicht werden, dh am Ende einer Umfrage haben die Schätzungen in Bezug auf alle Konstrukte ungefähr die gleiche Vollständigkeitsbewertung und sind daher ähnlich zuverlässig. In einer besonders bevorzugten Ausführungsform der Erfindung werden speziell diejenigen Fragen ausgewählt, die sich auf Konstrukte beziehen, die niedrigere Vollständigkeitswerte aufweisen als die Konstrukte, die sich auf Fragen beziehen, die nicht ausgewählt sind. Dies kann zum Beispiel erreicht werden, indem die Fragen nach den Vollständigkeitswerten der zugehörigen Konstrukte eingestuft werden und die Frage nach ihrem Rang ausgewählt wird.
Eine bevorzugte Ausführungsform der Erfindung umfasst zumindest für ein Konstrukt in Bezug auf eine Population eine vorbestimmte Vollständigkeitsschwelle, die angibt, wann das Vertrauen in das Ergebnis für das Konstrukt ein zufriedenstellendes Niveau erreicht hat. Vorzugsweise werden in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - in mindestens einer - vorzugsweise allen - der Twisits der Umfrage im Schritt der Fragenauswahl eine oder mehrere - in einigen Ausführungsformen alle - der Vollständigkeitsbewertungen mit verglichen Es wird eine vorgegebene Vollständigkeitsschwelle ausgewählt, und es werden nur Fragen ausgewählt, die mindestens einem Konstrukt zugeordnet sind, dessen Vollständigkeitsbewertung die Vollständigkeitsschwelle nicht überschritten hat. Dadurch kann vorteilhafterweise erreicht werden, dass keine Fragen gestellt werden, die über das hinausgehen, was erforderlich ist, um das erforderliche Vertrauen in die Ergebnisse in Bezug auf verschiedene Konstrukte und Populationen zu erreichen. Die Vollständigkeitsschwelle kann für alle Vollständigkeitsbewertungen in Bezug auf dasselbe Konstrukt oder dieselbe Population gleich sein, oder die Vollständigkeitsschwelle kann sogar für alle Vollständigkeitsbewertungen in einer gesamten Umfrage oder allen Umfragen gleich sein.
Die Konstrukte, deren Vollständigkeitsbewertungen mit der Vollständigkeitsschwelle verglichen werden, können diejenigen sein, die weiter unten als Primärkonstrukte bezeichnet werden. Die Verwendung des Stoppkriteriums nur für eine begrenzte Anzahl von Konstrukten ermöglicht es, die Abfrage nur auf die relevanteren oder wichtigeren Konstrukte zu konzentrieren, wodurch die Anzahl der zu sendenden Fragensignale und der zu empfangenden Antwortsignale für den Abschluss des Konstrukts verringert wird Umfrage.
Vorzugsweise wird die Umfrage in Bezug auf eine Population gestoppt, wenn die Vollständigkeitsbewertungen einer Reihe von vorbestimmten Konstrukten, insbesondere der nachstehend genannten Primärkonstrukte, in Bezug auf die Population die Vollständigkeitsschwelle überschritten haben.
Wenn Sie die Anzahl der Teilnehmer an den Twisits nach dem ersten Twisit niedrig halten, können Sie vermeiden, dass dem Teilnehmer mehr Fragen gestellt werden, als zum Erreichen der erforderlichen Vollständigkeitsbewertung erforderlich sind. Dies liegt unter anderem daran, dass, wenn einer oder einige der Teilnehmer eines Twisits Antworten liefern, die überdurchschnittlich zur Vollständigkeitsbewertung des Ergebnisses in Bezug auf ein Konstrukt beitragen, dies möglicherweise bereits ausreicht, um die Vollständigkeitsschwelle zu erfüllen, und keine weiteren Teilnehmer muss möglicherweise abgefragt werden. Insbesondere bevorzugt umfasst mindestens eine der Umfragen - vorzugsweise alle Umfragen - mindestens zwei Twisits und in jedem Twisit außer dem ersten Twisit der Umfrage werden im Fragenauswahlschritt aus jeder Population weniger als 50 Teilnehmer ausgewählt besonders bevorzugt weniger als 20 Teilnehmer, besonders bevorzugt weniger als 10 Teilnehmer, besonders bevorzugt weniger als 5 Teilnehmer, besonders bevorzugt weniger als 3 Teilnehmer, besonders bevorzugt 1 oder kein Teilnehmer.
Repräsentativität
In einer bevorzugten Ausführungsform der Erfindung wird in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - im Auswahlschritt der Befragten mindestens ein Twisit außer dem ersten Twisit der Umfrage - vorzugsweise aller Twisits außer dem ersten Twisit der Umfrage - der Der Interrogator verwendet Informationen über mindestens einige der Befragten, von denen der Interrogator in einem früheren Twisit derselben Umfrage eine Antwort erhalten hat. Dadurch kann im Befragtenauswahlschritt des weiteren Twisit eine besonders geeignete Teilmenge von Befragten ausgewählt werden.
Gemäß dieser Ausführungsform der Erfindung folgt auf einen ersten Twisit mindestens ein weiterer Twisit, und in diesem weiteren Twisit wird eine neue Untergruppe von Befragten ausgewählt. Es ist ein erreichbarer Vorteil dieses Aspekts der Erfindung, dass durch die Verwendung von Informationen über Befragte, von denen der Interrogator eine Antwort in einem vorherigen Twisit derselben Umfrage erhalten hat, im Auswahlschritt der Befragten des weiteren Twisits eine besonders geeignete Untergruppe von Befragten verwendet werden kann ausgewählt werden. Wenn beispielsweise in einem ersten Twisit keine oder nur wenige Antwortsignale einer bestimmten Art von Befragten empfangen wurden, kann dies im nächsten Twisit ausgeglichen werden, indem mehr Befragte dieser Art einbezogen werden. Insbesondere ist durch geeignete Auswahl der Teilmenge der weiteren Twisit(s) erreichbar, dass in der gesamten Umfrage die Relevanz der Antwortsignale maximiert werden kann. Mit anderen Worten, die Anzahl der Befragten kann reduziert werden, während gleichzeitig ein aussagekräftigeres Ergebnis aus allen von den Befragten empfangenen Antwortsignalen erzielt werden kann.
Die vom Interrogator vom Empfänger empfangenen Informationen können beispielsweise ein intrinsisches Merkmal des Empfängers oder Informationen im Zusammenhang mit dieser Interaktion enthalten. Im letzteren Fall können die Informationen beispielsweise Informationen darüber enthalten, ob ein Antwortsignal von diesem Befragten empfangen wurde oder nicht, oder sie können zumindest einen Teil der Antwort enthalten, dh den Inhalt des entsprechenden Antwortsignals. Zum Beispiel kann der Interrogator, wie weiter unten ausführlicher erläutert wird, aus der Information, ob ein Antwortsignal von diesem Befragten empfangen wurde oder nicht, in dem vorherigen Twisit eine Antwortrate ableiten, dh den Anteil der Befragten, von dem erwartet werden kann, dass er sendet eine Antwort im aktuellen Twisit, und es kann dementsprechend die Größe der Teilmenge so wählen, dass eine ausreichende Anzahl von Antwortsignalen erwartet werden kann, um in der Lage zu sein, ein aussagekräftiges Ergebnis aus den in der Umfrage empfangenen Antwortsignalen als zu erhalten eine ganze.
Vorzugsweise berücksichtigt der Interrogator in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - im Auswahlschritt der Befragten des ersten Twisit der Umfrage die Werte von mindestens einer Ebene von mindestens einem Teil der potenziellen Befragten.
In einer bevorzugten Ausführungsform der Erfindung wird in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - im Auswahlschritt der Befragten des ersten Twisits der Umfrage die Teilmenge so ausgewählt, dass sie für mindestens eine Population potenzieller Befragter repräsentativ ist. vorzugsweise aller Populationsgruppen potenzieller Befragter. Im Zusammenhang mit der vorliegenden Erfindung bedeutet „repräsentativ“ zu sein, dass ein vorbestimmtes Maß an Repräsentativität erreicht wird.
Im Zusammenhang mit der vorliegenden Erfindung bezieht sich „Repräsentativität“ auf den Grad, in dem in Bezug auf mindestens eine, vorzugsweise mehrere Ebene(n) die relativen Anteile der Teilnehmer der Teilmenge, die verschiedenen Werten der Ebene(n) zugeordnet sind, nahe beieinander liegen auf die relativen Anteile der potenziellen Teilnehmer der Population, die verschiedenen Werten der Ebene(n) innerhalb einer vorgegebenen Metrik zugeordnet sind.
Im Zusammenhang mit der vorliegenden Erfindung ist eine „Ebene“ eine Information, die die Population in dem Sinne schichtet, dass jedem potenziellen Befragten ein und nur ein Wert der Ebene zugewiesen wird, wodurch die Population kollektiv erschöpfenden und sich gegenseitig ausschließenden Schichten dieser Ebene zugewiesen wird. Vorzugsweise ist eine Ebene ein wesentliches Merkmal des Befragten, z. B. sein Standort oder Unterort innerhalb einer Zelle (z. B. „Zürich“ in der Zelle „Schweiz“), sein Alter, sein Rang in einer Organisation oder sein Aufgabenbereich oder Unterabschnitt Aufgabenbereich (zum Beispiel „Softwareentwicklung“ im Aufgabenbereich „Forschung und Entwicklung“). Es kann auch eine Kombination solcher intrinsischer Merkmale sein, beispielsweise die Kombination von Standort und Aufgabenbereich. Die Population kann eine oder mehrere Ebenen haben. Vorzugsweise werden mindestens zwei Ebenen für die Repräsentativität berücksichtigt, und Cramers V mit den relativen Anteilen als Werte wird als Grad der Repräsentativität verwendet.
Vorzugsweise werden die Teilnehmer im ersten Teil der Umfrage so ausgewählt, dass mit einer kleinen Anzahl ausgewählter Befragter ein vorgegebener Grad an Repräsentativität erreicht wird. Dabei können andere Einschränkungen berücksichtigt werden. Beispielsweise kann es erforderlich sein, dass die Teilmenge solche Teilnehmer enthält, die in bestimmten Ebenen einem Wert oder Werten zugeordnet sind, die in einer oder mehreren Populationen potenzieller Teilnehmer besonders selten sind. Dementsprechend wird in einer bevorzugten Ausführungsform der Erfindung in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - im Auswahlschritt der Befragten des ersten Twisits der Umfrage die Teilmenge so ausgewählt, dass ein vorbestimmter Grad an Diversität erreicht wird in Bezug auf mindestens eine Population potenzieller Befragter, vorzugsweise aller Populationen potenzieller Befragter.
„Vielfalt“ Im Zusammenhang mit der vorliegenden Erfindung ist der Grad, in dem die seltensten Kombinationen von Ebenen in der Teilmenge dargestellt werden. Dementsprechend ist der „Beitrag eines Befragten zur Repräsentativität der Teilmenge“ umso höher, je seltener seine Kombination von Ebenen ist. Dadurch ist es möglich, dass Befragte mit den seltensten Kombinationen frühzeitig ausgewählt werden, was vorteilhafterweise dazu beitragen kann, eine vielfältigere Untergruppe von Befragten zu erhalten. Dies nutzt aus, dass Vertreter mit häufigeren Kombinationen von Ebenen später verwendet werden können, um bei Bedarf über- oder unterrepräsentierte Stichproben zu korrigieren.
Es ist bevorzugt, dass in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - im Auswahlschritt der Befragten von mindestens einem der Twisits der Umfrage außer dem ersten Twisit der Interrogator vorzugsweise Informationen über alle Befragten verwendet, aus denen der Der Interrogator hat in jedem früheren Teil derselben Umfrage eine Antwort erhalten. Vorzugsweise umfassen die Informationen über den / die Befragten die Werte von mindestens einer Ebene der Befragten. Insbesondere bevorzugt wählt der Interrogator die Teilmenge so aus, dass eine Menge, die aus der Teilmenge und allen Befragten besteht, von denen der Interrogator in einem früheren Twisit derselben Umfrage eine Antwort erhalten hat, für eine oder mehrere potenzielle Populationen repräsentativ ist Befragte.
In einer bevorzugten Ausführungsform der Erfindung umfasst in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - der Auswahlschritt der Befragten von mindestens einem der Twisits der Umfrage außer dem ersten Twisit einen Prognoseteilschritt, in dem für mindestens Als Teil der Population potenzieller Befragter berechnet der Interrogator die Wahrscheinlichkeit, dass ein an einen potenziellen Befragten gesendetes Fragensignal zu einem von diesem potenziellen Befragten empfangenen Antwortsignal führt. Dies kann zum Beispiel einfach dadurch erreicht werden, dass die Anzahl der Befragten des direkt vorhergehenden Twisits, aller vorherigen Twisits der Umfrage oder sogar aller vorherigen Twisits auch früherer Umfragen, von denen Antwortsignale empfangen wurden, durch die Gesamtzahl dieser geteilt wird Befragte. Dabei kann vorteilhafterweise berechnet werden, wie viel Befragter abgefragt werden muss, um eine bestimmte Anzahl von Antwortsignalen zu empfangen.
Vorzugsweise wählt der Interrogator die Teilmenge so aus, dass eine Menge bestehend aus den Befragten in der Teilmenge, von der gemäß der Prognose ein Antwortsignal empfangen wird, und allen Befragten, von denen der Interrogator eine Antwort in einem vorherigen Twisit der erhalten hat Dieselbe Umfrage ist repräsentativ für eine oder mehrere Populationsgruppen potenzieller Befragter. Wenn zum Beispiel die Repräsentativität eine bestimmte Anzahl zusätzlicher Antwortsignale von Befragten erfordert, denen eine bestimmte Ebene bestimmten Werten zugewiesen ist (z. B. die Ebene „Ort“ mit dem Wert „Zürich“), kann anhand der Prognose berechnet werden, wie viele Befragte Mit diesen Werten muss der Interrogator abfragen, um diese zusätzliche Anzahl von Antwortsignalen zu empfangen.
In einer bevorzugten Ausführungsform der Erfindung verwendet der Interrogator in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - im Auswahlschritt der Befragten von mindestens einem Twisit - vorzugsweise von allen Twisits - Abfragelastinformationen über mindestens einen Teil der potenzielle Befragte. Es ist ein erreichbarer Vorteil dieses Aspekts der Erfindung, dass unter Berücksichtigung der Abfragelastinformationen potenzieller Befragter die Befragten basierend auf den Abfragelastinformationen ausgewählt oder zumindest priorisiert werden können. Beispielsweise werden nur Befragte ausgewählt, für die noch Ressourcen für eine Abfrage verfügbar sind, oder die Befragten mit den meisten verfügbaren Ressourcen werden priorisiert. Zum Beispiel, wenn die in einem Befragten, der ein solarbetriebenes Messgerät ist, verfügbare Energiemenge nur ausreicht, um eine Minute pro Woche abgefragt zu werden, oder wenn der Datenplan des Mobilfunknetzes, über das das Messgerät mit dem verbunden ist Der Interrogator erlaubt nur zehn Minuten Kommunikation pro Monat. Wenn ein menschlicher Befragter nur 30 Minuten seiner Zeit pro Jahr sparen kann, werden nur diejenigen Befragten ausgewählt, die noch genügend Zeit für die Befragung haben. Alternativ wird der Schwellenwert niedriger gewählt, sodass nur ein Teil der Ressourcen des Interrogators im Twisit verbraucht wird, um Ressourcen für eine oder mehrere spätere Abfragen zu sparen, insbesondere in einer späteren Umfrage.
Vorzugsweise umfasst in mindestens einer der Umfragen - bevorzugter in allen Umfragen - im Auswahlschritt der Befragten von mindestens einem Twisit - bevorzugter von allen Twisits - die vom Interrogator ausgewählte Teilmenge nur Befragte, deren Abfragelast unter einem vordefinierten Schwellenwert liegt. Dadurch kann erreicht werden, dass nur Befragte abgefragt werden, die über ausreichende Ressourcen verfügen, um ein Antwortsignal zu erzeugen.
In einer bevorzugten Ausführungsform der Erfindung umfasst die Abfrageladeinformation die Zeit, die der Befragte aufgrund der Abfrage durch den Interrogator in einem bestimmten Zeitintervall verwendet. Vorzugsweise beträgt diese bestimmte Zeit zwei Stunden oder weniger, bevorzugter eine Stunde oder weniger, bevorzugter 30 Minuten oder weniger, bevorzugter zehn Minuten oder weniger. Vorzugsweise ist das Zeitintervall die letzten zwei Jahre oder weniger, bevorzugter das vergangene Jahr oder weniger, bevorzugter die letzten sechs Monate oder weniger, bevorzugter die letzten drei Monate oder weniger, bevorzugter der vergangene Monat oder weniger, bevorzugter die letzte Woche oder weniger.
In einigen Ausführungsformen der Erfindung umfasst in mindestens einer der Umfragen - bevorzugter in allen Umfragen - im Auswahlschritt der Befragten von mindestens einem Twisit - bevorzugter von allen Twisits - die vom Interrogator ausgewählte Teilmenge keine Befragten, aus denen Der Interrogator hat ein Antwortsignal in anderen Abschnitten derselben Umfrage erhalten. Auf diese Weise kann vorteilhafterweise erreicht werden, dass jedes Antwortsignal in einer Umfrage von einem anderen potenziellen Befragten stammt, was die Repräsentativität der Umfrage verbessern kann.
In einigen Ausführungsformen der Erfindung umfasst in mindestens einer der Umfragen - bevorzugter in allen Umfragen - im Auswahlschritt der Befragten von mindestens einem Twisit - bevorzugter von allen Twisits - die vom Interrogator ausgewählte Teilmenge keine Befragten, aus denen In derselben Umfrage wurde kein Antwortsignal als Antwort auf ein Fragensignal empfangen, bevorzugter in einer der Umfragen. Damit kann vorteilhafterweise die Rücklaufquote verbessert werden.
In einer bevorzugten Ausführungsform der Erfindung ordnet der Interrogator in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - in der ersten Phase des Abfragezyklus im Auswahlschritt mindestens einige der Befragten der Teilmenge in einer Reihenfolge, die berücksichtigt den Beitrag, den sie zur Repräsentativität und / oder Vielfalt der Untergruppe in Bezug auf eine oder mehrere der Population(en) leisten. Im Rahmen des vorliegenden Antrags ist der „Beitrag eines Befragten zur Repräsentativität der Teilmenge“ der Betrag, um den die Repräsentativität innerhalb der vorgegebenen Metrik verbessert wird. Es ist ein erreichbarer Vorteil dieser Ausführungsform der Erfindung, dass ein hohes Maß an Repräsentativität und Diversität früh im Twisit erreicht werden kann. Infolgedessen können beispielsweise der Twisit und die Umfrage abgebrochen werden, sobald eine ausreichende Repräsentativität erreicht wurde. Vorzugsweise sendet der Interrogator im Abfrageschritt Fragensignale an den einen oder die mehreren Befragten in einer zeitlichen Reihenfolge, die den Rang der bewerteten Befragten berücksichtigt.
In einer bevorzugten Ausführungsform der Erfindung umfasst in mindestens einer der Umfragen - vorzugsweise in allen Umfragen - im Auswahlschritt von mindestens einem - vorzugsweise allen - Twisit(s) außer dem ersten Twisit(s) der Auswahlschritt ein Prognose-Sub - Schritt, in dem der Interrogator für mindestens einen Teil der potenziellen Befragten die Wahrscheinlichkeit berechnet, dass ein an einen potenziellen Befragten gesendetes Fragensignal zu einem von diesem potenziellen Befragten empfangenen Antwortsignal führt. Vorzugsweise ordnet der Interrogator im Auswahlschritt mindestens einige der Befragten der Teilmenge in einer Reihenfolge ein, die den Beitrag berücksichtigt, den sie zur Repräsentativität in Bezug auf eine oder mehrere der Population (en) einer Gruppe leisten, die aus den Befragten in besteht die Teilmenge, von der gemäß der Prognose ein Antwortsignal empfangen wird, und alle Befragten, von denen der Interrogator eine Antwort in einem vorherigen Twisit derselben Umfrage erhalten hat. Wie in der vorherigen Ausführungsform ist es ein erreichbarer Vorteil dieser Ausführungsform der Erfindung, dass ein hohes Maß an Repräsentativität früh im Twisit erreicht werden kann. Infolgedessen können beispielsweise der Twisit und die Umfrage abgebrochen werden, sobald eine ausreichende Repräsentativität erreicht wurde. Auch vorzugsweise sendet der Interrogator im Abfrageschritt zeitlich Fragensignale an den einen oder die mehreren Befragten Reihenfolge, die die Ränge der bewerteten Befragten berücksichtigt.
In einer bevorzugten Ausführungsform der Erfindung umfasst mindestens eine der Umfragen - vorzugsweise alle Umfragen - einen Einladungsschritt, in dem der Interrogator Opt-In-Einladungssignale an mindestens einen Teil der potenziellen Befragten sendet, und in der Bei der Auswahl der Befragten von mindestens einem - in einigen Ausführungsformen alle Zweien - der Umfrage (n) schließt der Interrogator einen oder mehrere Befragte in die Teilmenge ein, da der Interrogator ein Opt-In-Signal von diesen Befragten erhalten hat) als Antwort auf das Opt-In-Einladungssignal. Damit kann vorteilhafterweise die Antwortrate in den Abfrageschritten des Twisits verbessert werden. Vorzugsweise ist der Einladungsschritt in der ersten Phase mindestens einer Umfrage enthalten, vorzugsweise aller Umfragen.
Vorzugsweise umfasst jede Umfrage einen oder mehrere Analyseschritte, in denen die Antwortsignale analysiert werden, um Schlussfolgerungen über die Population(en) abzuleiten. Dies können zum Beispiel die durchschnittliche Temperatur oder Niederschlagsmenge an einem Ort der Population(en) oder die durchschnittlichen Temperaturen oder Niederschlagsmengen an den Orten der einzelnen Zellen der Population sein.
Durch die Aufteilung der Population potenzieller Befragter in zwei oder mehr Populationsgruppen kann vorteilhafterweise erreicht werden, dass eine Umfrage für mehrere Populationsgruppen gleichzeitig durchgeführt werden kann. Damit ist es beispielsweise möglich, die Ergebnisse von zwei oder mehr Populationen leicht miteinander zu vergleichen.
Interrogator
Ein bevorzugter Interrogator umfasst: einen Bus; eine mit dem Bus verbundene Kommunikationseinheit; einen ersten Speicher, der mit dem Bus verbunden ist, wobei der erste Speicher einen Satz von computerverwendbarem Programmcode speichert; einen an den Bus angeschlossenen Prozessor, wobei der Prozessor den Satz von computerverwendbarem Programmcode ausführt, um ein erfindungsgemäßes Verfahren durchzuführen. Vorzugsweise umfasst der Interrogator ferner einen zweiten Speicher, wobei der zweite Speicher Informationen über jedes der mehreren Konstrukte speichert.
Figurenliste
Im Folgenden werden weitere bevorzugte Ausführungsformen der Erfindung anhand von Beispielen veranschaulicht. Die Erfindung ist jedoch nicht auf diese Beispiele beschränkt.
Die Zeichnungen zeigen schematisch:

1 Eine Ausführungsform eines Interrogators gemäß der vorliegenden Erfindung, wobei der Interrogator Verfahren gemäß der vorliegenden Erfindung durchführt
2 Eine Ausführungsform eines Computernetzwerks gemäß der Erfindung, wobei das Computernetzwerk Verfahren gemäß der vorliegenden Erfindung ausführt;
3 Ein Funktionsdiagramm des Computernetzwerks von 2 zur Erläuterung der darin ablaufenden Prozesse und des Informationsflusses; und
4 Ein Flussdiagramm des Verfahrens, das vom Computernetzwerk der 2 und 3 durchgeführt wird.

Detaillierte Beschreibung einer ersten Ausführungsform der Erfindung Interrogator
Ein Interrogator 200 gemäß der Erfindung kann Befragte (nicht gezeigt) abfragen, indem er Fragensignale 210 an einen von mehreren Befragten in Bezug auf ein oder mehrere Konstrukte sendet und Antwortsignale 220 von den Befragten als Antwort auf die Fragensignale 210 empfängt.
Der Interrogator 200 wählt die Befragten aus einem Reservoir von (typischerweise Hunderten oder Tausenden) potenziellen Befragten aus. Zum Beispiel sind die Befragten für die Meldung des Wetters bestimmt, die folgende Methode gilt jedoch auch für jedes andere Thema. In diesem speziellen Beispiel sind einige Befragte Wettersensorgeräte, die entweder einen Temperatursensor oder einen Niederschlagssensor oder beides umfassen. Die Wettersensorgeräte können die Frage 210 austauschen und die Signale 220 über das Internet über ein mobiles Datennetz beantworten, das üblicherweise auch für mobile Smartphones verwendet wird. Darüber hinaus sind in diesem speziellen Beispiel einige andere Befragte Profile, die auf einem Webserver vorhanden sind und auf die menschliche Informanten (z. B. Meteorologen) über einen Webbrowser über das Internet zugreifen können, um Wetterdaten manuell einzugeben. Zu diesem Zweck können sich die menschlichen Informanten über das Internet über ein mobiles Datennetz in ihre Profile auf dem Webserver einloggen. Der Webserver wandelt die Fragensignale 210 in lesbaren Text um, der die in den Fragensignalen 210 enthaltenen Fragen ausdrückt, die die menschlichen Informanten lesen und verstehen können. Der Webserver sammelt auch Antworten von den menschlichen Informanten und wandelt sie in Antwortsignale 220 um, die vom Interrogator 200 empfangen werden sollen. In dem oben erwähnten spezifischen Beispiel gibt es zwei Populationen potenzieller Befragter, die Zürcher Zelle und die Berner Zelle. Die Befragten dieser Populationsgruppen liefern Wetterdaten von einem Standort in Zürich bzw. Bern.
Der Interrogator 200 kann eine oder mehrere Vermessungen durchführen. In der Regel wird eine Umfrage abgeschlossen, bevor die nächste Umfrage beginnt. Jede Umfrage umfasst mindestens einen, typischerweise mehrere Twisit(s).
Jeder Twisit besteht aus mehreren Schritten, die normalerweise zu unterschiedlichen Zeiten beginnen und enden, aber die meiste Zeit gleichzeitig ablaufen und aufeinander reagieren. Die Schritte umfassen

- Ein Auswahlschritt für den Befragten, in dem der Interrogator eine Teilmenge auswählt, die einen oder mehrere Befragte umfasst (z. B. 1500);
- Ein Fragenauswahlschritt, in dem der Interrogator eine oder mehrere Fragen (zum Beispiel 5) für jeden oder mehrere Befragte auswählt, die im Twisit abgefragt werden sollen, wobei jede Frage mindestens einer der mehreren von zugewiesen wird Konstrukte;
- Ein Abfrageschritt, in dem der Interrogator Fragensignale an einen oder mehrere Befragte der Teilmenge sendet;
- Ein Antwortschritt, in dem der Interrogator Antwortsignale von den Befragten empfängt, die auf die Fragensignale des Interrogators reagieren (die Antwortrate kann z. B. 60% betragen). und
- Ein Vollständigkeitsbewertungsschritt, bei dem der Interrogator mindestens einem Konstrukt in Bezug auf mindestens eine Population einen Vollständigkeitswert zuweist, der unter Verwendung von Informationen aus Antwortsignalen erhalten wird, die der Interrogator zuvor in derselben Umfrage von Befragten des erhalten hat jeweilige Population.

Um diese Schritte auszuführen, umfasst der Interrogator 200 fünf Hauptkomponenten, eine Vermessungs-Engine 300, eine Bewertungs-Engine 400, eine Repräsentativitäts-Engine 500, eine Vollständigkeits-Engine 600 und eine dynamische Verzweigungs-Engine 700. In diesem Zusammenhang ist eine „Engine“ eine logische Gerät in dem Sinne, dass die Engines nicht als separate Hardware implementiert werden müssen. Vielmehr können beispielsweise mehrere oder alle als Teile eines Computerprogramms implementiert werden, die auf derselben Hardware ausgeführt werden.
Vermessungs-Engine und Bewertungs-Engine
Die Vermessungs-Engine 300 führt die Abfrage- und Antwortschritte aus, dh sie sendet an die zuvor im Befragtenauswahlschritt ausgewählten Befragten die Fragensignale 210, die die zuvor im Fragenauswahlschritt ausgewählten Fragen enthalten. Die VermessungsEngine empfängt auch die Antwortsignale 220. Sie leitet die darin enthaltenen Antworten 310 zusammen mit einer Angabe der entsprechenden Frage an die Bewertungs-Engine 400 weiter. Die Bewertungs-Engine 400 bestimmt für jede Antwort und in Bezug auf jedes Konstrukt, das die Frage adressiert Wert 410 das Konstrukt gemäß der Antwort 310 und eine Konfidenzbewertung 420 dieses Wertes. Im obigen Beispiel die Frage zu „Wie war die Temperatur am Mittag?“ Der Befragte gibt Temperaturen von drei verschiedenen Sensoren an, dann ist der Wert der Durchschnitt dieser drei Temperaturen und der Konfidenzwert ist die inverse relative Standardabweichung, die von den drei Temperaturen erhalten wird. Das Vertrauen kann auch auf der Genauigkeit (gemessene Temperatur bis zu ganzen Grad Celsius) oder der Differenz zur letzten Kalibrierung des Sensors beruhen.
Außerdem führt es zu Beginn des ersten Twisits einen Einladungsschritt durch, in dem Opt- In-Einladungssignale (nicht gezeigt) an mindestens einen Teil der Population potenzieller Befragter (z. B. die gesamte Population, die nicht geantwortet hat) gesendet werden die letzten 6 Monate) und fragten sie, ob sie für die Umfrage verfügbar sind. Dies dient dazu, die Rücklaufquote der Umfrage zu verbessern.
Repräsentativitäts-Engine
Der Auswahlschritt für den Befragten wird in der Repräsentativitäts-Engine 500 durchgeführt. Zu diesem Zweck führt die Repräsentativitäts-Engine eine Befragten- Datenbank 510, die für jeden potenziellen Befragten die folgenden Informationen enthält:

i. Kontaktinformationen 520, die es dem Interrogator ermöglichen, den Befragten zum Austausch von Frage- und Antwortsignalen zu kontaktieren;
ii. Zellinformationen, die die Zelle (n) angeben, zu denen die potenziellen Befragten gehören;
iii. Ebeneninformationen, die die Werte angeben, denen der potenzielle Befragte in Bezug auf verschiedene Ebenen zugeordnet ist;
iv. Abfrageinformationen 530, aus denen hervorgeht, ob der potenzielle Befragte in der vorliegenden Umfrage bereits eine Frage erhalten hat und ob eine Antwort eingegangen ist;
v. Laden Sie Informationen 540, aus denen hervorgeht, wie viel Prozent der Zeit des potenziellen Befragten bereits in der vorliegenden Umfrage und in früheren Umfragen im letzten Jahr verwendet wurden.
vi. Ein Belastungsschwellenwert, der für alle Befragten identisch sein oder zwischen den Befragten variieren kann; und
vii. Ein Rang des Befragten.

In diesem speziellen Beispiel gibt es zwei Ebenen: „Distrikt“ und „Datenquelle“. Der Wert eines Level-Viertels gibt an, aus welchem Stadtviertel der Befragte berichtet, und der Wert einer Level-Datenquelle gibt an, ob der Befragte seine Daten von einem elektrischen Sensor oder von einem menschlichen Beobachter erhält. Die Abfragelast ist die Zeit, die der Befragte in Betrieb ist, um die Fragen zu prüfen und zu beantworten. Während jedes Twisits werden jedes Mal, wenn ein neues Antwortsignal von der Vermessungs-Engine 300 empfangen wird, die Abfrage 530 und die Lastinformationen 540 aktualisiert.
Im Folgenden wird der Betrieb des Repräsentativitäts-Engine während einer Vermessung erläutert. In der ersten Phase der Umfrage wählt die Repräsentativitäts-Engine 500 eine Untergruppe von Befragten aus beiden Populationsgruppen so aus, dass die Befragten für jede der beiden Populationsgruppen repräsentativ sind. Darüber hinaus stellt die Repräsentativitäts-Engine 500 sicher, dass für jede Population die Teilmenge ausreichend vielfältig ist. Zu diesem Zweck werden die Befragten nach ihrem Beitrag zur Repräsentativität und Vielfalt in Bezug auf ihre jeweilige Population eingestuft. Als Beitrag zur Repräsentativität eines Befragten, der eingestuft werden soll, wird die Differenz zwischen Cramers V der bereits eingestuften Gruppe von Befragten und Cramers V einer
potenziellen Gruppe von Befragten, die auch einen zu bewertenden Befragten umfasst, verwendet. Die Werte in Cramers V sind der relative Anteil der Werte der verschiedenen Ebenen. Als Beitrag zur Vielfalt wird die Seltenheit der Kombination von Ebenen verwendet, wobei der Befragte mit der selteneren Kombination von Ebenen den größeren Beitrag zur Vielfalt leistet. Die Seltenheit ist die Umkehrung des Anteils potenzieller Befragter, die die gleichen Kombinationen von Ebenen haben. Die Repräsentativitäts-Engine stellt daher sicher, dass die ausgewählte Teilmenge sowohl in Größe (Anzahl) als auch in Struktur repräsentativ ist.
Die Repräsentativitäts-Engine 500 beginnt mit der Auswahl aller Befragten, die auf die von der Umfrage-Engine 300 gesendete Opt-In-Einladung positiv geantwortet haben, in die Teilmenge. Dies können beispielsweise 300 Befragte sein. Dann werden die verbleibenden potenziellen Befragten eingestuft. Dafür gibt es dem Befragten mit der seltensten Kombination von Ebenen den höchsten Rang und weist dann die nachfolgenden Ränge unter Berücksichtigung einer Kombination von Beiträgen zur Repräsentativität und zur Vielfalt zu. Anschließend wird bewertet, welcher der verbleibenden potenziellen Befragten den größten Beitrag zur Repräsentativität und Vielfalt leistet. Dies wird der nächstniedrigere Rang gegeben. Der Prozess wird fortgesetzt, bis die Repräsentativität, gemessen an Cramers V, eine vorbestimmte erste Repräsentativitätsschwelle erreicht hat. Alle bis zu diesem Punkt eingestuften Befragten werden im ersten Twisit befragt.
In der nächsten Runde werden ein oder mehrere weitere potenzielle Befragte (z. B. 200) ausgewählt. Zu diesem Zweck werden die potenziellen Befragten erneut eingestuft, es wird jedoch anhand der Abfrageinformationen sichergestellt, dass nur

i. Befragte, die auf das Fragensignal nicht mit einem Antwortsignal geantwortet haben; und
ii. Befragte, deren Abfragelast innerhalb der Vergangenheit 30 Minuten nicht überschreitet Jahr

500

310

500

310

500

200

Durch Auswahl der Befragten in der zweiten und den folgenden Abschnitten, basierend darauf, welche Befragten in dieser Umfrage bisher Fragen beantwortet haben, kann die Repräsentativitäts-Engine 500 ein höheres Maß an Repräsentativität mit einer kleineren Gruppe von Befragten sicherstellen. Dies spart Kommunikations-, Computer- und Datenbankressourcen sowohl auf der Seite des Interrogators als auch auf der Seite der Befragten.
Vollständ igkeits-Engi ne
Der Vollständigkeitsbewertungsschritt wird von der Vollständigkeits-Engine 600 durchgeführt. Die Vollständigkeits-Engine 600 versucht, die Anzahl der Fragen, die in Bezug auf jedes Primärkonstrukt gestellt werden, niedrig zu halten. Zu diesem Zweck führt die Vollständigkeits-Engine 600 eine Vollständigkeitsdatenbank 610 von Primärkonstrukten, die in Bezug auf jede Population für jedes Primärkonstrukt die folgenden Informationen umfasst:

i. Einen Schätzwert des Konstrukts; und
ii. Eine Vollständigkeitsbewertung des Konstrukts.

Es enthält auch

iii. Eine Vollständigkeitsschwelle, die für alle Konstrukte identisch sein kann oder zwischen Konstrukten und / oder zwischen Populationen variieren kann.

In diesem speziellen Beispiel oben gibt es zwei Primärkonstrukte, eines bezüglich „Temperatur“ und das andere bezüglich „Niederschlag“. Offensichtlich können die Werte und die Vollständigkeitsbewertungen für jedes der Konstrukte von Population zu Population stark variieren. Daher werden sie für jede Population, die Zürcher Zelle und die Berner Zelle, getrennt gesammelt und aufbewahrt. Während jedes Twisits werden jedes Mal, wenn ein neues Antwortsignal von der Vermessungs-Engine empfangen wird, die Schätzwerte und die Vollständigkeitsbewertungen basierend auf den 400 Ergebnissen der BewertungsEngine 410, 420 aktualisiert.
Im Folgenden wird der Betrieb der Vollständigkeits-Engine 600 während einer Vermessung erläutert. Um den Schätzwert zu erhalten, berücksichtigt die Vollständigkeits-Engine alle Werte 410, 420, die bisher von der Bewertungs-Engine 400 erhalten wurden, in Bezug auf das Konstrukt und die Population, die die Schätzung betrifft. Die Werte werden mit ihren jeweiligen Konfidenzwerten gewogen, wie sie von der Bewertungs-Engine 420 erhalten wurden. Der Vollständigkeitswert ist die invertierte Standardabweichung des Schätzwerts.
Die Vollständigkeits-Engine 600 vergleicht die so erhaltenen Vollständigkeitsbewertungen mit den jeweiligen Vollständigkeitsschwellen. Alternativ kann der Vollständigkeitswert normalisiert und ein gemeinsamer Schwellenwert verwendet werden. Wenn die Vollständigkeitsbewertung die Vollständigkeitsschwelle überschreitet, rät die Vollständigkeits-Engine 620 der dynamischen Verzweigungs-Engine 700 (nachstehend erörtert), nicht länger zu versuchen, Werte von den Empfängern in Bezug auf dieses Primärkonstrukt zu sammeln. Vielmehr werden nur Fragen gestellt, die mindestens ein Primärkonstrukt betreffen, dessen Vollständigkeitsbewertung die Konfidenzschwelle noch nicht überschritten hat. Die Konfidenzschwelle kann z. B. so eingestellt werden, dass sie 1% der durchschnittlichen Punktzahl entspricht.
Indem die Vollständigkeit der Primärkonstrukte überwacht wird und bewirkt wird, dass nach Überschreiten einer Vollständigkeitsbewertung Fragen auf diejenigen (zumindest auch) beschränkt werden, die andere Konstrukte betreffen, stellt die Vollständigkeits-Engine 600 sicher, dass unnötige Fragen vermieden werden. Dies spart Kommunikations-, Computer- und Datenbankressourcen sowohl auf der Seite des Interrogators als auch auf der Seite der Befragten.
Dynamische Verzweigungs-Engine
Der Fragenauswahlschritt wird von der dynamischen Verzweigungs-Engine 700 ausgeführt. Die dynamische Verzweigungs-Engine 700 versucht sicherzustellen, dass für jeden Befragten die relevantesten Fragen ausgewählt werden. Zu diesem Zweck verwaltet die dynamische Verzweigungs-Engine 700 drei Datenbanken, eine dynamische Verzweigungsdatenbank 710, eine Konstruktdatenbank 720 und eine Fragendatenbank 730.
Die dynamische Verzweigungsdatenbank 710 umfasst für alle Konstrukte, primäre und nicht primäre, in Bezug auf jeden Befragten die folgenden Informationen:

i. Ein Wert des Konstrukts;
ii. Eine Konfidenzbewertung des Wertes; und
iii. Angabe, welche Fragen dem Befragten bereits gestellt wurden

Es umfasst auch

iv. Eine Konfidenzschwelle, die für alle Konstrukte identisch sein oder zwischen den Konstrukten variieren kann.

Während jedes Twisits werden jedes Mal, wenn ein neues Antwortsignal von der Vermessungs-Engine empfangen wird, die Werte und die Konfidenzwerte basierend auf den Ergebnissen 410, 420 der Vermessungs-Engine aktualisiert. Auch während jedes Twisits wird jedes Mal, wenn ein Fragensignal 210 an gesendet wurde ein Befragter, dessen Angabe 740, von der dem Befragten bereits Fragen gestellt wurden, aktualisiert wird.
Die Konstruktdatenbank 720 umfasst für alle Konstrukte die Informationen:

i. Angabe, ob das Konstrukt ein Primärkonstrukt ist oder nicht; und
ii. Angabe, welchem anderen Konstrukt, falls vorhanden, das Konstrukt untergeordnet ist

Im obigen Beispiel hat jedes Primärkonstrukt zwei untergeordnete Konstrukte. Das Primärkonstrukt „Temperatur“ hat die scheinbare Temperatur und die Schattentemperatur als untergeordnete Konstrukte, und das Primärkonstrukt „Niederschlag“ hat die Dauer und die Menge des Niederschlags als untergeordnete Konstrukte.
Die Fragendatenbank 730 enthält für alle Fragen folgende Informationen:

i. Die Frage; und
ii. Die Konstrukte, denen die Frage zugeordnet ist.

Darüber hinaus umfasst es für jede Frage und für jedes Konstrukt die Frage

iii. Eine Relevanzbewertung.

410

Im Folgenden wird der Betrieb der dynamischen Verzweigungs-Engine 700 während einer Vermessung erläutert. In der ersten Phase weist die dynamische Verzweigungs-Engine 700 die primären Konstrukte den Befragten des ersten Satzes von Befragten zu, die von den Repräsentativitäts-Enginen zufällig ausgewählt wurden, während sichergestellt wird, dass jedem primären Konstrukt ungefähr die gleiche Anzahl von Befragten zugewiesen wird. Dann wählt er für jeden Befragten eine Frage bezüglich des zugewiesenen Konstrukts oder eines Konstrukts aus, das diesem Konstrukt zufällig untergeordnet ist, wird jedoch basierend auf der Relevanzbewertung der Frage in Bezug auf das Konstrukt und seine untergeordneten Konstrukte so gewichtet, dass Fragen mit einer höheren Relevanzbewertung stärker ausgewählt werden häufig als Fragen mit einer niedrigeren Relevanz. Die Umfrage-Engine 300 wird 750 angewiesen, diese Fragen an die Befragten zu senden, und wenn Antworten eingehen, werden die dynamische Verzweigungsdatenbank 710, die Vollständigkeitsdatenbank 610 und die Repräsentativitätsdatenbank 510 aktualisiert.
Basierend auf den Konfidenzwerten wählt die dynamische Verzweigungs-Engine 700 Folgefragen für den / die Befragten aus, solange nicht erwartet werden darf, dass die in der Repräsentativitätsdatenbank 510 aufgezeichneten Lastinformationen den Lastschwellenwert mit dem überschreiten nächste Frage oder es gibt einen anderen Grund für das Abbrechen der Abfrage des Befragten, wie zum Beispiel, dass die dynamische Verzweigungs-Engine 700 beobachtet, dass der Befragte im Allgemeinen unzuverlässig ist. Wenn das primäre Konstrukt oder mindestens eines der untergeordneten Konstrukte den Konfidenzschwellenwert noch nicht überschritten hat, wird das primäre Konstrukt ausgenutzt, dh Fragen, die diesen Konstrukten zugewiesen sind, primär und / oder untergeordnet, werden wiederum basierend auf ihren jeweiligen Relevanzwerten ausgewählt wie oben erklärt.
Wenn jedoch das Primärkonstrukt und alle seine untergeordneten Konstrukte die Konfidenzschwelle überschritten haben, untersucht die dynamische Verzweigungs-Engine 700 ein neues Primärkonstrukt. Zu diesem Zweck wählt die dynamische VerzweigungsEngine aus allen Konstrukten eines aus, das die niedrigste Vollständigkeitsbewertung aufweist. Die dynamische Verzweigungs-Engine 700 kann auch aus anderen Gründen ein neues Primärkonstrukt untersuchen, anstatt das vorliegende Primärkonstrukt weiter auszunutzen, beispielsweise wenn die Antwort keine zuverlässigen Antworten in Bezug auf dieses Konstrukt liefert. In Bezug auf das neue Konstrukt wählt die dynamische Verzweigungs-Engine 700 auf die gleiche Weise wie zuvor erläutert eine Frage bezüglich des neu zugewiesenen Konstrukts oder eines Konstrukts aus, das diesem Konstrukt zufällig untergeordnet ist, wird jedoch basierend auf der Relevanzbewertung der Frage in Bezug auf das Konstrukt und gewichtet seine untergeordneten Konstrukte so, dass Fragen mit einer höheren Relevanzbewertung häufiger ausgewählt werden als Fragen mit einer niedrigeren Relevanzbewertung. Die Umfrage-Engine 300 wird 750 angewiesen, diese Fragen an die Befragten zu senden, und wenn Antworten eingehen, werden die dynamische Verzweigungsdatenbank 710, die Vollständigkeitsdatenbank 610 und die Repräsentativitätsdatenbank 510 aktualisiert.
Sobald die Abfrage jedes Befragten des Twisits beendet ist, geht der Prozess zum nächsten Twisit über, und die dynamische Verzweigungs-Engine 700 fährt mit dem neuen Satz von Befragten fort, der von der Repräsentativitäts-Engine 510 ausgewählt wurde. Die dynamische Verzweigungs-Engine 700 weist dem Befragten zu (s) das Konstrukt oder die Konstrukte mit der niedrigsten Vollständigkeitsbewertung. Auf die gleiche Weise wie zuvor erläutert, wählt die dynamische Verzweigungs-Engine 700 eine Frage bezüglich des neu zugewiesenen Konstrukts oder eines diesem Konstrukt untergeordneten Konstrukts zufällig aus, wird jedoch basierend auf der Relevanzbewertung der Fragen in Bezug auf das Konstrukt und seine untergeordneten Konstrukte so gewichtet, dass Fragen gestellt werden mit einer höheren Relevanzbewertung werden häufiger ausgewählt als Fragen mit einer niedrigeren Relevanzbewertung. Die Vermessungs-Engine 300 wird 740 angewiesen, diese Fragen an die Befragten zu senden, und wenn Antwortsignale 220 eingehen, werden die dynamische Verzweigungsdatenbank 710, die Vollständigkeitsdatenbank 610 und die Repräsentativitätsdatenbank 510 aktualisiert.
Die dynamische Verzweigungs-Engine 700 beendet die Umfrage, wenn alle Vollständigkeitsbewertungen über der Vollständigkeitsschwelle liegen und die Repräsentativität des Satzes von Befragten, von denen Antworten erhalten wurden, eine zweite Repräsentativitätsschwelle überschreitet, die normalerweise höher als die erste Repräsentativitätsschwelle ist. Es kann andere Bedingungen geben, unter denen die Umfrage ebenfalls beendet wird, z. B. wenn eine maximale Anzahl von Befragten befragt wurde, z. B. 25% der Gesamtzahl potenzieller Befragter.
Detaillierte Beschreibung einer zweiten Ausführungsform der Erfindung
Diese Ausführungsform der Erfindung ist speziell auf einen Anwendungsfall gerichtet, in dem Antworten, vorzugsweise Antworten gemäß der vorliegenden Erfindung, von Mitgliedern großer Organisationen, wie beispielsweise Mitarbeitern eines Unternehmens, z. B. über eine Online-Umfrage oder einen Online-Fragebogen gesammelt werden. Dies kann verwendet werden, um eine Leistungsanalyse oder eine Führungsanalyse des Unternehmens durchzuführen und / oder um einen Grad der Mitarbeiterzufriedenheit zu bestimmen.
Bestehende Lösungen weisen mehrere Nachteile auf. Um beispielsweise Merkmale von Interessen, vorzugsweise Konstrukte gemäß der vorliegenden Erfindung, in einer hinreichend genauen und zuverlässigen Weise zu bewerten, muss möglicherweise eine große Anzahl von Antworten von jedem Benutzer bereitgestellt werden. Um beispielsweise statistisch signifikante Ergebnisse zu erhalten, müssen möglicherweise viele ähnliche und / oder verwandte Fragen an denselben Benutzer gestellt werden, die mehr oder weniger dasselbe Thema betreffen. Dies kann als langwierig und ineffizient empfunden werden. Dies erhöht jedoch den Zeitaufwand für die Durchführung von Online-Umfragen. Dies erhöht auch die Gesamtmenge an Daten, die zwischen an der Umfrage beteiligten Computergeräten ausgetauscht werden müssen. Letzteres kann dazu führen, dass jeweils große Kommunikationsbandbreiten und Kommunikationsvolumina benötigt werden, was insbesondere für mobile Computergeräte wie Smartphones unerwünscht ist. Ebenso erhöht dies die Anzahl von Daten, die analysiert und / oder berechnet werden müssen, wodurch jeweils große Rechenfähigkeiten, Datenspeichermittel und / oder jeweils große Rechenzeiten erforderlich sind.
Eine Aufgabe dieser Ausführungsform der Erfindung ist es, bestehende Wege zur Verwendung von Computernetzwerken zum Sammeln von Antworten von Benutzern (z. B. über Online-Umfragen) zu verbessern, insbesondere im Hinblick auf die Verringerung des Zeit- und Arbeitsaufwands für das Durchführen des Sammelns und / oder Sammelns von Antworten (dh Daten) oder zum Analysieren der empfangenen Antworten (dh Daten). Im Allgemeinen können die hierin offenbarten Lösungen darauf gerichtet sein, einen der oben genannten Nachteile zu lindern.
Gemäß einer Grundidee dieser Ausführungsform der Erfindung kann, ähnlich wie bei bestehenden Lösungen, ein anfänglicher Satz von vorbestimmten „Antwortaufgaben“, vorzugsweise Fragen gemäß der vorliegenden Erfindung, von Benutzern empfangen werden. Vorzugsweise sind die Benutzer Befragte oder werden durch Befragte gemäß der Erfindung mit den Fragen versorgt. Anstatt dass der Benutzer alle diese Antwortaufgaben selbst bearbeiten muss, kann dieser anfängliche Satz von Antwortaufgaben angepasst und insbesondere reduziert werden. Dies reduziert sowohl die Belastung durch die Benutzer als auch aus einer allgemeinen rechnerischen Perspektive. Auf diese Weise kann ein angepasster Satz von Antwortaufgaben erzeugt werden. Im Allgemeinen können die Antwortaufgaben des anfänglichen Satzes als strukturierte Antwortaufgaben bezeichnet werden, da sie vorbestimmte Antwortoptionen umfassen können, wie dies aus Standard- Online-Umfragen bekannt ist. Wie unten diskutiert, können sie auch strukturierte (Antwort-) Daten erzeugen, die z. B. direkt ein gewünschtes verarbeitbares Format haben. Solche Antwortoptionen ermöglichen es dem Benutzer typischerweise, seine Antwort auf eine Antwortaufgabe bereitzustellen, indem er Auswahlen, Skalierungen, Gewichtungen durchführt, Zahlen oder Text eingibt oder ähnliche Eingaben eines erwarteten Typs und / oder aus einem erwarteten Bereich durchführt.
Gemäß der offenbarten Lösung kann jedoch als bevorzugte erste Antwortaufgabe eine freie Formulierungsantwortaufgabe an einen Benutzer (und vorzugsweise an eine Anzahl von Benutzern) ausgegeben werden. Diese Aufgabe kann im Gegensatz zu dem anfänglichen Satz von Antwortaufgaben frei von vorbestimmten Antwortoptionen sein (dh kann unstrukturiert sein und / oder unstrukturierte (Antwort-) Daten erzeugen, wie nachstehend erörtert, die typischerweise nicht verarbeitbare Rohdaten darstellen). Stattdessen kann die Antwortaufgabe zur freien Formulierung beantwortet oder anders ausgedrückt durch eine frei formulierte Eingabe des Benutzers (z. B. Sprache oder Text oder ein beobachtetes Verhalten, z. B. während der Interaktion mit einem Augmented Reality (AR) -System) abgeschlossen werden. Ein Beispiel wäre, den Benutzer nach seiner Meinung, seinem Verständnis oder einem allgemeinen Kommentar zu einem bestimmten Thema zu fragen. Der Benutzer kann dann zB eine Antwort schreiben oder sagen, und diese kann vom Computernetzwerk aufgezeichnet und / oder gesammelt werden.
Anschließend kann beispielsweise durch eine softwarebasierte Computeranalyse die frei formulierte Antwort des Benutzers analysiert werden. Insbesondere können Informationen, die zur Bewertung mindestens eines Konstrukts in Form eines „interessierenden Merkmals“ (vorzugsweise eines, das auch durch den anfänglichen Satz von Antwortaufgaben bewertet werden soll) verwendet werden können, aus der frei formulierten Antwort identifiziert werden. Wie nachstehend detailliert beschrieben wird, kann dies durch jeweils konfigurierte Computeralgorithmen oder Softwaremodule erfolgen. Beispielsweise kann identifiziert werden, ob ein Benutzer positiv oder negativ über ein bestimmtes Merkmal von Interesse spricht und / oder welche Bedeutung der Benutzer bestimmten Merkmalen zuweist. Solche Informationen können in eine Bewertungsbewertung für das Merkmal übersetzt werden.
Somit kann die Analyse der frei formulierten Antwort Schritte zum Identifizieren von Merkmalen umfassen, die identifizieren, welche Merkmale von der frei formulierten Antwort betroffen sind und / oder wie diese Eigenschaft vom Benutzer bewertet wird (positiv, negativ, wichtig, nicht wichtig usw.). Die frei formulierte Antwort kann unstrukturierte Daten darstellen. Gemäß Standarddefinitionen entsprechen solche unstrukturierten Daten nicht einer bestimmten Struktur oder einem bestimmten Format (z. B. gewünschten Arrays oder Matrizen), die eine Analyse auf gewünschte Weise ermöglichen würden (z. B. durch einen bestimmten Algorithmus oder ein bestimmtes Computermodell). Sie können somit Rohdaten darstellen, die nicht verarbeitet werden können, z. B. für einen Standardbewertungsalgorithmus einer Online-Umfrage, der nur für die Auswahl von Auswahlen aus vorgegebenen Antwortaufgaben konfiguriert ist. Dementsprechend kann die vorliegende Lösung spezielle Analysewerkzeuge (z. B. Computermodelle) zum Extrahieren von Bewertungsinformationen für solche unstrukturierten Daten enthalten. Im Gegenteil, Bewertungsinformationen, die über die vorbestimmten Antwortaufgaben bestimmt werden, können strukturiert sein, da sie bereits einem gewünschten Format oder einer gewünschten Struktur entsprechen (z. B. in Form von Arrays, die ausgewählte vorbestimmte Antwortoptionen umfassen).
Zusammenfassend kann die frei formulierte Antwort analysiert werden, um festzustellen, ob der Benutzer bereits mindestens einige oder sogar ausreichende Bewertungsinformationen für mindestens ein Merkmal bereitgestellt hat, das auch durch den anfänglichen Satz von Antwortaufgaben bewertet werden sollte. Wenn dies der Fall ist, kann der anfängliche Satz von Antwortaufgaben entsprechend angepasst werden und / oder ein allgemein neuer angepasster Satz von Antwortaufgaben kann erzeugt werden. Wiederum kann dieser angepasste Satz von Antwortaufgaben eine vorbestimmte Antwortaufgabe mit vorbestimmten Antwortoptionen enthalten, aber wie oben erwähnt, kann sich die Anzahl der Antwortaufgaben und / oder Antwortoptionen von dem anfänglichen Satz unterscheiden und insbesondere verringert sein.
Auf diese Weise kann die Anzahl der vorgegebenen Antwortaufgaben, die der Benutzer in einer nachfolgenden Phase (dh bei der Beantwortung des angepassten Satzes) beantworten muss, verringert werden. Dies bedeutet wiederum auch, dass die Menge der erzeugten Daten, die gespeichert, verarbeitet oder kommuniziert werden müssen, zumindest in den nachfolgenden Stufen verringert werden kann. Dies ermöglicht einen schnelleren und effizienteren Betrieb des gesamten Computernetzwerks, z. B. da die Online-Umfrage das Computernetzwerk im Allgemeinen für einen kürzeren Zeitraum belegt und / oder weniger Ressourcen davon verbraucht.
Dies kann insbesondere dann zutreffen, wenn gemäß einer Ausführungsform der Erfindung Analysewerkzeuge für die frei formulierte Antwort (z. B. Modelle und / oder Algorithmen) und / oder Anpassungswerkzeuge für den anfänglichen Satz von Antwortaufgaben direkt auf Benutzergeräten gespeichert sind. Auf diese Weise muss die frei formulierte Antwort eines Benutzers nicht an ein Fernanalysetool übermittelt werden (ähnlich wie keine Analyseergebnisse von diesem Tool zurückgemeldet werden müssen), was die Auswirkungen der Lösung auf das gesamte Computernetzwerk und die Ressourcennutzung weiter einschränkt.
Insbesondere wird ein Verfahren zum Sammeln von Bewertungsinformationen von einem Benutzer mit einem Computernetzwerk vorgeschlagen, wobei das Computernetzwerk die folgenden Schritte ausführt, dh die folgenden Verfahrensschritte ausführt:

- Empfangen eines anfänglichen Satzes von vorbestimmten Antwortaufgaben, wobei jede Antwortaufgabe eine Anzahl von vorbestimmten (z. B. vom Benutzer auswählbaren) Antwortoptionen (z. B. in Form einer vorbestimmten Eingabeoption) enthält, wobei basierend auf den von einem Benutzer ausgewählten Antwortoptionen, Bewertungsinformationen zur Bewertung mindestens eines vorbestimmten Merkmals werden bestimmt (oder anders ausgedrückt gesammelt);
- Ausgabe einer Antwortaufgabe zur freien Formulierung an den Benutzer über ein Computergerät des Computernetzwerks, mit der eine zumindest teilweise frei formulierte Antwort vom Benutzer empfangen werden kann;
- Identifizieren (z. B. durch eine computergestützte Analyse) über eine Computervorrichtung des Computernetzwerks Bewertungsinformationen basierend auf der frei formulierten Antwort, wobei die Bewertungsinformationen zum Bewerten der mindestens einen vorbestimmten Eigenschaft verwendet werden können;
- (vorzugsweise automatisch) Erzeugen eines angepassten Satzes vorbestimmter Antwortaufgaben basierend auf den identifizierten Bewertungsinformationen über ein Computergerät des Computernetzwerks; und vorzugsweise
- Ausgabe des angepassten Satzes vorgegebener Antwortaufgaben an den Benutzer.

Vorzugsweise wird eine große Anzahl von Benutzern behandelt, z. B. durch Ausgeben einer Antwortaufgabe zur freien Formulierung und / oder des angepassten Satzes auf mehrere hundert Benutzer. Die Analyse kann sich dann gleichermaßen auf alle frei formulierten Antworten konzentrieren, und der angepasste Satz kann basierend auf den identifizierten Bewertungsinformationen (insbesondere Bewertungsbewertungen, vorzugsweise in Form von Werten von Konstrukten) erzeugt werden, die von allen Benutzern erhalten wurden.
Wenn im Folgenden auf einen Benutzer Bezug genommen wird, versteht es sich, dass dies einer von mehreren Benutzern sein kann und dass jeder der weiteren Benutzer auf ähnliche Weise angesprochen und / oder mit ihm interagiert werden kann.
Wie nachstehend detailliert beschrieben wird, kann das Computernetzwerk und insbesondere mindestens eine Computervorrichtung davon (z. B. die nachstehend diskutierte zentrale Computervorrichtung) mindestens eine Verarbeitungseinheit (z. B. mit mindestens einem Mikroprozessor) und / oder mindestens einen Datenspeicher umfassen Einheit. Die Datenspeichereinheit kann Programmanweisungen wie Algorithmen oder Softwaremodule enthalten. Die Verarbeitungseinheit kann diese gespeicherten Programmanweisungen verwenden, um sie auszuführen, wodurch die Schritte und / oder Funktionen des hierin offenbarten Verfahrens ausgeführt werden. Dementsprechend kann das Verfahren implementiert werden, indem mindestens ein Softwareprogramm mit mindestens einer Verarbeitungseinheit des Computernetzwerks ausgeführt wird.
Das Computernetzwerk kann eine Anzahl verteilter Computervorrichtungen sein und / oder umfassen. Dementsprechend kann das Computernetzwerk eine Anzahl von Computervorrichtungen umfassen, die miteinander verbunden oder miteinander verbindbar sind, z. B. um Daten zwischen diesen auszutauschen. Diese Verbindung kann durch drahtgebundene oder drahtlose Kommunikationsverbindungen und insbesondere durch eine Internetverbindung hergestellt werden.
Zur Durchführung des Verfahrens können Benutzer über benutzergebundene Computergeräte des Computernetzwerks auf eine Online-Plattform zugreifen. Die OnlinePlattform kann von einem Server des Computernetzwerks bereitgestellt werden. In der Regel enthält die Online-Plattform Benutzerprofile für die Benutzer. Der Server kann optional mit einem zentralen Computergerät verbunden sein, das z. B. die Identifizierung / Analyse frei formulierter Antworten durchführt und / oder das nachstehend diskutierte Computermodell enthält. Zusätzlich oder alternativ kann das zentrale Computergerät den Satz von Antwortaufgaben anpassen. Der Server kann dann diesen angepassten Satz empfangen und an die Benutzer ausgeben.
Als allgemeiner Aspekt kann jede der hierin in Bezug auf ein zentrales Computergerät diskutierten Funktionen auch von benutzergebundenen Geräten bereitgestellt werden, mit denen ein Benutzer direkt interagiert. Dies betrifft insbesondere die Analyse der frei formulierten Antwort, z. B. aufgrund des Speicherns eines entsprechenden Modells, wie nachstehend erläutert, direkt auf benutzergebundenen Geräten. Ein solches Modell kann z. B. in einer Softwareanwendung enthalten sein, die auf die benutzergebundenen Geräte heruntergeladen wird. Das Analyseergebnis kann dann an das zentrale Computergerät übermittelt werden. Andererseits können die benutzergebundenen Geräte diese Analyseergebnisse direkt verwenden, um eine der hier diskutierten Anpassungen des anfänglichen Satzes von Antwortaufgaben durchzuführen. Vorzugsweise werden jedoch Antworten auf den angepassten Satz von Antwortaufgaben einem zentralen Computergerät bereitgestellt, das vorzugsweise Antworten, die von einer großen Anzahl von Benutzern empfangen wurden, zentral analysiert.
Durch die Verlagerung von Funktionen auf benutzergebundene Geräte kann die Ressourcennutzung des Computernetzwerks und insbesondere eines darin enthaltenen Kommunikationsnetzwerks reduziert werden. Zusätzlich oder alternativ kann die allgemeine Reaktionszeit und damit die Interaktionsgeschwindigkeit mit einem Benutzer aufgrund eines verringerten Risikos von Verzögerungen erhöht werden, die auftreten können, wenn häufig mit einem zentralen Computergerät hin und her kommuniziert wird.
Der Begriff „zentral“ in Bezug auf das zentrale Computergerät kann auf funktionale oder hierarchische Weise verstanden werden, jedoch nicht notwendigerweise auf geografische Weise. Wie oben erwähnt, kann das zentrale Computergerät als jeweilige zentralisierte Funktionen den anfänglichen Satz vorbestimmter Antwortaufgaben definieren oder weiterleiten und / oder den Antwortantrag mit freier Formulierung analysieren und / oder den Satz vorbestimmter Antwortaufgaben anpassen. Es kann die anfänglichen und / oder angepassten Antwortaufgaben an benutzergebundene Computergeräte oder an einen Server ausgeben, der mit den benutzergebundenen Computergeräten verbunden ist. Die benutzergebundenen Computergeräte können mobile Endgeräte, Smartphones, Tablets oder PCs sein. Benutzergebundene Computergeräte können Computergeräte sein, die unter direkter Benutzersteuerung stehen, z. B. durch direktes Empfangen von Eingaben vom Benutzer über dedizierte Eingabemittel.
Die zentrale Recheneinheit kann auch z. B. die frei formulierten Antworten von den benutzergebundenen Computergeräten empfangen. Die benutzergebundenen Computergeräte und das zentrale Computergerät können somit zumindest einen Teil des Computernetzwerks definieren. Sie können sich jedoch entfernt voneinander befinden.
Die benutzergebundenen Computergeräte können zur Durchführung der hierin offenbarten Lösung z. B. auf eine Webseite und / oder ein Softwareprogramm zugreifen oder eine Verbindung herstellen, die auf dem zentralen Computergerät und / oder einem Server ausgeführt wird, wodurch z. B. auf die diskutierte Online-Plattform zugegriffen wird hierin. Solche Zugriffe können den Datenaustausch zwischen den hier diskutierten Computergeräten ermöglichen.
Wenn eine Verbindung zu einem Kommunikationsnetzwerk und insbesondere zur Online-Plattform besteht, kann ein Computergerät als online bezeichnet werden und / oder ein Datenaustausch des Computergeräts kann als online ablaufend bezeichnet werden. Die Kommunikationsverbindungen können Teil eines Kommunikationsnetzwerks sein. Sie können ein WLAN-Kommunikationsnetz sein oder umfassen. Im Allgemeinen kann das Kommunikationsnetzwerk internetbasiert sein und / oder eine Kommunikation zwischen mindestens den (benutzergebundenen) Computergeräten und einem zentralen Computergerät über das Internet ermöglichen.
Das zentrale Computergerät kann sich entfernt von der Organisation befinden und z. B. einem Dienstanbieter wie einer Beratungsfirma zugeordnet sein, der mit dem Sammeln der Bewertungsinformationen beauftragt wurde.
Die Antwortaufgaben des anfänglichen Satzes können vorbestimmt sein, indem sie theoretisch einem Benutzer vollständig (dh als vollständiger Satz) bereitgestellt werden sollten und / oder indem ihr Inhalt und / oder ihre Antwortoptionen vorbestimmt sind. Die Antwortaufgaben können Datensätze sein oder Teil eines Datensatzes sein. Eine Antwortaufgabe kann auch als Feedback-Aufgabe bezeichnet werden, die einen Benutzer auffordert, Feedback zu geben.
Beispielsweise kann jede Antwortaufgabe Textinformationen (z. B. Textdaten) umfassen, die eine Aufgabe formulieren, um den Benutzer aufzufordern, eine Antwort bereitzustellen. Beispielsweise können die Textinformationen dem Benutzer eine bestimmte Frage stellen und / oder den Benutzer auffordern, ein Feedback zu einem bestimmten Thema zu geben. Die Antwort kann dann vom Benutzer bereitgestellt werden, der eine der vorbestimmten (dh verfügbaren und vorangestellten) Antwortoptionen auswählt.
Dementsprechend können die Antwortoptionen auswählbare Antwortoptionen sein, wobei die Auswahl z. B. basierend auf einer Benutzereingabe durchgeführt wird. Beispielsweise kann jeder Antwortaufgabe mindestens zwei Antwortoptionen zugeordnet sein, und eine Antwort auf die Antwortaufgabe kann vom Benutzer definiert werden, der eine dieser Antwortoptionen auswählt.
Die Antwortoptionen können wählbare Werte entlang einer Skala sein (z. B. eine numerische Skala). Jeder auswählbare Wert entlang der Skala kann eine einzelne Antwortoption darstellen. Ebenso können die Antwortoptionen Zahlen, Wörter oder Buchstaben sein, die beispielsweise in ein Textfeld und / oder über eine Tastatur eingegeben werden können. Ein eingegebener Text ist jedoch möglicherweise nur gültig und wird als Antwort akzeptiert, wenn er einer erwarteten (z. B. gültigen) Antwortoption entspricht, die in einer Datenbank gespeichert sein kann. Somit können die Gesamtantwortoptionen wiederum begrenzt und / oder vorstrukturiert oder vorbestimmt sein.
Zusätzlich oder alternativ können die Antwortoptionen Anweisungen oder Optionen sein, die der Benutzer als Antwort auf eine Antwortaufgabe auswählen kann. Zusätzlich oder alternativ können absolute Fragetypen enthalten sein, bei denen ein Befragter einen bestimmten Aspekt direkt bewertet, z. B. indem er ihn quantifiziert und / oder ein (wahrgenommenes) Niveau davon festlegt. Eine Antwortoption kann dann durch jede einstellbare Ebene oder jeden Wert dargestellt werden, der als Quantifizierung bereitgestellt werden kann.
Beispielsweise kann eine Antwortaufgabe einen Benutzer auffordern, eine von mehreren Optionen als die wichtigste auszuwählen, wobei jede Option durch einen Text gekennzeichnet und / oder als Text beschrieben wird. Die Antwortoptionen können dann durch jede Option und / oder Bezeichnung dargestellt werden, die ausgewählt werden kann (z. B. durch einen Mausklick).
Ein Vorteil der Bereitstellung vorgegebener Antwortoptionen besteht darin, dass die nachfolgende Datenanalyse vergleichsweise einfach sein kann. Beispielsweise kann jede Antwortoption direkt mit einem Wert einer Bewertungsbewertung verknüpft oder verknüpft sein. Somit kann bei der Auswahl die Bewertung direkt ohne umfangreiche Analysen oder Berechnungen abgeleitet werden.
Andererseits kann ein Nachteil darin gesehen werden, dass zur Bewertung jedes interessierenden Merkmals dedizierte Antwortaufgaben zusammen mit dedizierten Antwortoptionen für jedes jeweilige Merkmal bereitgestellt werden müssen. Wie bereits erwähnt, kann dies zu langen und datenintensiven Verfahren führen, insbesondere wenn versucht wird, statistisch signifikante Ergebnisse zu erzielen.
Im Gegenteil, die hier offenbarte Lösung kann dazu beitragen, die Anzahl dedizierter Antwortaufgaben und Antwortoptionen zu begrenzen, indem als vorzugsweise erste Maßnahme die frei formulierte Antwort verwendet wird, um diese Antwortaufgaben und / oder Antwortoptionen aufzuheben, die mit Merkmalen von Interessen verbunden sind für die die frei formulierte Antwort bereits ausreichende Informationen geliefert hat.
Eine Antwortaufgabe kann im Allgemeinen in Form von Audiosignalen als visuelle Signale / Informationen (z. B. über mindestens einen Computerbildschirm) und / oder als Textinformationen ausgegeben werden.
Das Merkmal von Interesse kann ein bestimmter Aspekt sein, beispielsweise ein Merkmal einer Organisation.
Beispielsweise kann das Merkmal eine vorbestimmte Denkweise oder ein vorbestimmtes Verhalten sein, das innerhalb der Organisation beobachtet werden kann. Die Bewertung kann sich auf die Wichtigkeit und / oder Präsenz dieser Denkweise oder dieses Verhaltens innerhalb der Organisation aus Sicht der Mitarbeiter beziehen. Daher kann das Verfahren darauf abzielen, Bewertungsergebnisse für jede Denkweise oder jedes Verhalten aus Sicht der Mitarbeiter zu generieren, um beispielsweise zu bestimmen, welche Denkweisen und Verhaltensweisen in der Organisation ausreichend vorhanden sind und welche weiter verbessert und gefördert werden sollten.
Das Identifizieren der Bewertungsinformationen kann das Analysieren der frei formulierten Antwort oder von daraus abgeleiteten Informationen umfassen. Beispielsweise kann die frei formulierte Antwort zunächst in Form einer Spracheingabe und / oder Audioaufzeichnung bereitgestellt werden, die dann in einen Text umgewandelt werden kann.
Sowohl die ursprüngliche Eingabe als auch eine Umwandlung (insbesondere in Text) können im Rahmen dieser Offenbarung als Beispiele für eine frei formulierte Antwort angesehen werden. Für diese Umwandlung können bekannte Sprach-Text-Algorithmen verwendet werden. Der Text kann dann analysiert werden, um die Bewertungsinformationen zu identifizieren.
Die Identifizierung kann das Identifizieren von Schlüsselwörtern, Schlüsselwortkombinationen und / oder Schlüsselphrasen innerhalb der frei formulierten Antwort umfassen. Zu diesem Zweck können Vergleiche der frei formulierten Antwort auf vorgespeicherte Informationen und insbesondere auf vorgespeicherte Schlüsselwörter, Schlüsselwortkombinationen oder Schlüsselphrasen, wie sie beispielsweise aus einer Datenbank stammen, durchgeführt werden. Diese vorgespeicherten Informationen können mit mindestens einem zu bewertenden Merkmal (oder insbesondere mit Bewertungswerten davon) verknüpft oder anders ausgedrückt verknüpft sein, wobei diese Zuordnung / Verknüpfung vorzugsweise auch vorgespeichert ist.
Zusätzlich oder alternativ kann ein Computermodell und insbesondere ein maschinelles Lernmodell verwendet werden, das vorzugsweise ein künstliches neuronales Netzwerk umfassen kann. Dies wird nachstehend ausführlicher erörtert. Dieses Computermodell kann eine Eingabe-Ausgabe-Beziehung modellieren, z. B. definieren, wie Inhalte der frei formulierten Antwort und / oder bestimmte Bedeutungen davon in Bewertungsbewertungen für interessierende Merkmale übersetzt werden.
Das Identifizieren von Bewertungsinformationen aus der frei formulierten Antwort kann auch das zumindest teilweise Analysieren eines semantischen Inhalts der frei formulierten Antwort und / oder eines Gesamtkontexts der Antwort umfassen, in dem z. B. eine identifizierte Bedeutung oder Schlüsselphrase erfasst wird. Dies kann wiederum basierend auf bekannten Sprach- / Textanalysealgorithmen und / oder mit Hilfe des Computermodells durchgeführt werden.
Insbesondere kann das oben erwähnte Computermodell und insbesondere das Modell des maschinellen Lernens zu diesem Zweck verwendet werden. Das Modell kann die frei formulierte Antwort oder zumindest Wörter oder Wortkombinationen davon als Eingabeparameter empfangen und kann z. B. eine identifizierte Bedeutung und / oder identifizierte Bewertungsinformationen ausgeben. In bekannter Weise kann es auch n- Gramm und / oder Ausgaben von sogenannten Word2Vec-Algorithmen als Eingabe empfangen. Im Allgemeinen kann das Modell Analyseergebnisse der frei formulierten Antwort (z. B. identifizierte Bedeutungen) erhalten, die durch bekannte Analysealgorithmen bestimmt wurden, und diese als Eingaben verwenden oder solche Algorithmen zur Berechnung der jeweiligen Eingaben enthalten. Das Modell kann (z. B. basierend auf verifizierten Trainingsdaten) definieren, wie solche Eingaben (dh spezifische Werte davon) mit Bewertungsinformationen verknüpft werden.
Beispielsweise kann das Modell beispielsweise bestimmt werden, ob ein identifiziertes Schlüsselwort in einem positiven oder negativen Kontext erwähnt wird. Dies kann verwendet werden, um das zugehörige Merkmal entsprechend zu bewerten, z. B. indem eine Bewertungsbewertung für das Merkmal auf einen jeweils hohen oder niedrigen Wert eingestellt wird.
In diesem Zusammenhang kann die Verwendung eines Computermodells und insbesondere eines maschinellen Lernmodells den weiteren Vorteil haben, dass ein identifizierter Kontext und / oder ein semantischer Inhalt präziser und insbesondere verfeinerter in jeweilige Bewertungsergebnisse umgewandelt werden als im Einzelfall -eine Keyword-Vergleiche mit einer vorgespeicherten Datenbank.
Beispielsweise kann das Computermodell in der Lage sein, komplexere oder komplexere oder nichtlineare (nichtlineare) Wechselbeziehungen zwischen Inhalten der frei formulierten Antwort und den Bewertungsergebnissen für Merkmale von Interessen zu modellieren und / oder zu definieren. Dies kann sich insbesondere auf die Bestimmung beziehen, ob ein bestimmtes Schlüsselwort oder eine Schlüsselwortkombination in der Antwort positiv oder negativ erwähnt wird. Beispielsweise kann das Modell auch berücksichtigen, dass das Vorhandensein weiterer anderer Schlüsselwörter in der Antwort einen positiven oder negativen Kontext anzeigen kann.
Für ein solches Computermodell müssen möglicherweise keine Vergleiche mit vorgespeicherten Informationen bereitgestellt werden, die die obigen Beziehungen genau beschreiben, aber das Modell kann (z. B. mathematische) Verknüpfungen, Regeln, Assoziationen oder dergleichen enthalten oder definieren, die z. B. während trainiert und definiert wurden ein maschineller Lernprozess. Selbst wenn Schlüsselwortkombinationen bereitgestellt werden, die dem Modell als solche unbekannt sind (dh nicht Teil eines Trainingsdatensatzes waren und nicht in vorgespeicherten Informationen enthalten sind), kann das Modell möglicherweise dennoch eine fällige Bewertungsbewertung berechnen zu den darin definierten allgemeinen Verknüpfungen und / oder mathematischen Beziehungen.
Im Allgemeinen müssen zur Bewertung eines Merkmals möglicherweise mehrere Antworten und / oder Auswahlen von Antwortoptionen von jedem Benutzer gesammelt werden, wobei jede Bewertungsinformationen zur Bewertung des Merkmals erzeugt. Das heißt, es können mehrere Antwortaufgaben bereitgestellt werden, die darauf gerichtet sind, dasselbe Merkmal zu bewerten.
Eine Bewertung und insbesondere eine Bewertungsinformation können eine Bewertung oder einen Wert darstellen und / oder enthalten, wie beispielsweise eine hier diskutierte Bewertungsbewertung. Die Gesamtmenge und / oder Anzahl von Bewertungsinformationen (z. B. die Gesamtmenge von Auswahlen) von einem Benutzer und vorzugsweise von einer Anzahl von Benutzern kann dann verwendet werden, um eine endgültige Gesamtbewertung dieses Merkmals zu bestimmen. Beispielsweise kann ein Mittelwert von Bewertungsergebnissen berechnet werden, die über verschiedene Antwortaufgaben und / oder Antwortoptionen von einem oder mehreren Benutzern gesammelt wurden. In diesem Zusammenhang können die Bewertungsergebnisse jeweils eine Bewertungsinformation darstellen und sind vorzugsweise darauf gerichtet, dasselbe Merkmal zu bewerten. Andererseits kann es zumindest auf einer einzelnen Benutzerebene gleichermaßen möglich sein, nur eine Bewertungsinformation und / oder eine Bewertungsbewertung für jedes zu bewertende Merkmal bereitzustellen. Eine Gesamtbewertungsbewertung für das Merkmal kann dann basierend auf den einzelnen Bewertungsinformationen berechnet werden, die von jedem von einer Anzahl von Benutzern abgeleitet sind.
Die Einstellung des Satzes vorbestimmter Antwortaufgaben kann zumindest teilweise automatisch, vorzugsweise jedoch vollautomatisch durchgeführt werden. Zu diesem Zweck kann eine Computervorrichtung des Computernetzwerks und insbesondere die zentrale Computervorrichtung die jeweilige Einstellung basierend auf dem Ergebnis der Identifizierung oder allgemeiner basierend auf dem Analyseergebnis der frei formulierten Antwort durchführen.
Zu diesem Zweck kann bestimmt werden, für welche Merkmale Bewertungsinformationen bereits über die frei formulierte Antwort gesammelt wurden. Anders ausgedrückt kann bestimmt werden, welches Merkmal mit den Bewertungsinformationen bereits zumindest teilweise, ausreichend und / oder vollständig bewertet wurde. Beispielsweise kann bestimmt werden, ob unter statistischen Gesichtspunkten ausreichende Bewertungsinformationen gesammelt wurden, um beispielsweise mit einer gewünschten statistischen Sicherheit die interessierende Eigenschaft zu bewerten.
Dann kann bestimmt werden, welche Antwortaufgaben (z. B. aus dem anfänglichen Satz von vorbestimmten Antwortaufgaben) und / oder welche Antwortoptionen der Antwortaufgaben darauf gerichtet sind, Bewertungsinformationen für denselben Zweck und insbesondere zum Bewerten derselben Eigenschaft zu sammeln. Wenn festgestellt wurde, dass ausreichende Bewertungsinformationen für das Merkmal gesammelt wurden (z. B. eine Mindestmenge an Bewertungswerten), können Antwortaufgaben und / oder Antwortoptionen, die in dem Anfangssatz enthalten sind, aus dem Anfangssatz entfernt werden und / oder auch nicht im eingestellten Satz enthalten.
Somit kann vermieden werden, dass mehr Bewertungsinformationen als tatsächlich benötigt gesammelt werden. Dies macht das Gesamtverfahren effizienter und begrenzt z. B. die Datenmenge, die innerhalb des Computernetzwerks übertragen und / oder verarbeitet werden soll.
Dementsprechend kann die vorzugsweise automatische Anpassung die oben diskutierte automatische Bestimmung entfernbarer oder anders ausgedrückt auslassender Antwortaufgaben und / oder Antwortoptionen umfassen.
Diese Einstellung kann auch das jeweilige automatische Entfernen oder Weglassen als solches umfassen.
Das Ausgeben des angepassten Satzes vorbestimmter Antwortaufgaben kann das Kommunizieren des angepassten Satzes von beispielsweise einem zentralen Computergerät an benutzergebundene Computergeräte des Computernetzwerks umfassen. Somit kann der angepasste Satz von Antwortaufgaben im Allgemeinen von mindestens einem Computergerät des Computernetzwerks ausgegeben werden. Wiederum kann dieser Satz über mindestens einen Computerbildschirm des benutzergebundenen Computergeräts ausgegeben werden. Der angepasste Satz vorbestimmter Antworten kann dann vom Benutzer ähnlich wie bei bekannten Online-Umfragen und / oder Online-Fragebögen beantwortet werden. Auf diese Weise können fehlende Bewertungsinformationen, die nicht aus der frei formulierten Antwort identifiziert wurden, zur Bewertung des einen oder der mehreren interessierenden Merkmale gesammelt werden.
Wie zuvor erwähnt, kann die frei formulierte Antwort eine Textantwort und / oder eine Sprachantwort und / oder ein Verhaltensmerkmal des Befragten sein, z. B. wenn die Sprach- oder Textantwort bereitgestellt wird oder wenn mit einem Augmented-Reality-Szenario interagiert wird. Das Computergerät kann somit ein Mikrofon und / oder ein Texteingabegerät und / oder eine Kamera enthalten. Es kann auch möglich sein, dass eine Spracheingabe direkt in einen Text umgewandelt wird, z. B. von einem benutzergebundenen Computergerät, und dass der Benutzer diesen Text dann vervollständigen oder korrigieren kann, der dann die frei formulierte Antwort bildet.
Dies ist ein Beispiel für eine kombinierte Text- und Sprachantwort, die die frei formulierte Antwort darstellen kann.
In einer Ausführungsform kann die frei formulierte Antwort zumindest teilweise auf einem beobachteten Verhalten basieren oder zusammen mit diesem bereitgestellt werden, z. B. in einer Augmented-Reality-Umgebung. Beispielsweise kann der Benutzer aufgefordert werden, eine Antwort zu geben, indem er sich auf ein Augmented-Reality-Szenario einlässt, das z. B. eine interessierende Situation simuliert (z. B. Interaktion mit einem Kunden, einem Vorgesetzten oder einem Team von Kollegen). Antworten können in Form von und / oder von Handlungen des Benutzers begleitet sein. Diese Aktionen können durch bestimmte Verhaltensmuster und / oder Verhaltensmerkmale gekennzeichnet sein, die von einem Computergerät des Computernetzwerks (z. B. mit Hilfe von Kameradaten) erkannt werden können. Solche Erfassungen können als zusätzliche Informationen dienen, die z. B. Sprachinformationen als Teil der frei formulierten Antwort begleiten, oder können zumindest einen Teil der Antwort als solche darstellen.
Sie können zB als Eingabeparameter eines Modells verwendet werden, um Bewertungsinformationen zu bestimmen.
Verhaltensmerkmale können z. B. ein Ort eines Benutzers, eine Körperhaltung, eine Geste oder eine Geschwindigkeit sein, z. B. das Reagieren auf bestimmte Ereignisse.
Darüber hinaus kann, wie zuvor erwähnt, die Antwortaufgabe zur freien Formulierung den Benutzer auffordern und / oder auffordern, Feedback zu einem bestimmten Thema zu geben. Dieses Thema kann das zu bewertende Merkmal sein.
Wie ebenfalls erwähnt, kann gemäß einer Ausführungsform das Erzeugen des angepassten Satzes das Anpassen des anfänglichen Satzes von vorbestimmten Antwortaufgaben umfassen, z. B. durch Reduzieren der Anzahl von Antwortaufgaben und / oder Antwortoptionen, In diesem Zusammenhang können diejenigen Antwortaufgaben und / oder Antwortoptionen entfernt werden, die bereitgestellt werden, um Bewertungsinformationen zu sammeln, die bereits basierend auf der frei formulierten Textantwort identifiziert wurden.
Zusätzlich oder alternativ kann das Anpassen des Satzes vorbestimmter Antwortaufgaben das Auswählen bestimmter Antwortaufgaben aus einem anfänglichen Satz und das Zusammenstellen (oder, anders ausgedrückt, Zusammensetzen) des angepassten Satzes vorbestimmter Antwortaufgaben basierend darauf umfassen. Im Allgemeinen ist es auch denkbar, den Satz vorbestimmter Antwortaufgaben anzupassen, indem eine Folge der Antwortaufgaben definiert wird, nach denen diese an den Benutzer ausgegeben werden. Antwortaufgaben, die darauf gerichtet sind, Bewertungsinformationen zu sammeln, die aus der frei formulierten Antwort abgeleitet wurden, können gemäß dieser Sequenz an früheren Positionen platziert werden. Dies kann die Qualität der empfangenen Ergebnisse verbessern, da Benutzer in frühen Phasen einer Online-Umfrage tendenziell fokussierter sind.
Im Allgemeinen sind neben den oben genannten eine der folgenden Anpassungen oder Reaktionen auf die frei formulierte Antwort und insbesondere auf ihren analysierten Inhalt (allein oder in beliebiger Kombination) denkbar: - Falls die frei formulierte Antwort Bewertungsinformationen für a enthält Merkmal von Interesse, Antwortaufgaben, die auf dieses Merkmal gerichtet sind, können weggelassen werden; - Falls die frei formulierte Antwort Informationen enthält, die sich nicht auf ein Merkmal von Interesse beziehen, kann dies beispielsweise einem Systemadministrator signalisiert werden. Solche Informationen können ein neues Thema darstellen. Falls ähnliche neue Themen in einer größeren Anzahl frei formulierter Antworten einer Anzahl von Benutzern auftreten, kann dies den Systemadministrator dazu veranlassen, vorgegebene Antwortaufgaben aufzunehmen, die speziell auf das Thema / die Eigenschaft gerichtet sind. Falls die frei formulierte Antwort Bewertungsinformationen für ein Merkmal von Interesse enthält, können Antwortaufgaben, die sich auf ähnliche Merkmale beziehen, zuerst in einer nachfolgenden Stufe ausgegeben werden. Anders ausgedrückt, es kann festgestellt werden, dass bestimmte Folgefragen gestellt werden müssen, die sich auf dasselbe oder ein verwandtes Thema / Merkmal konzentrieren.
In einer Entwicklung wird die Identifizierung von Bewertungsinformationen basierend auf der frei formulierten Antwort (z. B. die Analyse dieser frei formulierten Antwort) mit einem Computermodell durchgeführt, das basierend auf maschinellem Lernen erzeugt (z. B. trainiert) wurde. Im Allgemeinen kann zum Erzeugen des Computermodells eine überwachte maschinelle Lernaufgabe ausgeführt werden und / oder ein überwachtes Regressionsmodell kann als Computermodell entwickelt werden. Das Erzeugen des Modells kann Teil der vorliegenden Lösung sein und insbesondere einen dedizierten Methodenschritt darstellen. Aus dem Typ oder der Klasse und insbesondere dem Programmcode kann ein Fachmann bestimmen, ob ein solches Modell basierend auf maschinellem Lernen erzeugt wurde. Es ist zu beachten, dass das Erzeugen eines maschinellen Lernmodells das Trainieren des Modells basierend auf Trainingsdaten umfassen und / oder diesem entsprechen kann, bis eine gewünschte Eigenschaft davon (z. B. eine Vorhersagegenauigkeit) erreicht ist.
Im Allgemeinen kann das Modell computerimplementiert sein und kann daher hier als Computermodell bezeichnet werden. Es kann in einem Softwaremodul und / oder einem Algorithmus enthalten sein oder dieses definieren, um basierend auf der frei formulierten Antwort die darin enthaltenen oder damit verbundenen Bewertungsinformationen zu bestimmen. Das Erzeugen des Modells kann Teil der offenbarten Lösung sein. Es kann jedoch auch möglich sein, ein zuvor trainiertes und / oder generiertes Modell zu verwenden.
Das Modell kann, z. B. basierend auf einem bereitgestellten Trainingsdatensatz, eine Beziehung oder Verknüpfung zwischen Inhalten der frei formulierten Antwort- und Bewertungsinformationen und / oder mindestens einem zu bewertenden Merkmal ausdrücken. Es kann somit eine vorzugsweise nichtlineare Eingabe-Ausgabe-Beziehung in Bezug darauf definieren, wie sich die frei formulierte Antwort auf einer Eingabeseite z. B. in Bewertungsinformationen und insbesondere Bewertungsbewertungen für ein oder mehrere Merkmale auf einer Ausgabeseite übersetzt.
Der Trainingsdatensatz kann frei formulierte Antworten enthalten, die z. B. während persönlicher Interviews gesammelt wurden. Der Trainingsdatensatz kann auch Bewertungsinformationen enthalten, die z. B. von Experten aus den frei formulierten Antworten manuell ermittelt wurden. Somit kann der Trainingsdatensatz als Beispiel oder Referenz dafür dienen, wie frei formulierte Antworten in Bewertungsinformationen übersetzt werden. Dies kann verwendet werden, um durch maschinelle Lernprozesse die Verknüpfungen und / oder Beziehungen innerhalb des Computermodells zum Beschreiben der durch das Modell dargestellten Eingabe-Ausgabe-Beziehung zu definieren.
Insbesondere kann das Modell gewichtete Verknüpfungen und Beziehungen zwischen Eingabeinformationen und Ausgabeinformationen definieren. Im Kontext eines maschinellen Lernprozesses können diese Verknüpfungen festgelegt werden (z. B. indem definiert wird, welche Eingabeinformationen mit welchen Ausgabeinformationen verknüpft sind). Auch die Gewichte dieser Links können eingestellt werden. Auf allgemein bekannte Weise kann das Modell mehrere Knoten oder Schichten zwischen einer Eingabeseite und einer Ausgabeseite enthalten, wobei diese Schichten oder Knoten miteinander verbunden sind. Somit kann die Anzahl der Verbindungen und ihre Gewichte relativ hoch sein, was wiederum die Genauigkeit erhöht, mit der das Modell die jeweilige Eingabe-Ausgabe-Beziehung modelliert.
Der maschinelle Lernprozess kann ein sogenannter Deep Learning- oder hierarchischer Lernprozess sein, bei dem angenommen wird, dass zahlreiche Schichten oder Stufen existieren, gemäß denen Eingabeparameter Ausgabeparameter beeinflussen. Im Rahmen des maschinellen Lernprozesses können Verknüpfungen oder Verbindungen zwischen den Schichten oder Stufen sowie deren Bedeutung (dh Gewichte) identifiziert werden.
In ähnlicher Weise kann ein neuronales Netzwerk, das ein Computermodell darstellt oder aus diesem besteht und das aus einem maschinellen Lernprozess gemäß einem der obigen Beispiele resultieren kann, ein tiefes neuronales Netzwerk sein, das zahlreiche Zwischenschichten oder Stufen enthält. Es ist zu beachten, dass diese Schichten oder Stufen auch als verborgene Schichten oder Stufen bezeichnet werden können, die eine Eingangsseite mit einer Ausgangsseite des Modells verbinden, insbesondere um eine nichtlineare Eingabedatenverarbeitung durchzuführen. Während eines maschinellen Lernprozesses können die Beziehungen oder Verbindungen zwischen solchen Schichten und Stufen nach bekannten Standardverfahren gelernt oder anders ausgedrückt trainiert und / oder getestet werden. Als Alternative zu neuronalen Netzen könnten andere Techniken des maschinellen Lernens verwendet werden.
Somit kann das Computermodell, wie erwähnt, ein künstliches neuronales Netzwerk sein (hier auch nur als neuronales Netzwerk bezeichnet). Der maschinelle Lernprozess kann ein sogenannter Deep Learning- oder hierarchischer Lernprozess sein, bei dem angenommen wird, dass zahlreiche Schichten oder Stufen existieren, gemäß denen Eingabeinformationen Ausgabeinformationen beeinflussen. Im Rahmen des maschinellen Lernprozesses können Verknüpfungen oder Verbindungen zwischen diesen Schichten oder Stufen sowie deren Bedeutung (dh Gewichte) identifiziert werden.
Zusammenfassend bestimmt und / oder definiert das Computermodell gemäß einer weiteren Ausführungsform eine Beziehung zwischen Inhalten der frei formulierten Antwort und Bewertungsinformationen für das mindestens eine Merkmal. Somit kann das Modell basierend auf der frei formulierten Antwort entsprechende Bewertungsinformationen und insbesondere eine Bewertungsbewertung für das Merkmal berechnen. Andererseits kann auch festgestellt werden, dass keine Bewertungsinformationen eines bestimmten Typs oder für ein bestimmtes Merkmal in der frei formulierten Antwort enthalten sind. Dies kann angezeigt werden, indem eine Bewertungsbewertung für das Merkmal auf einen jeweiligen vorbestimmten Wert (z. B. Null) eingestellt wird.
Gemäß einer Ausführungsform wird mittels des Computermodells eine Bewertungsbewertung berechnet, die angibt, wie die Eigenschaft bewertet wird. Die Bewertungspunktzahl kann positiv oder negativ sein.
Alternativ kann es entlang einer zB nur positiven Skala definiert werden, wobei der Absolutwert entlang dieser Skala angibt, ob eine positive oder negative Bewertung vorliegt (z. B. oberhalb eines bestimmten Schwellenwerts, wie beispielsweise 50, kann die Bewertungsbewertung als positiv definiert werden). Alternativ kann die Bewertungsbewertung ein bestimmtes Niveau anzeigen (z. B. ein Wichtigkeitsniveau, ein Niveau eines Merkmals, das als vorhanden / festgelegt wahrgenommen wird, ein Niveau einer Aussage, das als wahr oder falsch angesehen wird, und so weiter). Mit Hilfe der Bewertungsbewertung und insbesondere des Modells, das eine solche Bewertungsbewertung direkt bestimmt und ausgibt, kann die Analyse der gesammelten Antworten effizient und zuverlässig durchgeführt werden.
Darüber hinaus kann eine Konfidenzbewertung unter Verwendung des Computermodells berechnet werden, wobei die Konfidenzbewertung ein Konfidenzniveau der berechneten Bewertungsbewertung angibt. Der Konfidenzwert kann zB durch das Modell selbst bestimmt werden. Beispielsweise kann das Modell z. B. in Abhängigkeit von der Gewichtung der Links und / oder den mit bestimmten Links verbundenen Konfidenzinformationen bestimmen, ob eine Eingabe-Ausgabe-Beziehung vorliegt und ob die resultierende Bewertungsbewertung auf einem ausreichenden Vertrauensniveau und z. B. auf einer ausreichenden Menge von basiert berücksichtigte Trainingsdaten. Bewertungsbewertungen, die mittels Links mit vergleichsweise geringen Gewichten ermittelt wurden, können niedrigere Konfidenzbewertungen erhalten als Bewertungsbewertungen, die mittels hochgewichteter Links ermittelt wurden.
Zusätzlich oder alternativ können bekannte Techniken zur Bewertung von Vorhersagen durch maschinelles Lernen in Bezug auf eine erwartete Genauigkeit (dh Vertrauen) verwendet werden, um eine Vertrauensbewertung zu bestimmen. Beispielsweise kann eine probabilistische Klassifizierung verwendet werden und / oder eine analysierte frei formulierte Antwort (oder daraus abgeleitete Eingaben) kann geringfügig geändert und erneut dem Modell bereitgestellt werden. Im letzteren Fall kann das Vertrauen jeweils hoch sein, wenn das Modell eine ähnliche Vorhersage- / Bewertungsinformation ausgibt. Somit kann die Konfidenzbewertung basierend auf der Ausgabe eines Computermodells bestimmt werden, das wiederholt mit leicht veränderten Eingaben versehen wird, die aus derselben frei formulierten Antwort abgeleitet sind.
Zusätzlich oder alternativ kann die Konfidenzbewertung basierend auf der Länge einer empfangenen Antwort (je länger, desto sicherer) basierend auf identifizierten Bedeutungen und / oder semantischen Inhalten einer empfangenen Antwort bestimmt werden, insbesondere in Bezug auf die Sicherheit von a Aussage (z. B. „Es ist ...“ ist sicherer als „Ich glaube, es ist ...“) und / oder basiert auf einer Konsistenz von Informationen innerhalb der Antwort eines Benutzers. Wenn der Benutzer beispielsweise in seiner Antwort widersprüchliche Aussagen macht, kann die Konfidenzbewertung auf einen jeweils niedrigeren Wert eingestellt werden.
Im Allgemeinen kann bei Verwendung eines Computermodells zur Analyse der frei formulierten Antwort das Computermodell basierend auf Trainingsdaten trainiert worden sein. Diese Daten können historische Daten sein, die tatsächlich beobachtete und / oder verifizierte Beziehungen zwischen frei formulierten Antworten und darin enthaltenen Bewertungsinformationen anzeigen. Dies kann dazu führen, dass der Konfidenzwert umso höher ist, je höher die Ähnlichkeit einer frei formulierten Antwort auf diese historischen Daten ist.
Gemäß einem weiteren Beispiel und wie oben erwähnt, kann das Computermodell ein künstliches neuronales Netzwerk umfassen.
In einem weiteren Aspekt kann eine Vollständigkeitsbewertung berechnet werden (z. B. durch ein Computergerät des Computernetzwerks und insbesondere ein zentrales Computergerät davon), wobei die Vollständigkeitsbewertung einen Grad der Vollständigkeit der gesammelten Bewertungsinformationen angibt, z. B. im Vergleich zu einem gewünschten Vollständigkeitsgrad. Die Vollständigkeitsbewertung kann angeben, ob eine ausreichende Menge oder Anzahl von Bewertungsinformationen vorhanden ist oder nicht, und z. B. wurden Bewertungsbewertungen zur Bewertung mindestens eines interessierenden Merkmals gesammelt. Vorzugsweise kann für jedes Merkmal eine jeweilige Vollständigkeitsbewertung gesammelt werden.
Es kann auch anzeigen, ob ein gewünschtes statistisches Niveau und insbesondere eine statistische Sicherheit erreicht wurde, z. B. basierend auf einer Verteilung der Bewertungsbewertungen, die bisher zur Bewertung eines bestimmten Merkmals erhalten wurden. Das heißt, ein statistisches Konfidenzniveau kann in Bezug auf die Verteilung aller Bewertungsergebnisse zur Bewertung eines bestimmten Merkmals bestimmt werden.
Das Konfidenzniveau kann sich von dem oben angegebenen Konfidenzwert unterscheiden, der ein Konfidenzniveau in Bezug auf die vom Modell bestimmte Eingabe-AusgabeBeziehung beschreibt (dh eine Genauigkeit einer dadurch durchgeführten Identifizierung). Insbesondere kann dieses Konfidenzniveau ein Konfidenzniveau in Bezug auf eine statistische Signifikanz und / oder statistische Zuverlässigkeit einer bestimmten Gesamtbewertung des mindestens einen interessierenden Merkmals beschreiben.
Zu diesem Zweck wird bevorzugt, die Bewertungsinformationen zu berücksichtigen, die für dieses Merkmal von allen Benutzern und, anders ausgedrückt, von allen Befragten erhalten wurden. Diese Bewertungsinformationen können dann eine statistische Verteilung definieren (z. B. Bewertungsbewertungen für das Merkmal), und diese Verteilung kann statistisch analysiert werden, um die Vollständigkeitsbewertung zu bestimmen. Wenn beispielsweise die Verteilung eine Standardabweichung unterhalb eines akzeptablen Schwellenwerts anzeigt, kann die Vollständigkeit auf einen jeweils niedrigen und insbesondere auf einen akzeptablen Wert eingestellt werden.
Zusätzlich oder alternativ kann der Vollständigkeitswert für eine Population von Befragten berechnet werden. Es kann angeben, inwieweit ein bestimmtes Thema und insbesondere ein interessantes Merkmal von den Befragten bereits behandelt wurde. Wenn der Vollständigkeitswert über einem gewünschten Schwellenwert liegt, kann festgestellt werden, dass weitere Befragte möglicherweise keine Antwortaufgaben beantworten müssen, die auf dasselbe oder ein ähnliches Merkmal gerichtet sind. Die Antwortaufgabe für die freie Formulierung und / oder der anfängliche Satz von Antwortaufgaben für diese weiteren Befragten können im Voraus entsprechend angepasst werden.
Die Erfindung betrifft auch ein Computernetzwerk zum Sammeln von Bewertungsinformationen für mindestens ein vorbestimmtes Merkmal von vorzugsweise einer Vielzahl von Benutzern, wobei das Computernetzwerk (z. B. durch Zugreifen auf, Speichern und / oder Definieren) einen anfänglichen Satz von vorbestimmten Antwortaufgaben aufweist, jede Antwortaufgabe umfasst eine Anzahl von vorbestimmten Antwortoptionen, wobei basierend auf den von einem Benutzer ausgewählten Antwortoptionen Bewertungsinformationen zum Bewerten mindestens eines vorbestimmten Merkmals gesammelt oder bestimmt werden; wobei das Computernetzwerk mindestens eine Verarbeitungseinheit umfasst, die konfiguriert ist, um die folgenden Softwaremodule auszuführen, die in einer Datenspeichereinheit des Computernetzwerks gespeichert sind:

- Ein Freiformierungsausgabesoftwaremodul, das konfiguriert ist, um mindestens eine Freiformierungsantwortaufgabe bereitzustellen, zu erzeugen und / oder auszugeben, mittels derer eine frei formulierte Antwort von mindestens einem Benutzer empfangen werden kann, vorzugsweise wobei der Vorgänger - formulierungsantwortaufgabe enthält keine vorbestimmten Antwortoptionen;
- Ein Software-Modul zur Analyse freier Formulierungen, das konfiguriert ist, um die frei formulierte Antwort zu analysieren und dadurch die darin enthaltenen Bewertungsinformationen zu identifizieren, wobei die Bewertungsinformationen zur Bewertung der mindestens einer vorbestimmten Eigenschaft verwendet werden können;
- Ein Softwaremodul zur Anpassung des Antwortsatzes ist konfiguriert und generiert einen angepassten Satz von Antwortaufgaben auf der Grundlage der vom Softwaremodul für die Analyse der freien Formulierung identifizierten Bewertungsi nformationen.

Ein Softwaremodul kann einer Softwarekomponente, Softwareeinheit oder Softwareanwendung entsprechen. Die Softwaremodule können aus einem Softwareprogramm bestehen, das z. B. auf der Verarbeitungseinheit ausgeführt wird. Im Allgemeinen können mindestens einige und vorzugsweise jedes der obigen Softwaremodule von einer Verarbeitungseinheit einer hier diskutierten zentralen Computervorrichtung ausgeführt werden. Es können auch weitere Softwaremodule enthalten sein, um einen der hier offenbarten Verfahrensschritte bereitzustellen und / oder um eine der Funktionen oder Wechselwirkungen des Verfahrens bereitzustellen.
Beispielsweise kann ein Softwaremodul zum Sammeln freier Formulierungen bereitgestellt werden, das konfiguriert ist, um eine frei formulierte Antwort als Reaktion auf die Antwortaufgabe zum freien Formulieren zu sammeln. Dieses Softwaremodul kann von einem benutzergebundenen Computergerät ausgeführt werden und kann dann die frei formulierte Antwort beispielsweise an das Softwaremodul für die Analyse der freien Formulierung übermitteln.
Im Allgemeinen kann das Computernetzwerk so konfiguriert sein, dass es einen der Schritte ausführt und Funktionen und / oder Interaktionen gemäß einem der obigen und nachstehenden Aspekte und insbesondere gemäß einem der hier offenbarten Verfahrensaspekte bereitstellt. Somit kann das Computernetzwerk konfiguriert sein, um ein Verfahren gemäß einer beliebigen Ausführungsform dieser Erfindung durchzuführen. Zu diesem Zweck kann es weitere Merkmale, weitere Softwaremodule oder weitere Funktionseinheiten bereitstellen, die erforderlich sind, um z. B. einen der hier offenbarten Verfahrensschritte auszuführen. Jede der obigen und nachfolgenden Diskussionen und Erklärungen von Methodenmerkmalen und insbesondere deren Entwicklungen oder Varianten kann gleichermaßen für ähnliche Merkmale des Computernetzwerks gelten.
Die Erfindung wird in Bezug auf die beigefügten schematischen Zeichnungen weiter diskutiert. Ähnliche Merkmale können in den Figuren mit ähnlichen Bezugszeichen gekennzeichnet sein.
2
2 ist eine Übersicht über ein Computernetzwerk 10 gemäß einer Ausführungsform der Erfindung, wobei das Computernetzwerk 10 allgemein konfiguriert (aber nicht beschränkt) ist, um das im Folgenden beschriebene Verfahren auszuführen. Das Computernetzwerk 10 umfasst mehrere Computervorrichtungen 12, 21,20.1-20.k, die jeweils mit einem Kommunikationsnetzwerk 18 verbunden sind, das mehrere Kommunikationsverbindungen 19 umfasst.
Wie im Folgenden erläutert wird, sind die Computergeräte 20.1-20.k Endgeräte unter direkter Benutzersteuerung (dh benutzergebundene Geräte wie mobile Endgeräte und insbesondere Smartphones); vorzugsweise umfassen die Endgeräte eine MenschComputer-Schnittstelle, die sich gemäß einem persönlichen Profil eines menschlichen Befragten verhält. Das Computergerät 12 ist ein Server, der eine Online-Plattform bereitstellt, auf die die benutzergebundenen Computergeräte 20.1-20.k zugreifen können.
Die Computervorrichtung 21 bietet eine Analysefähigkeit, insbesondere in Bezug auf frei formulierte Antworten, die von einem Benutzer bereitgestellt werden.
Diese Fähigkeit kann jedoch auch in den benutzergebundenen Computergeräten 20.1 - 20.k implementiert werden, die ebenfalls ein Modell 100 umfassen könnten, die nachstehend erörtert werden.
In dem gezeigten Beispiel ist das Computernetzwerk 10 in einer Organisation wie einer Firma implementiert, und die Benutzer sind Mitglieder dieser Organisation, z. B. Mitarbeiter. Der Computer dient zur Implementierung eines nachstehend diskutierten Verfahrens, mit dessen Hilfe Bewertungen von Merkmalen, die für das Unternehmen von Interesse sind, von den Mitarbeitern eingeholt werden können. Dies kann in Form einer Online-Umfrage erfolgen, die mit Hilfe eines Servers 12 durchgeführt wird. Insbesondere kann diese Umfrage dazu beitragen, den aktuellen Status des Unternehmens besser zu verstehen und insbesondere Verbesserungspotenziale anhand der gesammelten Bewertungsinformationen zu ermitteln.
Im Einzelnen umfasst das Computernetzwerk 10 einen Server 12. Der Server 12 ist mit mehreren Computergeräten 20.1-20.k verbunden und stellt eine Online-Plattform bereit, auf die über die Computergeräte 20.1-20.k zugegriffen werden kann. Zur Bereitstellung der Online-Plattform und insbesondere der nachstehend diskutierten Funktionen und Interaktionen umfasst der Server 12 eine Datenverarbeitungseinheit 23, die beispielsweise mindestens einen Mikroprozessor umfasst. Der Server 12 umfasst ferner Datenspeichermittel in Form eines Datenbanksystems 22 zum Speichern der unten diskutierten Daten, aber auch Programmanweisungen, z. B. zum Bereitstellen der OnlinePlattform.
Darüber hinaus wird ein sogenannter Analyseteil 14, vorzugsweise ein Interrogator gemäß der Erfindung, bereitgestellt, der auch als Gehirn bezeichnet werden kann, um seine Datenanalysefähigkeit widerzuspiegeln. Vorzugsweise befinden sich der Analyseteil 14 und / oder der Server 12 entfernt von der Organisation, z. B. in einem Rechenzentrum eines Dienstanbieters, der das hier offenbarte Verfahren implementiert.
Der Analyseteil 14 umfasst eine Datenbank 26 (Gehirndatenbank 26) sowie eine zentrale Computervorrichtung 21. Der Begriff „zentral“ drückt die Relevanz der Computervorrichtung 21 hinsichtlich der Datenverarbeitung und insbesondere der Datenanalyse aus.
Im Allgemeinen werden die Computergeräte 20.1-20.k verwendet, um mit den Mitgliedern der Organisation zu interagieren, und werden zumindest teilweise innerhalb der Organisation bereitgestellt. Insbesondere können die Computergeräte 20.1 bis 20.k PCs oder Smartphones sein, die jeweils einem einzelnen Mitglied der Organisation zugeordnet sind und / oder auf die ein einzelnes Mitglied der Organisation zugreifen kann. Es ist jedoch auch möglich, dass mehrere Mitglieder ein Computergerät 20.1-20.k gemeinsam nutzen. Die zentrale Computervorrichtung 21 wird andererseits hauptsächlich zur Erzeugung eines Computermodells und zum Analysieren insbesondere einer frei formulierten Antwort verwendet. Dementsprechend ist es möglicherweise nicht direkt für die Mitglieder der Organisation zugänglich, sondern z. B. nur für einen Systemadministrator.
Wie oben erwähnt, umfasst das Computernetzwerk 16 ferner ein vorzugsweise drahtloses (z. B. elektrisches und / oder digitales) Kommunikationsnetzwerk 18, mit dem die Computervorrichtungen 20.1-20.k, 21, aber auch die Datenbanken 22, 26 verbunden sind. Das Kommunikationsnetzwerk 18 besteht aus mehreren Kommunikationsverbindungen 19, die in 2 durch Pfeile angegeben sind. Es ist zu beachten, dass solche Verbindungen 19 auch intern innerhalb des Servers 12 und des Analyseteils 14 bereitgestellt werden können.
In 2 ist ein ausgewähltes Computergerät 20.1 spezifisch in Bezug auf verschiedene Funktionen F1-F3 dargestellt, die damit verbunden sind oder genauer gesagt mit der Online-Plattform verbunden sind, auf die über das Computergerät 20.1 zugegriffen werden kann. Jede Funktion F1-F3 kann mittels eines jeweiligen Softwaremoduls oder einer Softwarefunktion der Online-Plattform bereitgestellt werden und kann von der Verarbeitungseinheit 21 des Servers 12 und / oder zumindest teilweise von einer nicht dargestellten Verarbeitungseinheit des Servers 12 ausgeführt werden Benutzergebundene Computergeräte 20.1-20.k. Die Funktionen F1-F3 sind Teil eines Frontends, mit dem ein Benutzer direkt interagiert.
Wie nachstehend detailliert beschrieben wird, bezieht sich die Funktion F1 auf die Ausgabe einer Antwortaufgabe mit freier Formulierung an einen Benutzer, die Funktion F2 auf das Empfangen einer frei formulierten Antwort vom Benutzer als Reaktion auf die Antwortaufgabe und die Funktion F3 auf die Ausgabe eines angepassten Satzes von Antwortaufgaben an der Nutzer.
Eine weitere nicht spezifisch dargestellte Funktion besteht darin, dann Eingaben vom Benutzer als Reaktion auf den angepassten Satz von Antwortaufgaben zu empfangen.
Es versteht sich, dass alle Aspekte, die in Bezug auf das Computergerät 20.1 erörtert wurden, gleichermaßen für die weiteren Computergeräte 20.2-20.k gelten. Insbesondere stellt jedes weitere Computergerät 20.2 - 20.k äquivalente Funktionen F1 - F3 bereit und ermöglicht es mindestens einem Mitglied der Organisation, mit diesen Funktionen F1 - F3 zu interagieren. Auf diese Weise können Antworten von einer großen Anzahl von insbesondere mehreren Hundert Benutzern gesammelt werden.
Zur Interaktion mit einem Computergerät 20.1-20.k und insbesondere zur Eingabe von Informationen kann ein Benutzer jedes geeignete Eingabegerät oder Eingabemethode verwenden, wie beispielsweise eine Tastatur, eine Maus, einen Touchscreen, aber auch Sprachbefehle.
Ferner ist ein Datenbanksystem 22 des Servers 12 gezeigt. Das Datenbanksystem 22 kann mehrere Datenbanken umfassen, die zum Bereitstellen unterschiedlicher Funktionen optimiert sind. Beispielsweise kann auf allgemein bekannte Weise eine sogenannte Liveoder Betriebsdatenbank bereitgestellt werden, die direkt mit dem Front-End interagiert und / oder zur Ausführung der Funktionen F1-F3 verwendet wird. Es kann auch ein sogenanntes Data Warehouse bereitgestellt werden, das zur langfristigen Datenspeicherung in einem bevorzugten Format verwendet wird. Daten aus der Lebensdatenbank können über einen sogenannten ETL-Transfer (Extrahieren, Transformieren, Laden) in das Data Warehouse und umgekehrt übertragen werden.
Das Datenbanksystem 22 ist mit jedem der Computergeräte 20.1-20.k (z. B. über den Server 12) sowie mit dem Analyseteil 14 und speziell mit seiner Gehirndatenbank 26 über Kommunikationsverbindungen 19 des elektronischen Kommunikationsnetzwerks 18 verbunden. Wie durch einen entsprechenden Doppelpfeil in 2 angezeigt, können Daten auch vom Analyseteil 14 (und insbesondere von der Gehirndatenbank 26) zum Server 12 zurück übertragen werden. Diese Daten können z. B. einen angepassten Satz von vorbestimmten Antwortaufgaben enthalten, die erzeugt werden durch das zentrale Computergerät 21.
Es ist zu beachten, dass die funktionale Trennung zwischen dem Server 12 und dem Analyseteil 14 in 2 nur beispielhaft ist. Gemäß dieser Erfindung ist es gleichermaßen möglich, nur einen der Server 12 und den Analyseteil 14 bereitzustellen und alle hier diskutierten Funktionen in Verbindung mit dem Server 12 und dem Analyseteil 14 in die bereitgestellte einzelne Einheit zu implementieren. Beispielsweise könnte die zentrale Computervorrichtung 21 so ausgelegt sein, dass sie auch alle jeweiligen Funktionen des Servers 12 bereitstellt.
Zunächst wird ein schematisch dargestellter anfänglicher Satz von Antwortaufgaben RT.1, RT.2 ... RT.K in der Gehirndatenbank 26 gespeichert. Jede Antwortaufgabe RT.1, RT.2 ... RT.K kann als Datensatz oder als Softwaremodul bereitgestellt werden. Die Antwortaufgaben RT.1, RT.2 ... RT.K sind hinsichtlich ihres Inhalts vorbestimmt und sie sind auswählbare Antwortoptionen 50 und vorzugsweise auch hinsichtlich ihrer Reihenfolge.
Jede Antwortaufgabe RT.1, RT.2 ... RT.K enthält vorzugsweise mindestens zwei Antwortoptionen 50 der Typen, die im allgemeinen Teil dieser Offenbarung beispielhaft dargestellt sind. Die Antwortoptionen 50 sind vorbestimmt, indem nur bestimmte Eingaben vorgenommen werden können und insbesondere nur bestimmte Auswahlen aus einem vorbestimmten Bereich theoretisch möglicher Eingaben möglich sind.
Da der anfängliche Satz von Antwortaufgaben RT.1, RT.2 ... RT.K in der diskutierten Weise vorbestimmt ist, werden die Antwortaufgaben RT.1, RT.2 ... RT.K und / oder der anfängliche Satz als solche kann als strukturiert bezeichnet werden. Das heißt, der Bereich der empfangbaren Eingaben ist aufgrund der vorbestimmten Antwortoptionen 50 begrenzt, so dass eine feste zugrunde liegende Struktur oder allgemeiner ein fester und somit strukturierter erwarteter Wertebereich existiert.
Es ist zu beachten, dass die Gehirndatenbank 26 auch Softwaremodule 101-103 umfasst, mit deren Hilfe die zentrale Rechenvorrichtung 21 die hier diskutierte Funktion bereitstellen kann. Die Softwaremodule sind das zuvor erwähnte Freiformulierungsausgabesoftwaremodul 101, das Freiformulierungsausgabesoftwaremodul 102 und das Antwortsatzanpassungssoftwaremodul 103. Jedes dieser Module (allein oder in beliebiger Kombination) kann gleichermaßen für einen Benutzer bereitgestellt werden -level (dh kann auf den jeweiligen benutzergebundenen Geräten 20.1 ... 20.k implementiert werden).
Darüber hinaus umfasst die Gehirndatenbank 26 eine RTF-Antwortaufgabe mit freier Formulierung. Die freie Formulierungsantwortaufgabe RTF ist frei von vorbestimmten Antwortoptionen 50 oder definiert nur den Datentyp, der eingegeben werden kann, und / oder den Typ der Eingabemethode, wie z. B. eine Eingabe über Sprache oder Text.
Die Antwortaufgabe zur freien Formulierung RTF fordert einen Benutzer auf, Feedback zu einem bestimmten Thema von Interesse zu geben, wobei dieses Thema mit mindestens einem zu bewertenden Merkmal verknüpft ist oder zumindest indirekt mit diesem verknüpft ist.
Sowohl die freie Formulierungsantwortaufgabe RTF als auch der anfängliche Satz von Antwortaufgaben RT.1, RT.2, RT.k können austauschbar sein, z. B. von einem Systemadministrator, jedoch nicht unbedingt von den Benutzern / Mitarbeitern.
Wie nachstehend ausführlicher erörtert wird, wird als erster Schritt die Freiformformulationsantwortaufgabe RTF an einen Benutzer ausgegeben (Funktion F1), z. B. durch Übertragen der Freiformulierungsantwortaufgaben RTF von der Gehirndatenbank 26 in das Datenbanksystem 22 des Servers 12. Basierend auf dieser freien Formulierungsantwortaufgabe RTF wird eine frei formulierte (oder unstrukturierte) Antwort empfangen (Funktion F2) und diese Antwort wird z. B. vom Server 12 zurück zur Gehirndatenbank 26 übertragen. Anschließend wird die Zentrale Der Computer 21 führt eine Analyse der frei formulierten Antwort mit Hilfe eines Computermodells 100 (im Folgenden auch als Modell 100 bezeichnet) durch, das in der Gehirndatenbank 26 gespeichert und nachstehend ausführlicher erörtert wird.
Basierend auf dem Analyseergebnis wird ein angepasster Satz 60 von Antwortaufgaben RT.1 ... RT.K erzeugt, wiederum wiederum bevorzugt von der zentralen Computervorrichtung 21 und vorzugsweise in der Gehirndatenbank 26 gespeichert.
In dem gezeigten Beispiel erfolgt diese Anpassung, indem mindestens einige der Antwortaufgaben aus dem anfänglichen Satz entfernt werden (vgl. Die Antwortaufgabe RT.2 des anfänglichen Satzes, die nicht in dem angepassten Satz 60 enthalten ist). Zusätzlich kann die Anzahl der Antwortoptionen 50 geändert werden und / oder es können verschiedene Antwortoptionen 52 bereitgestellt werden (siehe Antwortoptionen 50, 52 der Antwortaufgabe RT.k des anfänglichen Satzes im Vergleich zu dem angepassten Satz 60).
Der eingestellte Satz 60 wird dann erneut an den Server 12 übertragen und gemäß der Funktion F3 an die Benutzer ausgegeben. Anschließend werden Bewertungsinformationen von den Benutzern gesammelt, die die Antwortaufgaben RT.1 ... RT.k dieses angepassten Satzes 60 beantworten. Diese Bewertungsinformationen können in die Gehirndatenbank 26 übertragen und von der Rechenvorrichtung 21 weiterverarbeitet werden. zB um ein Gesamtbewertungsergebnis abzuleiten und / oder um die unten diskutierte Vollständigkeitsbewertung zu berechnen.
3 zeigt ein Flussdiagramm eines Verfahrens, das von dem Computernetzwerk 10 von 2 ausgeführt werden kann. Die folgende Diskussion kann sich teilweise auf eine Interaktion mit nur einem Benutzer konzentrieren. Es ist jedoch offensichtlich, dass eine große Anzahl von Benutzern über ihre jeweiligen Computergeräte 20.1 - 20.k berücksichtigt wird. Jeder Benutzer kann somit die folgenden Interaktionen ausführen, und dies kann auf asynchrone Weise erfolgen, z. B. wenn ein Benutzer die Zeit findet, auf die Online-Plattform des Servers 12 zuzugreifen.
Als allgemeiner Aspekt wird gezeigt, dass der anfängliche Satz von Antwortaufgaben RT.1, RT.2, RT.k in eine Anzahl von Teilmengen oder Modulen 62 unterteilt ist. Wie nachstehend erwähnt, können die Module 62 weiter in Themen unterteilt werden durch Gruppieren der darin enthaltenen Antwortaufgaben RT.1, RT.2, RT.k nach bestimmten Themen. In einem Schritt S1 wird dieser gesamte Anfangssatz empfangen, z. B. indem er von einem Systemadministrator definiert und / oder allgemein aus der Systemdatenbank 26 ausgelesen und vorzugsweise an den Server 12 übertragen wird.
Jede Antwortaufgabe RT.1, RT.2, RT.k ist mindestens einem Merkmal C1, C2 zugeordnet, für das Bewertungsinformationen durch die Antworten gesammelt werden sollen, die auf die Antwortaufgaben RT.1, RT.2, RT.k bereitgestellt werden . Die Bewertungsinformationen können äquivalent zu und / oder auf Antwortoptionen 50, 52 basieren, die von einem Benutzer ausgewählt werden, wenn er mit einer Antwortaufgabe RT.1, RT.2, RT.k konfrontiert wird.
Es ist zu beachten, dass in dem gezeigten Beispiel verschiedene Antwortaufgaben RT.1, RT.2 zum Bewerten des gleichen Merkmals C1 verwendet werden können. Dies ist beispielsweise der Fall, wenn eine Anzahl von Bewertungsinformationen und insbesondere Bewertungsbewertungen gesammelt werden sollen, um dasselbe Merkmal C1 zu bewerten und insbesondere um eine statistisch signifikante und zuverlässige Bewertung dieses Merkmals C1 abzuleiten.
In dem gezeigten Beispiel können sich die Merkmale C1, C2 auf vorbestimmte Aspekte beziehen, bei denen festgestellt wurde, dass sie die Leistung der Organisation möglicherweise verbessern oder möglicherweise als Hindernisse für das Erreichen einer ausreichenden Leistung wirken (z. B. wenn sie nicht erfüllt werden). Die Merkmale C1, C2 können auch auf Denkweisen und / oder Verhaltensweisen bezogen werden oder diese darstellen, die innerhalb der Unternehmenskultur existieren. Über die Bewertungsinformationen, die von jeder Antwortaufgabe RT.1, RT.2, RT.k und von jedem Benutzer gesammelt werden, können Bewertungsbewertungen wie nachstehend erörtert berechnet werden, die z. B. angeben, ob ein jeweiliges Merkmal C1, C2 wahrgenommen wird ausreichend vorhanden sein (positive und / oder hohe Punktzahl) oder als unzureichend vorhanden wahrgenommen werden (negative und / oder niedrige Punktzahl).
In einem Schritt S2 wird die freie Formulierungsantwortaufgabe RTF auf ähnliche Weise empfangen. Anschließend wird es an einen Benutzer ausgegeben, wenn er auf die vom Server 12 bereitgestellte Online-Plattform zugreift, um eine Online-Umfrage durchzuführen. Der Benutzer wird daher aufgefordert, eine frei formulierte Antwort zu geben.
Als optionale Maßnahme, die in 3 nicht speziell angegeben ist, kann ein Anfangsschritt (z. B. ein nicht dargestellter Schritt S0) bereitgestellt werden, in dem ein gemeinsames Verständnis bei der Vorbereitung der Freiformierungsantwortaufgabe RTF hergestellt wird. Dies kann auch als Verankerung von z. B. dem Benutzer in Bezug auf die Antwortaufgabe RTF und / oder das betreffende Thema oder Merkmal C1, C2 bezeichnet werden.
Insbesondere können Textinformationen, Videoinformationen und / oder Audioinformationen zum Herstellen eines gemeinsamen Verständnisses eines Themas, zu dem Feedback mittels der Vorformulierungsantwortaufgabe RTF bereitgestellt werden soll, an den Benutzer ausgegeben werden. In dem gezeigten Beispiel kann dies eine Definition des Begriffs „Leistung“ sein und worum es bei der Leistung einer Organisation geht.
Im Anschluss daran kann die Antwortaufgabe für die freie Formulierung RTF den Benutzer als allgemeines Beispiel auffordern, seine Meinung dazu abzugeben, welche Maßnahme am besten umgesetzt werden sollte, damit die Organisation ihre Leistung verbessern kann. Der Benutzer kann dann z. B. durch Sprache antworten, die von einem der Computergeräte 20.1,20.2, 20.K, 12, 21 von 2 in Text umgewandelt wird. Diese Antwort kann z. B. wie folgt lauten: „Ich möchte Disruptoren, Starts und Innovatoren Wer kann neues Denken in die Organisation bringen.
Wenn wir unsere Erfolgs- und Wachstumsstrategie fortsetzen wollen, brauchen wir Menschen, die den Status Quo in Frage stellen.
In einem Schritt S3 wird der konvertierte Text (der gleichermaßen als die hier formulierte frei formulierte Antwort angesehen wird, obwohl diese Antwort ursprünglich durch Sprache eingegeben worden sein könnte) mit Hilfe des in 2 angegebenen Modells 100 analysiert.
Das Modell 100 bestimmt Bewertungsinformationen, die in der frei formulierten Antwort enthalten sind.
Insbesondere ist das Modell 100 ein durch maschinelles Lernen erzeugtes Computermodell und im gezeigten Fall ein künstliches neuronales Netzwerk. Es analysiert die frei formulierte Antwort, welche Wörter darin verwendet werden und insbesondere in welchen Kombinationen. Solche Informationen werden auf einer Eingabeseite des Modells 100 bereitgestellt. Auf einer Ausgabeseite werden Bewertungsbewertungen für die Eigenschaften C1, C2 ausgegeben, wobei die Bewertungen aus der frei formulierten Antwort abgeleitet werden. Mögliche Innenfunktionen und Konstruktionen dieses Modells 100 (dh wie die Informationen auf der Eingabeseite mit der Ausgabeseite verknüpft sind) werden in der allgemeinen Spezifikation erörtert und nachstehend weiter ausgeführt.
In einem Schritt S4 prüft die zentrale Rechenvorrichtung 21, für welche Merkmale C1, C2 (deren Gesamtzahl beliebig sein kann) bereits Bewertungsbewertungen gesammelt wurden. Dies ist in 3 durch eine Tabelle mit zufälligen Bewertungswerten ES von einem absoluten Bereich von Null (niedrig) bis 100 (hoch) für die beispielhaften Eigenschaften C1, C2 angegeben.
Ebenso werden Konfidenzwerte CS für jedes Merkmal C1, C2 bestimmt. Diese zeigen ein Vertrauensniveau in Bezug auf den ermittelten Bewertungswert ES an, z. B. ob dieser Bewertungswert ES tatsächlich repräsentativ und / oder statistisch signifikant ist. Sie drücken somit eine subjektive Gewissheit und / oder Genauigkeit des Modells 100 hinsichtlich der dadurch ermittelten Bewertungsbewertung ES aus. Diese Konfidenzwerte CS können ebenfalls vom Modell 100 berechnet werden, z. B. weil sie auf der Grundlage historischer Daten trainiert wurden, wie oben diskutiert.
Es wird dann bestimmt, für welche Merkmale C1, C2 Bewertungsinformationen in Form der Bewertungsbewertungen ES bereits bereitgestellt wurden und insbesondere, ob diese Bewertungsinformationen ausreichend hohe Konfidenzbewertungen CS aufweisen. Dies erfolgt in Schritt S5, um den angepassten Satz 60 der Antwortaufgaben RT.1, RT.k basierend auf den bisher diskutierten und nachstehend weiter ausgearbeiteten Kriterien zu erzeugen.
Beispielsweise kann festgestellt werden, dass die Bewertungsbewertung ES für die Merkmale C1 von 3 ziemlich niedrig ist (was im Allgemeinen kein Problem ist), aber dass die Konfidenzbewertung CS ziemlich hoch ist (80 von 100). Wenn der Konfidenzwert CS über einem vorbestimmten Schwellenwert (von z. B. 75) liegt, kann festgestellt werden, dass bereits ausreichende Bewertungsinformationen für das zugehörige Merkmal C1 bereitgestellt wurden. Somit können die Antwortaufgaben RT.1, RT.2, die zum Sammeln von Bewertungsinformationen für das Merkmal C1 ausgelegt sind, nicht Teil des eingestellten Satzes 60 sein. Stattdessen kann der Satz 60 nur die Antwortaufgabe RT.k seit den Merkmalen umfassen Das damit verbundene C2 ist durch einen eher niedrigen Konfidenzwert CS gekennzeichnet.
Anders ausgedrückt, aus der frei formulierten Antwort konnten nur unzureichende Bewertungsinformationen für die Merkmale C2 identifiziert werden. Daher sollte der Benutzer mit der Antwortaufgabe RT.k konfrontiert werden, die speziell darauf gerichtet ist, im letzten Schritt S6 Bewertungsinformationen für dieses Merkmal C2 zu sammeln.
Es ist zu beachten, dass als allgemeiner Aspekt dieser Erfindung, der nicht an die weiteren Details der Ausführungsformen gebunden ist, das Anpassen des Satzes von Antwortaufgaben auf Benutzerebene durchgeführt werden kann (dh jeder Benutzer erhält einen individuell angepassten Satz von Antwortaufgaben basierend auf seinen frei formulierte Antwort).
In Schritt S6 wird der angepasste Satz von Antwortaufgaben an den Benutzer ausgegeben, der dann ein Standardverfahren zum Beantworten der Antwortaufgaben des Satzes durch Auswählen der darin enthaltenen Antwortoptionen 50, 52 ausführt. Auf diese Weise werden weitere Bewertungsergebnisse für zumindest verbleibende unzureichend bewertete interessierende Merkmale gesammelt. Das Aktualisieren der Bewertungsbewertungen ES, aber möglicherweise auch der Konfidenzbewertungen CS für das Merkmal C1, C2 basierend auf den Antworten auf den angepassten Satz 60 wird vorzugsweise von der zentralen Computervorrichtung 21 durchgeführt. Die Umfrage kann beendet werden, wenn alle Antwortaufgaben des angepassten Satzes abgeschlossen sind 60 wurden beantwortet. Das Verfahren kann dann jedoch weiterhin eine unten diskutierte Vollständigkeitsbewertung bestimmen, indem Bewertungsinformationen über eine Vielzahl von und insbesondere alle Benutzer hinweg berücksichtigt werden.
Es ist zu beachten, dass insbesondere die Schritte S5 und Schritt S6 nur mit Bezug auf einen Benutzer beschrieben wurden.
Es ist im Allgemeinen bevorzugt, Antworten, die von mehreren Benutzern gleichzeitig oder asynchron gesammelt wurden, in diesen Schritten S5, S6 zu berücksichtigen.
Als weiteres optionales Merkmal kann eine Vollständigkeitsbewertung berechnet werden. Dies erfolgt vorzugsweise in einem Schritt S7 und basiert auf den Antworten der Benutzer auf die angepassten Sätze 60 der Antwortaufgaben RT.1, RT.2, RT.k. Dementsprechend wird die Vollständigkeitsbewertung vorzugsweise basierend auf Bewertungsinformationen bestimmt, die von einer Anzahl von Benutzern gesammelt wurden.
Die Vollständigkeitsbewertung kann einem bestimmten Modul 62 zugeordnet sein (dh jedes Modul 62 ist durch eine individuelle Vollständigkeitsbewertung gekennzeichnet). Es kann einen Grad an Vollständigkeit der bisher gesammelten Bewertungsinformationen in Bezug darauf anzeigen, ob diese Bewertungsinformationen ausreichen, um jedes Merkmal C1, C2 zu bewerten, das den Modulen 62 (und / oder den Antwortaufgaben RT.1, RT.2 zugeordnet ist), RT.k in dem Modul 62) enthalten.
Zusätzlich oder alternativ kann es auf der Grundlage einer statistischen Sicherheit und / oder eines Vertrauens in Bezug auf die für ein Merkmal C1, C2 ermittelte Bewertungsbewertung ES anzeigen oder bestimmt werden.
Beispielsweise kann die Verteilung der Bewertungsergebnisse ES über alle Benutzer, die für ein bestimmtes Merkmal C1, C2 bestimmt wurden, berücksichtigt und eine Standardabweichung davon berechnet werden. Wenn dies über einem akzeptablen Schwellenwert liegt, kann festgestellt werden, dass eine Gesamt- und z. B. durchschnittliche Bewertungsbewertung ES für das Merkmal C1, C2 nicht mit einem ausreichenden statistischen Vertrauen bestimmt wurde, was sich in einem jeweiligen (niedrigen) Wert von widerspiegeln kann Vollständigkeitsbewertung.
Insgesamt kann die Vollständigkeitsbewertung für jedes Modul und // oder jedes Merkmal verwendet werden, um Folgendes zu bestimmen (allein oder in beliebiger Kombination): - Was ein Befragter zu fragen hat, z. B. als Antwortaufgabe für die freie Formulierung (vorzugsweise an a Modul mit einer bislang unzureichend niedrigen
Vollständigkeitsbewertung); - Was sollte ein nächstes Modul für den aktuellen Befragten sein (vorzugsweise ein Modul mit einer bislang unzureichend niedrigen
Vollständigkeitsbewertung)? - Wenn weitere Antwortaufgaben, die an ein bestimmtes Modul gerichtet sind, an einen aktuellen Befragten ausgegeben werden sollen, z. B. falls das Modul noch nicht durch eine ausreichend hohe Vollständigkeitsbewertung gekennzeichnet ist; - Wenn weitere Befragte benötigt werden, sollten z. B. zum Ausfüllen der Online-Umfrage einbezogen und kontaktiert werden, beispielsweise wenn mindestens ein Modul eine Vollständigkeitsbewertung unter einem akzeptablen Schwellenwert aufweist.
Es ist zu beachten, dass als allgemeiner Aspekt dieser Erfindung, der nicht auf weitere Details der Ausführungsformen beschränkt ist, die Module 62 auch in Themen unterteilt werden können. Die Antwortaufgaben eines Moduls 62 können dementsprechend diesen Themen zugeordnet sein (dh es können Gruppen von Antwortaufgaben RT.1, RT.2, RT.k gebildet werden, die bestimmten Themen zugeordnet sind). Eine Vollständigkeitsbewertung kann dann auch basierend auf einer jeweiligen Themenebene bestimmt werden. Falls festgestellt wird, dass für ein bestimmtes Thema und für eine große Anzahl von Benutzern eine niedrige Vollständigkeitsbewertung vorliegt, kann jede der oben genannten Maßnahmen angewendet werden.
4 ist eine schematische Ansicht des Modells 100. Das Modell 100 empfängt mehrere Eingabeparameter 11 ... 13. Diese können eines der hier diskutierten Beispiele darstellen und können z. B. aus einer ersten Analyse des Inhalts der frei formulierten Antwort abgeleitet werden. Beispielsweise kann der Eingabeparameter 11 angeben, ob ein oder mehrere (und / oder welche) vorbestimmten Schlüsselwörter in der Antwort identifiziert wurden. Der Eingabeparameter 12 kann eine allgemein bestimmte negative oder positive Konnotation der Antwort anzeigen, und der Eingabeparameter 13 kann eine Ausgabe eines sogenannten Word2Vec-Algorithmus sein. Diese Eingaben können von dem Modell 100 verwendet werden, das zuvor basierend auf verifizierten Trainingsdaten trainiert wurde, um die Bewertungsbewertung ES und vorzugsweise einen Vektor von Bewertungsbewertungen für eine Anzahl von vorbestimmten Merkmalen von Interesse zu berechnen. Es kann auch Konfidenzbewertungen CS für jede der bestimmten Bewertungsbewertungen ES ausgeben.
Es ist zu beachten, dass die frei formulierte Antwort (z. B. als Text) zusätzlich oder alternativ auch als Eingabeparameter für das Modell 100 als solches eingegeben werden kann. Das Modell 100 kann dann Submodelle oder Subalgorithmen enthalten, um einen der oben diskutierten detaillierteren Eingabeparameter 11 ... 13 zu bestimmen, oder das Modell kann jedes einzelne Wort der frei formulierten Antwort direkt als einen einzelnen Eingabeparameter (z. B. eine Eingabe) verwenden Es kann ein Vektor bestimmt werden, der diese Wörter aus einer vorbestimmten Liste von Wörtern (z. B. Wörterbuch) anzeigt, die in der Antwort enthalten sind. Wiederum kann das Modell 100 basierend auf dem vorherigen Training mit verifizierten Trainingsdaten dann Bewertungsergebnisse bestimmen, die bestimmten Wörtern und / oder Wortkombinationen zugeordnet sind, die innerhalb einer frei formulierten Antwort-RTF auftreten.
Es ist zu beachten, dass ein angepasster Satz von Antwortaufgaben RT.1, RT.2, RT.k dazu führen kann, dass der Inhalt des Moduls 62 jeweils angepasst wird, dh dass bestimmte Antwortaufgaben RT.1, RT.2, RT.k gelöscht werden davon.
Nachdem ein Benutzer die Beantwortung eines Moduls 62 abgeschlossen hat, kann durch einen Dialogalgorithmus bestimmt werden, welches Modul 62 als nächstes behandelt werden soll. Zusätzlich oder alternativ kann bestimmt werden, welche Antwortaufgabe RT.1, RT.2, RT.k oder welches Thema eines Moduls 62 als nächstes behandelt werden soll. Auch in diesem Zusammenhang können nur die Antwortaufgaben RT.1, RT.2, RT.k berücksichtigt werden, die in dem angepassten Satz enthalten sind.
Der Dialogalgorithmus kann auf dem Server 12 oder dem zentralen Computergerät 21 oder auf einem der benutzergebundenen Geräte 20.1-20.k ausgeführt werden. Als Grundlage für seine Entscheidungen kann eine Vollständigkeitsbewertung oder eine Vertrauensbewertung, wie oben erörtert, und / oder eine Variabilität einer der bisher ermittelten Bewertungen berücksichtigt werden. Zusätzlich oder alternativ kann eine logische Sequenz vorgespeichert werden, gemäß der das Modul 62, Themen oder Antwortaufgaben RT.1, RT.2, RT.k ausgegeben werden sollen. Im Allgemeinen können Entscheidungsregeln vom Dialogalgorithmus erfasst werden.
Das Bereitstellen des Dialogalgorithmus hilft, die Qualität der Antworten zu verbessern, da Benutzer möglicherweise mit Sequenzen verwandter Antwortaufgaben RT.1, RT.2, RT.k und Themen konfrontiert sind. Dies hilft, Ablenkungen oder eine Verringerung der Motivation zu vermeiden, die als Reaktion auf zufällige Sprünge zwischen den Antwortaufgaben RT.1, RT.2, RT.k und Themen auftreten können. Dies trägt auch dazu bei, den Automatisierungsgrad zu erhöhen und den gesamten Prozess zu beschleunigen, wodurch die Belegungszeit und die Ressourcennutzung des Computernetzwerks 10 begrenzt werden.
Die in der obigen Beschreibung, den Ansprüchen und Figuren beschriebenen Merkmale können einzeln oder in beliebiger Kombination relevant sein, um die verschiedenen Ausführungsformen der Erfindung zu realisieren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20190066136 A1 [0002]
US 20190164182 A1 [0003]
US 20080091510 A1 [0004]
US 10387786 B2 [0005]

Claims

Verfahren zum Abfragen von Befragten einer oder mehrerer Populationen potenzieller Befragter in Bezug auf ein oder mehrere Konstrukte mit einem Interrogator (200), der so konfiguriert ist, dass er Fragensignale (210) an jeden Befragten überträgt, und Antwortsignale (220) von den Befragten als Antwort auf die Fragensignale empfängt, wobei das Verfahren eine oder mehrere Umfragen umfasst und jede Umfrage mindestens einen Twisit eines Abfragezyklus umfasst, mit den folgenden Schritten, die gleichzeitig ausgeführt werden: a) einen Fragenauswahlschritt, in dem der Interrogator (200) eine oder mehrere Fragen für jeden von einem oder mehreren Befragten auswählt, die im Twisit abgefragt werden sollen, wobei jeder Frage mindestens eine der Vielzahl von Konstrukten zugewiesen wird, b) einen Abfrageschritt, in dem der Interrogator (200) ein oder mehrere Fragensignale (210), die die Frage(n) umfassen, an den einen oder die mehreren Befragten sendet, und c) einen Antwortschritt, in dem der Interrogator (200) Antwortsignale (220) von denjenigen Befragten empfängt, die auf das Fragensignal/die Fragensignale (210) des Interrogators (200) reagieren; wobei in mindestens einer der Umfragen in mindestens einem der Twisits der Umfrage mindestens ein Teil der Befragten mindestens zweimal in demselben Twisit abgefragt wird, nachdem der Interrogator (200) in Schritt (c) Antwortsignale (220) von einem Befragten des Teils des Befragten empfangen hat, wobei der Interrogator (200) im gleichzeitigen Schritt (a) eine oder mehrere neue Fragen für denselben Befragten aus wählt, und im gleichzeitigen Schritt (b) der Interrogator (200) ein oder mehrere Fragensignale, die die neuen Fragen enthalten, an denselben Befragten sendet.
Verfahren nach Anspruch 1, wobei, wenn ein zuvor abgefragter Empfänger in derselben Zeit erneut abgefragt wird, der Interrogator (200) bei der Auswahl der einen oder mehreren Frage(n) für den Befragten Informationen über die Antwortsignal(e) (220) verwendet, das der Interrogator (200) zuvor von demselben Befragten in demselben Twisit empfangen hat.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Interrogator (200) in demselben Twisit einen Befragten weiter abfragt, bis eine Stoppbedingung des Befragten erfüllt ist, und eine Stoppbedingung des Befragten darin besteht, dass eine Abfrageladeinformation des Befragten eine erste Schwelle erreicht hat.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Konstrukte hierarchisch so organisiert sind, dass einige der Konstrukte anderen Konstrukten untergeordnet sind; der Interrogator (200) bei der Auswahl der einen oder mehreren Fragen im Auswahlschritt - ein oder mehrere Konstrukte auswählt und dann - eine oder mehrere Fragen nur aus den Fragen auswählt, die dem ausgewählten Konstrukt zugewiesen sind oder einem Konstrukt, das dem ausgewählten Konstrukt untergeordnet oder indirekt untergeordnet ist.
Verfahren nach Anspruch 4, wobei einige der Konstrukte als Primärkonstrukte klassifiziert sind, wobei in dem Fragenauswahlschritt nur Primärkonstrukte ausgewählt werden.
Verfahren nach Anspruch 4 oder 5, wobei in mindestens einer der Erhebungen mindestens ein Twisit umfasst d) einen Konfidenzbewertungsschritt, in dem der Interrogator (200) mindestens einem Konstrukt in Bezug auf mindestens eine Population eine Konfidenzbewertung zuweist, die unter Verwendung von Informationen aus Antwortsignalen (220) erhalten wird, die der Interrogator (200) zuvor in derselben Umfrage vom Befragten erhalten hat, und wobei wenn ein zuvor abgefragter Befragter im selben Twisit erneut abgefragt wird, der Interrogator (200) bei der Auswahl der einen oder mehreren Fragen für den Befragten einen oder mehrere Konfidenzwerte verwendet, die unter Verwendung von Informationen aus Antwortsignalen (220) von den gleichen Befragten.
Verfahren nach Anspruch 6, wobei die Konfidenzbewertung eine Fehlerquote in dem Wert widerspiegelt, der aus der / den Empfängerantwort(en) bezüglich des Konstrukts abgeleitet wurde, für das die Konfidenzbewertung berechnet wird.
Verfahren nach Anspruch 6 oder 7, wobei bei der Auswahl der einen oder mehreren Frage(n) im Auswahlschritt der Interrogator (200) die Frage(n) nur aus Fragen auswählt, die zugewiesen wurden, um die Konfidenzbewertung zu konstruieren, der unterhalb einer ersten Konfidenzschwelle ist.
Verfahren nach einem der Ansprüche 6 oder 8, wobei der Interrogator (200), sobald er begonnen hat, den Befragten nach einem Konstrukt abzufragen, den Befragten nach diesem Konstrukt weiter abfragt, bis eine oder mehrere Konstruktstoppbedingungen erfüllt sind, wobei die Konstruktstoppbedingung(en) die Konfidenzbewertung des Konstrukts und aller untergeordneten und indirekt untergeordneten Konstrukte, die über der Konfidenzschwelle liegen, aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in mindestens einer der Erhebungen mindestens ein Twisit umfasst e) einen Relevanzbewertungsschritt, in dem der Interrogator (200) mindestens einer Frage in Bezug auf mindestens ein Konstrukt eine Relevanzbewertung zuweist, die unter Verwendung von Informationen aus Antwortsignalen (220) erhalten wird, die der Interrogator (200) zuvor erhalten hat und wobei der Interrogator (200) bei der Auswahl der einen oder mehreren Fragen eine oder mehrere der Relevanzbewertungen verwendet.
Verfahren nach Anspruch 10, wobei der Interrogator (200) bei der Auswahl der einen oder mehreren Fragen im Auswahlschritt - ein oder mehrere Konstrukte auswählt und dann - eine oder mehrere Fragen aus allen Fragen oder eine Teilmenge aller Fragen auswählt basierend auf den Relevanzwerten der Fragen in Bezug auf das Konstrukt.
Verfahren nach Anspruch 11, wobei bei der Auswahl einer Frage aus allen Fragen oder einer Teilmenge aller Fragen basierend auf den Relevanzwerten der Fragen die Wahrscheinlichkeit, dass der Interrogator (200) eine Frage auswählt, umso höher ist, je höher die Relevanz der Frage ist Punktzahl in Bezug auf dieses Konstrukt ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in mindestens einer der Umfragen im Auswahlschritt von mindestens einem Twisit die vom Interrogator (200) ausgewählte Teilmenge nur Befragte umfasst, von denen der Interrogator (200) hat kein Antwortsignal (220) in anderen Twisits derselben Umfrage erhalten.
Interrogator (200), der konfiguriert ist, um Fragensignale (210) in Bezug auf ein oder mehrere Konstrukte an einen Befragten zu senden, der aus einer Population potenzieller Befragter ausgewählt wurde, und um Antwortsignale (220) von den Befragten als Antwort auf die Fragensignale zu empfangen, wobei der Interrogator (200) konfiguriert ist, um ein Verfahren gemäß einem der Ansprüche 1 bis 13 durchzuführen.
Interrogator (200) nach Anspruch 14, umfassend: einen Bus; eine mit dem Bus verbundene Kommunikationseinheit; einen ersten Speicher, der mit dem Bus verbunden ist, wobei der erste Speicher einen Satz von computerverwendbarem Programmcode speichert; einen Prozessor, der mit dem Bus verbunden ist, wobei der Prozessor den Satz von computerverwendbarem Programmcode ausführt, um ein Verfahren gemäß einem der Ansprüche 1 bis 13 durchzuführen.
Interrogator (200) nach Anspruch 15, wobei der Interrogator (200) ferner einen zweiten Speicher umfasst, wobei der zweite Speicher Informationen über jedes der mehreren Konstrukte speichert.
Computerprogrammprodukt, umfassend ein computerlesbares Speichermedium, das computerverwendbaren Programmcode speichert, der von einem Prozessor ausführbar ist, wobei der ausführbare computerverwendbare Programmcode Code umfasst, um ein Verfahren gemäß einem der Ansprüche 1 bis 13 durchzuführen.
Verfahren zum Sammeln von Bewertungsinformationen von einem Benutzer mit einem Computernetzwerk (10), wobei das Computernetzwerk (10) Folgendes ausführt: - Empfangen eines anfänglichen Satzes vorbestimmter Antwortaufgaben (RT.1, RT.2, RT.k), wobei jede Antwortaufgabe (RT.1, RT.2, RT.k) eine Anzahl vorbestimmter Antwortoptionen enthält (50 ,52), wobei basierend auf den von einem Benutzer ausgewählten Antwortoptionen (50, 52) Bewertungsinformationen zum Bewerten mindestens eines vorbestimmten Merkmals (C1, C2) bestimmt werden können; - Ausgeben einer freien Formulierungsantwortaufgabe (RTF) an mindestens einen Benutzer über ein Computergerät (20.1, 20.2, 20.K, 12, 21) des Computernetzwerks (10) eine zumindest teilweise frei formulierte Antwort kann vom Benutzer empfangen werden; - Identifizieren von Bewertungsinformationen auf der Grundlage der frei formulierten Antwort über ein Computergerät (20.1, 20.2, 20.K, 12, 21) des Computernetzwerks (10), wobei die Bewertungsinformationen zum Bewerten des mindestens einen vorbestimmten Merkmals(C1, C2) verwendet werden können; - Erzeugen über ein Computergerät (20.1, 20.2, 20.K, 12, 21) des Computernetzwerks (10), eines angepassten Satzes (60) von Antwortaufgaben (RT.1, RT.2, RT.k) basierend auf den identifizierten Bewertungsinformationen.
Computernetzwerk (10) zum Sammeln von Bewertungsinformationen für mindestens ein vorbestimmtes Merkmal (C1, C2) von mindestens einem Benutzer, wobei das Computernetzwerk (10) einen anfänglichen Satz von vorbestimmten Antwortaufgaben (RT.1, RT.2, RT.k) aufweist, wobei jede Antwortaufgabe (RT.1, RT.2, RT.k) eine Anzahl von vorbestimmten Antwortoptionen (50, 52) umfasst, wobei basierend auf den durch einem Benutzer ausgewählten Antwortoptionen (50, 52) Bewertungsinformationen zum Bewerten mindestens eines vorbestimmten Merkmals (C1, C2) bestimmt werden können; und wobei das Computernetzwerk (10) mindestens eine Verarbeitungseinheit (23) umfasst, die konfiguriert ist, um eines der folgenden Softwaremodule auszuführen, die in einer Datenspeichereinheit (22, 26) des Computernetzwerks (10) gespeichert sind: - ein Freiformierungsausgabesoftwaremodul (101), das konfiguriert ist, um mindestens eine Freiformierungsantwortaufgabe (RTF) bereitzustellen, mit deren Hilfe eine frei formulierte Antwort von mindestens einem Benutzer empfangen werden kann; - ein Freiformulierungsanalysesoftwaremodul (102), das konfiguriert ist, um die frei formulierte Antwort zu analysieren und dadurch die darin enthaltenen Bewertungsinformationen zu identifizieren, wobei die Bewertungsinformationen zur Bewertung des mindestens einen vorbestimmten Merkmals verwendet werden können; - ein konfiguriertes Softwaremodul zur Anpassung des Antwortsatzes (103), das konfiguriert ist, einen angepassten Satz (60) von Antwortaufgaben (RT.1, RT.2, RT.k) basierend auf den Bewertungsinformationen zu generieren, die durch das Freiformulierungsanalysesoftwaremodul (102) identifiziert wurden.