BR112014000988B1 - método e dispositivo para reproduzir automaticamente uma expressão em imagem virtual, e meio legível em máquina - Google Patents
método e dispositivo para reproduzir automaticamente uma expressão em imagem virtual, e meio legível em máquina Download PDFInfo
- Publication number
- BR112014000988B1 BR112014000988B1 BR112014000988-0A BR112014000988A BR112014000988B1 BR 112014000988 B1 BR112014000988 B1 BR 112014000988B1 BR 112014000988 A BR112014000988 A BR 112014000988A BR 112014000988 B1 BR112014000988 B1 BR 112014000988B1
- Authority
- BR
- Brazil
- Prior art keywords
- facial
- tracking
- extracted
- expression
- movement
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
MÉTODO E DISPOSITIVO PARA REPRODUÇÃO AUTOMÁTICA DE EXPRESSÃO EM IMAGEM VIRTUAL são providos método e dispositivo de reprodução automática de uma expressão em uma imagem virtual, sendo que dito método inclui as etapas de : A : captação de uma imagem de vídeo relacionada a um jogador de jogo em um jogo, e determinação se uma imagem de vídeo capturada contém uma imagem facial do jogador de jogo, e em caso afirmativo, execução de uma etapa B; caso contrário, retorno à etapa A; B: extração de traços faciais a partir da imagem facial, e obtenção de um rastreamento de movimento de cada um dos traços faciais através de direções de movimento do traço facial extraído, que são adquiridos por N vezes, onde N é superior a ou igual a 2; e C: determinação de uma expressão facial correspondente de acordo com o rastreamento de movimento do traço facial, que é obtido na etapa B, e reprodução automática da expressão facial determinada em uma imagem virtual do jogador de jogo.
Description
[0001] Este pedido reivindica a prioridade do Pedido de Patente Chinês No. 201210098817.8, depositado em 6 de abril de 2012, e intitulado "MÉTODO E DISPOSITIVO PARA REPRODUÇÃO AUTOMÁTICA DE EXPRESSÃO EM IMAGEM VIRTUAL”, sendo aqui incorporadas todas as descrições do mesmo por referência em sua totalidade.
[0002] A presente invenção refere-se ao campo de tecnologias de computador, particularmente a um método e a um dispositivo para reprodução automática de uma expressão em uma imagem virtual.
[0003] Nos jogos existentes, jogadores de jogo em geral são pro vidos de imagens pessoais virtuais que podem ser vestidas. A imagem pessoal virtual dos jogadores de jogo é abreviadamente chamada de Avatar. No jogo, o jogador de jogo pode clicar e selecionar uma expressão que representa seu humor momentâneo através da função de expressão pré-definida para reproduzir a expressão selecionada em seu Avatar de forma que o humor momentâneo do jogador possa ser reconhecido através de outros jogadores de jogo. Por exemplo, a expressão de felicidade é clicada selecionada através da função de expressão preferida pelo jogador de jogo e é reproduzida no Avatar do jogador de jogo quando o jogador de jogo ganha um jogo.
[0004] Verificou-se ser necessário para o jogador de jogo clicar inicialmente e selecionar uma expressão no jogo existente. Porém, o jogador de jogo não tem tipicamente tempo para clicar inicialmente e selecionar a expressão durante um jogo desse modo a expressão não poderia ser reproduzida no Avatar. Portanto, é preferido que a expressão possa ser reproduzida automaticamente no Avatar do jogador de jogo. Porém, um método de reprodução automática da expressão no Avatar do jogador de jogo não foi proposto no estado da técnica.
[0005] As concretizações da presente invenção provêm um método e um dispositivo de reprodução automática de uma expressão em uma imagem virtual de forma a executar a reprodução de uma expressão em uma imagem virtual do jogador de jogo.
[0006] A solução técnica da presente invenção provida pelas concretizações da presente invenção inclui: um método de reprodução automática de uma expressão em uma imagem virtual, incluindo as etapas de: A - captação de uma imagem de vídeo captação de uma imagem de vídeo relacionada a um jogador de jogo em um jogo, e determinação se a imagem de vídeo capturada é uma imagem facial do jogador de jogo, e em caso afirmativo, execução de uma etapa B; senão, retorno à etapa A; B - extração de características faciais da imagem facial, e obtenção de um rastreamento de movimento de cada uma das características faciais extraídas pelas direções de movimento do traço facial extraída que são adquiridas sequencialmente para N vezes; onde N é maior do que ou igual a 2; e C - determinação de uma expressão facial correspondente de acordo com o rastreamento de movimento de traços faciais traço facial que é obtido na etapa B, e reprodução automática da expressão facial determinada em uma imagem virtual do jogador de jogo.
[0007] Um dispositivo de reprodução automática de uma expressão em uma imagem virtual, incluindo: uma unidade de captura, uma unidade de determinação de rastreamento e uma unidade de reprodução de expressão; em que: a unidade de captura é configurada para é configurada para capturar uma imagem de vídeo relacionada a um jogador de jogo em um jogo, e determinar se a imagem de vídeo capturada contém uma imagem facial do jogador de jogo, e em caso afirmativo, enviar uma notificação à unidade de determinação de rastreamento; caso contrário, continuar a capturar a imagem de vídeo relacionada ao jogador de jogo no jogo; a unidade de determinação de rastreamento é configurada para extrair traços faciais da imagem facial após receber a notificação enviada pela unidade de captura, e obter um rastreamento de movimento de cada um dos traços faciais extraídos através de direções de movimento do traço facial extraído que são sequencialmente adquiridos por N vezes; onde N é maior do que ou igual a 2; e a unidade de reprodução de expressão é configurada para determinar uma expressão facial correspondente de acordo com o rastreamento de movimento do traço facial que é obtido pela unidade de determinação de rastreamento, e reproduzir automaticamente a expressão facial determinada na imagem virtual do jogador de jogo.
[0008] Conforme podemos observar a partir das soluções técnicas acima nas concretizações da presente invenção, após o traço facial ser extraído da imagem facial do jogador de jogo, que é capturada durante o jogo, o rastreamento de movimento do traço facial é obtido a partir das direções de movimento do traço facial, que são sequencialmente adquiridos por N vezes, e a expressão facial é determinada a partir do rastreamento de movimento do traço facial e em seguida automaticamente reproduzida automaticamente reproduzida. Comparado com o estado da técnica no qual a expressão facial é inicialmente clicada e selecionada pelo jogador de jogo, a presente invenção é vantajosa pelo fato de, em um aspecto, a expressão facial poder ser automaticamente reproduzida na imagem virtual tal como o Avatar do jogador de jogo; em outro aspecto, o jogador de jogo fica livre de clicar inicialmente a expressão facial a ser reproduzida, economizando assim o tempo do jogador de jogo.
[0009] A figura 1 é um fluxograma de um método de acordo com uma concretização da presente invenção;
[00010] A figura 2 é uma vista esquemática de traços faciais de acordo com a concretização da presente invenção;
[00011] A figura 3 é um fluxograma que mostra a implementação da etapa 103 de acordo com a concretização da presente invenção; e
[00012] A figura 4 é uma vista esquemática que mostra a estrutura de um dispositivo de acordo com a concretização da presente invenção.
[00013] Para esclarecer melhor os objetivos, as soluções técnicas e vantagens da descrição, a invenção será ilustrada a seguir em conjunção com os desenhos e concretizações específicas.
[00014] Um método provido na presente invenção inclui o fluxograma mostrado na figura 1.
[00015] Com relação à figura 1 que mostra um fluxograma do método de acordo com uma concretização da presente invenção, e o fluxograma do método inclui as seguintes etapas 101, 102 e 103.
[00016] Etapa 101: captação de uma imagem de vídeo relacionada a um jogador de jogo em um jogo, e determinação se a imagem de vídeo capturada contém uma imagem facial do jogador de jogo, e em caso afirmativo, execução da etapa 102; caso contrário, retorno à etapa 101.
[00017] Uma vez que as imagens de vídeo são transmitidas em unidade de quadro, quando cada imagem de quadro é capturada na etapa 101, determina-se se a imagem de quadro capturada contém a imagem facial do jogador de jogo, e em caso afirmativo, a etapa 102 é executada; caso contrário, o método procede à captura da próxima imagem de quadro.
[00018] A etapa 102, extração de traços faciais da imagem facial, e obtenção de um rastreamento de movimento de cada um dos traços faciais extraídos através de direções de movimento do traço facial extraído que são sequencialmente adquiridos por N vezes.
[00019] Neste caso, N é maior do que ou igual a 2.
[00020] Neste caso é mostrado que a extração nas etapas 102 e 101 pode ser adquirida através da tecnologia de captura de vídeo.
[00021] Além disso, a extração na etapa 102 pode ser obtida pela tecnologia de reconhecimento de face.
[00022] Etapa 103: determinação de uma expressão facial correspondente de acordo com o rastreamento de movimento do traço facial que é obtido na etapa 102, e reprodução automática da expressão facial determinada em uma imagem virtual do jogador de jogo.
[00023] Podemos observar a partir das etapas 101 a 103 na presente invenção, após o traço facial ser extraído através da tecnologia de reconhecimento de face a partir da imagem facial do jogador de jogo, que é capturada pela tecnologia de captura de vídeo durante o jogo, o rastreamento de movimento do traço facial é obtido a partir das direções de movimento do traço facial que são sequencialmente adquiridas por N vezes, e a expressão facial é determinada a partir do rastreamento de movimento do traço facial e em seguida automaticamente reproduzida. Em comparação com o estado da técnica no qual a expressão facial é inicialmente clicada e selecionada pelo jogador de jogo, a presente descrição é vantajosa pelo fato de, em um aspecto, a expressão facial pode ser automaticamente reproduzida na imagem virtual tal como o Avatar do jogador de jogo; em outro aspecto, o jogador de jogo fica desobrigado a clicar inicialmente a expressão facial a ser reproduzida, economizando assim o tempo do jogador de jogo.
[00024] Além disso, preferivelmente, os traços faciais extraídos na etapa 102 da presente invenção representa pelo menos cinco partes faciais do jogador de jogo, incluindo sobrancelhas, olhos, nariz, e lábios. Cada uma das partes faciais é representada por uma pluralidade de vetores de traços. Conforme mostrado na figura 2, por exemplo, cada uma das sobrancelhas é representada por cinco vetores de traços formados por cinco pontos de traços conectados entre si.
[00025] Além disso, obtenção de um rastreamento de movimento de cada um dos traços faciais extraídos através de direções de movimento do traço facial extraído que são sequencialmente adquiridos por N vezes na etapa 102 inclui: com relação a cada uma das partes extraídas, aquisição sequencial de vetores de traços que representam a parte facial extraída por N vezes, e determinação do rastreamento de movimento da parte facial de acordo com os vetores de traços que representam a parte facial que são adquiridos por N vezes. Por exemplo, se o traço facial for o nariz, vetores de traços que representam o nariz, i.e. vetores 47 a 57, são sequencialmente adquiridos por N vezes, e o rastreamento de movimento da parte facial é determinado de acordo com os vetores 47 a 57 adquiridos por N vezes. Neste caso, determinação do rastreamento de movimento da parte facial de acordo com os vetores 47 a 57 adquiridos por N vezes pode ser implementada da maneira existente de determinação do rastreamento com base nos vetores.
[00026] Com base na descrição da etapa 102, a etapa 103 pode incluir especificamente o fluxograma como mostrado na figura 3.
[00027] Com relação à figura 3, que é um fluxograma que mostra a implementação da etapa 103 de acordo com a concretização da presente invenção e o fluxograma da etapa 103 inclui as seguintes etapas 301, 302 e 303.
[00028] Etapa 301: combinação do rastreamento de movimento de cada uma das partes faciais extraídas com um conjunto de relações de correspondência entre rastreamentos de movimentos faciais em comum e expressões faciais, onde os rastreamentos de movimentos faciais em comum são adquiridos através de pré-treino; e se no conjunto de relações de correspondência, houver uma relação de correspondência, da qual um rastreamento de movimento facial em comum é associado ao rastreamento de movimento de cada uma das partes faciais extraídas, então executar etapa 302; caso contrário, executar etapa 303.
[00029] Preferivelmente, na etapa 301, a associação entre o rastre- amento de movimento facial em comum da relação de correspondência e o rastreamento de movimento de cada uma das partes faciais extraídas pode ser como segue.
[00030] Com relação ao rastreamento de movimento de cada uma das partes faciais extraídas, uma taxa de combinação entre o rastreamento de movimento facial em comum da relação de correspondência e o rastreamento de movimento de cada uma das partes faciais extraídas é maior do que ou igual a um valor de combinação correspondendo à parte facial extraída. Valores de combinação correspondendo a diferentes partes faciais podem ser iguais ou diferentes, o que não é limitado na presente invenção.
[00031] Além disso, na etapa 301, o conjunto de relações de correspondência entre os movimentos faciais em comum e as expressões faciais é obtido através das seguintes etapas de: com relação a uma expressão facial específica, tal como sorriso, choro, expressão amuada ou brava, determinar rastreamentos de movimentos de cada uma das partes faciais, ao coletar um rastreamento de movimento da parte facial com respeito à expressão facial específica por múltiplas vezes; com relação a cada uma das partes faciais, extração de um rastreamento de movimento em comum a partir de determinados rastreamentos de movimento da parte facial com respeito à expressão facial; e ligação do rastreamento de movimento em comum de cada uma das partes faciais com a expressão facial em conjunto para estabelecer a relação de correspondência entre os rastreamentos de movimentos faciais em comum e a expressão facial.
[00032] Etapa 302: reprodução automática da expressão facial na relação de correspondência, cujos rastreamentos de movimentos faciais em comum contém um rastreamento de movimento relacionado ao rastreamento de movimento de cada uma das partes faciais extraídas, na imagem virtual do jogador de jogo.
[00033] Etapa 303: procedimento da captura na etapa 101.
[00034] Como tal, a etapa 103 é obtida através das etapas 301 a 303.
[00035] A esse respeito, foi descrito o método de acordo com a presente invenção e o dispositivo da presente invenção é descrito como segue: com relação à figura 4 que é uma vista esquemática que mostra a estrutura de um dispositivo de acordo com as concretizações da presente invenção, o dispositivo é configurado para reproduzir automaticamente uma expressão facial na imagem virtual. O dispositivo inclui uma unidade de captura, uma unidade de determinação de rastreamento e uma unidade de reprodução de expressão.
[00036] A unidade de captura é configurada para capturar a imagem de vídeo relacionada a um jogador de jogo em um jogo, e determinar se a imagem de vídeo capturada contém uma imagem facial do jogador de jogo, e em caso afirmativo, enviar uma notificação à unidade de determinação de rastreamento; caso contrário, continuar a capturar a imagem de vídeo relacionada ao jogador de jogo no jogo.
[00037] A unidade de determinação de rastreamento é configurada para extrair traços faciais a partir da imagem facial após receber a notificação enviada pela unidade de captura, e obter um rastreamento de movimento de cada um dos traços faciais extraídos através de direções de movimento do traço facial extraído que são sequencialmente adquiridos por N vezes; onde N é maior do que, ou igual a 2.
[00038] A unidade de reprodução de expressão é configurada para determinar uma expressão facial correspondente de acordo com o rastreamento de movimento do traço facial que é obtido pela unidade de determinação de rastreamento, e reproduzir automaticamente a expressão facial determinada na imagem virtual do jogador de jogo.
[00039] Preferivelmente, conforme mostrado na figura 4, a unidade de determinação de rastreamento inclui um módulo de extração de traços e um módulo de determinação de traços.
[00040] O módulo de extração de traços é configurado para extrair os traços faciais a partir da imagem facial capturada pela unidade de captura, os traços faciais extraídos representam pelo menos cinco partes faciais do jogador de jogo, e cada uma das partes faciais é representada por uma pluralidade de vetores de traços.
[00041] O módulo de determinação de traços é configurado para: adquirir sequencialmente vetores de traços que representam cada uma das partes faciais extraídas pelo módulo de extração de traços por N vezes; e determinar o rastreamento de movimento da parte facial de acordo com os vetores de traços que representam a parte facial que são sequencialmente adquiridos por N vezes.
[00042] Preferivelmente, conforme mostrado na figura 4, a unidade de reprodução de expressão inclui um módulo de combinação e um módulo de reprodução de expressão;
[00043] O módulo de combinação é configurado para combinar o rastreamento de movimento de cada uma das partes faciais extraídas com um conjunto de relações de correspondência entre rastreamentos de movimentos faciais em comum e expressões faciais, onde os rastreamentos de movimentos faciais em comum são adquiridos através de pré-treino; e se no conjunto de relações de correspondência, houver uma relação de correspondência, da qual um rastreamento de movimento facial em comum é associado ao rastreamento de movimento de cada uma das partes faciais extraídas, então enviar a notificação à módulo de reprodução de expressão.
[00044] A associação entre o rastreamento de movimento facial em comum da relação de correspondência e o rastreamento de movimento de cada uma das partes faciais extraídas pode ser como segue.
[00045] Com relação ao rastreamento de movimento de cada uma das partes faciais extraídas, uma taxa de combinação entre o rastre- amento de movimento facial em comum da relação de correspondência e o rastreamento de movimento de cada uma das partes faciais extraídasé maior do que ou igual a um valor de combinação correspondendo à parte facial extraída. Valores de combinação correspondendo a diferentes partes faciais podem ser iguais ou diferentes.
[00046] Além disso, preferivelmente, o módulo de combinação é também configurado para acionar a unidade de captura para continuar a capturar a imagem de vídeo relacionada ao jogador de jogo no jogo quando a relação de correspondência, cujos rastreamentos de movimentos faciais em comum contém um rastreamento de movimento relacionado ao rastreamento de movimento de cada uma das partes faciais extraídas, estiver presente em conjunto de relações de correspondência.
[00047] O módulo de reprodução de expressão é configurado para reproduzir automaticamente a expressão facial na relação de correspondência, cujos rastreamentos de movimentos faciais em comum contém um rastreamento de movimento relacionado ao rastreamento de movimento de cada uma das partes faciais extraídas, na imagem virtual do jogador de jogo após receber a notificação.
[00048] Nesse aspecto foi descrito o dispositivo da presente invenção.
[00049] Conforme podemos observar a partir das soluções técnicas acima na presente invenção, após o traço facial ser extraído da imagem facial do jogador de jogo que é capturado durante o jogo, o rastreamento de movimento do traço facial ser obtido a partir das direções de movimento do traço facial que são sequencialmente adquiridos por N vezes, e a expressão facial ser determinada a partir do rastreamento de movimento do traço facial e depois automaticamente reproduzida. Comparado com o estado da técnica no qual a expressão facial é inicialmente clicada e selecionada pelo jogador de jogo, a presente descrição é vantajosa em que, em um aspecto, a expressão facial pode ser automaticamente reproduzida na imagem virtual tal como o Avatar do jogador de jogo; em outro aspecto, o jogador de jogo fica desobrigado a clicar inicialmente a expressão facial a ser reproduzida economizando assim o tempo do jogador de jogo.
[00050] Uma concretização da presente invenção também provê um meio de armazenamento legível em máquina contendo um conjunto de instruções que é configurado para, ao ser executado, instruir a máquina para executar o método de acordo com qualquer uma das concretizações acima descritas. O meio de armazenamento legível em máquina pode ser um disco flexível, um disco rígido ou um disco compacto (CD), etc., e a máquina pode ser um fone móvel, um computador pessoal, um servidor ou um equipamento de rede.
[00051] Foram descritas as concretizações preferidas da presente invenção, porém não foram concebidas para limitar a presente invenção. Qualquer modificação, variação equivalente ou aperfeiçoamento feito sem abandonar o conceito e princípio da presente invenção se enquadram no escopo da invenção.
[00052] Note-se que com relação às concretizações anteriores do método, o método é descrito como uma série de ações combinadas para fins de uma descrição simples. Porém, o versado na técnica entenderá que a descrição não é limitada à sequência das ações, pois algumas etapas podem ser conduzidas em outra sequência ou simultaneamente de acordo com a invenção. Além disso, o versado na técnica entenderá que as concretizações descritas na descrição são preferidas e as ações relacionadas e módulos poderão ser omitidos na descrição.
[00053] Cada uma das concretizações acima descritas contém dife-renteênfase. Para conteúdos que não são descritos detalhadamente em uma determinada concretização, pode ser feita referência à descrição relacionada na outra concretização.
[00054] O versado na técnica entenderá que todas as partes ou uma parte das etapas de implementação das concretizações acima referidas do método poderão ser completadas por hardware de instruções de programa e o programa pode ser armazenado em um meio de armazenamentolegível em computador. O programa, quando executado, executa as etapas na concretização do método. O meio de armazenamento descrito inclui um meio tal como ROM, uma RAM, um disco flexível ou um disco compacto, no qual são armazenados códigos de programa.
[00055] Finalmente, deve-se notar que a concretização acima descritaé somente apresentada a título de exemplo e não foi concebida para limitar esta descrição; embora esta descrição tenha sido ilustrada detalhadamente com relação às concretizações anteriores, o versado na técnica entenderá que a solução registrada em qualquer uma das concretizações anteriores poderá ser modificada, ou as características técnicas parciais da solução poderão ser substituídas de modo equivalente.
Claims (8)
1. Método para reproduzir automaticamente uma expressão em uma imagem virtual, caracterizado pelo fato de que compreende etapas de: A: captar uma imagem de vídeo relacionada a um jogador de jogo em um jogo, e determinar se a imagem de vídeo capturada contém uma imagem facial do jogador de jogo, e em caso afirmativo, executar uma etapa B; caso contrário, retornar à etapa A; B: extrair traços faciais a partir da imagem facial, e obter um rastreamento de movimento de cada um dos traços faciais extraídos através de direções de movimento dos traços faciais extraídos que são sequencialmente adquiridos por N vezes; em que N é maior do que ou igual a 2, em que os traços faciais pelo menos representam cinco partes faciais do jogador de jogo; e C: combinar o rastreamento de movimento de cada uma das partes faciais extraídas com um conjunto de relações de correspondência entre rastreamentos de movimentos faciais em comum e expressões faciais, em que, com relação a uma expressão facial, um rastreamento de movimento em comum com relação a uma parte facial é extraído a partir de rastreamentos de movimentos da parte facial que são determinados ao coletar um rastreamento de movimento da parte facial com relação à expressão facial por múltiplas vezes; e se, no conjunto de relações de correspondência, houver uma relação de correspondência, da qual um rastreamento de movimento facial em comum é associado ao rastreamento de movimento de cada uma das partes faciais extraídas, reproduzir automaticamente uma expressão facial na relação de correspondência, da qual o rastreamento de movimento facial é associado ao rastreamento de movimento facial de cada uma das partes faciais extraídas, na imagem virtual do jogador de jogo.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que cada uma das partes faciais é representada por uma pluralidade de vetores de traços; e em que obter um rastreamento de movimento de cada um dos traços faciais extraídos através de direções de movimento do traço facial extraído que são sequencialmente adquiridos por N vezes na etapa B ainda compreende: com relação a cada uma das partes faciais extraídas, adquirir sequencialmente vetores de traços representando a parte facial extraída por N vezes, e determinar o rastreamento de movimento da parte facial de acordo com os vetores de traços representando a parte facial que são adquiridos por N vezes.
3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a associação entre o rastreamento de movimento facial em comum e o rastreamento de movimento de cada uma das partes faciais extraídas é que: com relação ao rastreamento de movimento de cada uma das partes faciais extraídas, uma taxa de combinação entre o rastreamento de movimento facial em comum da relação de correspondência e o rastreamento de movimento da parte facial extraída é maior do que ou igual a um valor de combinação correspondendo à parte facial extraída.
4. Dispositivo para reproduzir automaticamente uma expressão em uma imagem virtual, caracterizado pelo fato de que compreende: uma unidade de captura, uma unidade de determinação de rastreamento, um módulo de combinação e uma unidade de reprodução de expressão, em que, a unidade de captura é configurada para capturar uma imagem de vídeo relacionada a um jogador de jogo em um jogo, e determinar se a imagem de vídeo capturada contém uma imagem facial do jogador de jogo, e em caso afirmativo, enviar uma notificação à unidade de determinação de rastreamento; caso contrário, continuar a capturar a imagem de vídeo relacionada ao jogador de jogo no jogo; a unidade de determinação de rastreamento é configurada para extrair traços faciais a partir da imagem facial após receber a notificação enviada pela unidade de captura, e obter um rastreamento de movimento de cada um dos traços faciais extraídos através de direções de movimento do traço facial extraído que são sequencialmente adquiridos por N vezes, onde N é maior do que ou igual a 2, em que os traços faciais pelo menos representam cinco partes faciais do jogador de jogo; o módulo de combinação é configurado para combinar o rastreamento de movimento de cada uma das partes faciais extraídas com um conjunto de relações de correspondência entre rastreamentos de movimentos faciais em comum e expressões faciais, em que, com relação a uma expressão facial, um rastreamento de movimento em comum com relação a uma parte facial é extraído a partir de rastrea- mentos de movimentos da parte facial que são determinados ao coletar um rastreamento de movimento da parte facial com relação à expressão facial por múltiplas vezes; e a unidade de reprodução de expressão é configurada para reproduzir automaticamente uma expressão facial na relação de correspondência, da qual o rastreamento de movimento facial é associado ao rastreamento de movimento facial de cada uma das partes faciais extraídas, na imagem virtual do jogador de jogo, se, no conjunto de relações de correspondência, houver uma relação de correspondência, da qual um rastreamento de movimento facial em comum é associado ao rastreamento de movimento de cada uma das partes faciais extraídas.
5. Dispositivo, de acordo com a reivindicação 4, caracterizado pelo fato de que a unidade de determinação de rastreamento compreende: um módulo de extração de traços, que é configurado para extrair os traços faciais a partir da imagem facial capturada pela unidade de captura, em que cada uma das partes faciais é representada por uma pluralidade de vetores de traços; um módulo de determinação de traços, que é usado para: com relação a cada uma das partes faciais extraídas pelo módulo de extração de traços, adquirir sequencialmente vetores de traços representando a parte facial por N vezes; e determinar o rastreamento de movimento da parte facial de acordo com os vetores de traços representando a parte facial que são sequencialmente adquiridos por N vezes.
6. Dispositivo, de acordo com a reivindicação 5, caractere- zado pelo fato de o fato de que a associação entre o rastreamento de movimento facial em comum e o rastreamento de movimento de cada uma das partes faciais extraídas é que: com relação ao rastreamento de movimento de cada uma das partes faciais extraídas, uma taxa de combinação entre o rastre- amento de movimento facial em comum da relação de correspondência e o rastreamento de movimento da parte facial extraída é maior do que ou igual a um valor de combinação correspondendo à parte facial extraída.
7. Dispositivo, de acordo com a reivindicação 5, caractere- zado pelo fato de que o módulo de combinação também é configurado para acionar a unidade de captura para continuar a capturar uma imagem de vídeo relacionada ao jogador de jogo no jogo quando a relação de correspondência, da qual os rastreamentos de movimentos faciais em comum contêm um rastreamento de movimento relacionado ao rastreamento de movimento de cada uma das partes faciais extraídas, não está presente em um conjunto de relações de correspondência.
8. Meio legível em máquina caracterizado pelo fato de que armazena um método que, quando executado, faz com que uma máquina execute o método como definido em qualquer uma das reivindicações de 1 a 3.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210098817.8 | 2012-04-06 | ||
| CN201210098817.8A CN103366782B (zh) | 2012-04-06 | 2012-04-06 | 在虚拟形象上自动播放表情的方法和装置 |
| PCT/CN2013/073131 WO2013149556A1 (zh) | 2012-04-06 | 2013-03-25 | 在虚拟形象上自动播放表情的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112014000988A2 BR112014000988A2 (pt) | 2017-02-21 |
| BR112014000988B1 true BR112014000988B1 (pt) | 2021-06-08 |
Family
ID=49299985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112014000988-0A BR112014000988B1 (pt) | 2012-04-06 | 2013-03-25 | método e dispositivo para reproduzir automaticamente uma expressão em imagem virtual, e meio legível em máquina |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US9457265B2 (pt) |
| EP (1) | EP2835736A4 (pt) |
| JP (1) | JP5736601B2 (pt) |
| KR (1) | KR101612199B1 (pt) |
| CN (1) | CN103366782B (pt) |
| BR (1) | BR112014000988B1 (pt) |
| MX (1) | MX2014000589A (pt) |
| WO (1) | WO2013149556A1 (pt) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9746990B2 (en) * | 2012-09-28 | 2017-08-29 | Intel Corporation | Selectively augmenting communications transmitted by a communication device |
| EP3198561A4 (en) * | 2014-09-24 | 2018-04-18 | Intel Corporation | Facial gesture driven animation communication system |
| US9898849B2 (en) * | 2014-11-05 | 2018-02-20 | Intel Corporation | Facial expression based avatar rendering in video animation and method |
| CN107206281A (zh) * | 2014-11-21 | 2017-09-26 | 索尼互动娱乐股份有限公司 | 程序及信息处理设备 |
| CN106204698A (zh) * | 2015-05-06 | 2016-12-07 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 |
| CN105224910B (zh) * | 2015-08-28 | 2017-07-18 | 华中师范大学 | 一种训练共同注意力的系统及方法 |
| CN107551551B (zh) * | 2017-08-09 | 2021-03-26 | Oppo广东移动通信有限公司 | 游戏效果构建方法及装置 |
| US10870056B2 (en) * | 2017-11-01 | 2020-12-22 | Sony Interactive Entertainment Inc. | Emoji-based communications derived from facial features during game play |
| CN109260710B (zh) * | 2018-09-14 | 2021-10-01 | 北京智明星通科技股份有限公司 | 一种基于心情的游戏app优化方法、装置及终端设备 |
| CN109636898B (zh) * | 2018-11-29 | 2023-08-22 | 维沃移动通信有限公司 | 3d模型生成方法及终端 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6121953A (en) | 1997-02-06 | 2000-09-19 | Modern Cartoons, Ltd. | Virtual reality system for sensing facial movements |
| US6272231B1 (en) * | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
| US7827488B2 (en) * | 2000-11-27 | 2010-11-02 | Sitrick David H | Image tracking and substitution system and methodology for audio-visual presentations |
| JP2003216955A (ja) * | 2002-01-23 | 2003-07-31 | Sharp Corp | ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体 |
| JP4743823B2 (ja) | 2003-07-18 | 2011-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法 |
| CN1839410B (zh) | 2003-07-18 | 2015-05-20 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法 |
| EP2360629A3 (en) * | 2005-05-07 | 2012-04-11 | Stephen L. Thaler | Device for the autonomous bootstrapping of useful information |
| US7519200B2 (en) * | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
| US7783135B2 (en) * | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
| US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
| US8963926B2 (en) * | 2006-07-11 | 2015-02-24 | Pandoodle Corporation | User customized animated video and method for making the same |
| JP2007026088A (ja) * | 2005-07-15 | 2007-02-01 | Oki Electric Ind Co Ltd | モデル生成装置 |
| CN100397410C (zh) * | 2005-12-31 | 2008-06-25 | 北京中星微电子有限公司 | 基于视频的面部表情识别方法及装置 |
| AU2006352758A1 (en) * | 2006-04-10 | 2008-12-24 | Avaworks Incorporated | Talking Head Creation System and Method |
| JP2008003673A (ja) * | 2006-06-20 | 2008-01-10 | Oki Electric Ind Co Ltd | アニメーション作成システムおよび方法 |
| CN101393599B (zh) * | 2007-09-19 | 2012-02-08 | 中国科学院自动化研究所 | 一种基于人脸表情的游戏角色控制方法 |
| EP2263190A2 (en) * | 2008-02-13 | 2010-12-22 | Ubisoft Entertainment S.A. | Live-action image capture |
| US8259163B2 (en) * | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
| US20110292181A1 (en) * | 2008-04-16 | 2011-12-01 | Canesta, Inc. | Methods and systems using three-dimensional sensing for user interaction with applications |
| US20120081282A1 (en) * | 2008-05-17 | 2012-04-05 | Chin David H | Access of an application of an electronic device based on a facial gesture |
| CN101732055B (zh) * | 2009-02-11 | 2012-04-18 | 北京智安邦科技有限公司 | 驾驶员疲劳检测方法及系统 |
| JP5017382B2 (ja) * | 2010-01-21 | 2012-09-05 | 株式会社コナミデジタルエンタテインメント | 画像表示装置、画像加工方法、および、プログラム |
| US9245177B2 (en) * | 2010-06-02 | 2016-01-26 | Microsoft Technology Licensing, Llc | Limiting avatar gesture display |
| US20110304629A1 (en) * | 2010-06-09 | 2011-12-15 | Microsoft Corporation | Real-time animation of facial expressions |
| CN101944163A (zh) * | 2010-09-25 | 2011-01-12 | 德信互动科技（北京）有限公司 | 通过捕捉人脸表情实现游戏角色表情同步的方法 |
| US8489529B2 (en) * | 2011-03-31 | 2013-07-16 | Microsoft Corporation | Deep convex network with joint use of nonlinear random projection, Restricted Boltzmann Machine and batch-based parallelizable optimization |
-
2012
- 2012-04-06 CN CN201210098817.8A patent/CN103366782B/zh active Active
-
2013
- 2013-03-25 BR BR112014000988-0A patent/BR112014000988B1/pt active IP Right Grant
- 2013-03-25 KR KR1020147001224A patent/KR101612199B1/ko active IP Right Grant
- 2013-03-25 EP EP13772936.4A patent/EP2835736A4/en active Pending
- 2013-03-25 WO PCT/CN2013/073131 patent/WO2013149556A1/zh active Application Filing
- 2013-03-25 MX MX2014000589A patent/MX2014000589A/es active IP Right Grant
- 2013-03-25 JP JP2014513910A patent/JP5736601B2/ja active Active
- 2013-03-25 US US14/129,636 patent/US9457265B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| MX2014000589A (es) | 2014-05-01 |
| JP5736601B2 (ja) | 2015-06-17 |
| WO2013149556A1 (zh) | 2013-10-10 |
| US20150038222A1 (en) | 2015-02-05 |
| KR101612199B1 (ko) | 2016-04-12 |
| BR112014000988A2 (pt) | 2017-02-21 |
| CN103366782B (zh) | 2014-09-10 |
| JP2014522528A (ja) | 2014-09-04 |
| US9457265B2 (en) | 2016-10-04 |
| CN103366782A (zh) | 2013-10-23 |
| EP2835736A1 (en) | 2015-02-11 |
| KR20140023437A (ko) | 2014-02-26 |
| EP2835736A4 (en) | 2016-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112014000988B1 (pt) | método e dispositivo para reproduzir automaticamente uma expressão em imagem virtual, e meio legível em máquina | |
| Wang et al. | Ai coach: Deep human pose estimation and analysis for personalized athletic training assistance | |
| Li et al. | Multisports: A multi-person video dataset of spatio-temporally localized sports actions | |
| US10565889B2 (en) | Method and system for authoring animated human movement examples with scored movements | |
| Tapaswi et al. | Book2movie: Aligning video scenes with book chapters | |
| Bloom et al. | G3D: A gaming action dataset and real time action recognition evaluation framework | |
| Liu et al. | Human pose estimation in video via structured space learning and halfway temporal evaluation | |
| EP3473016B1 (en) | Method and system for automatically producing video highlights | |
| BR112021005620A2 (pt) | método e sistema para gerar conteúdo de mídia, e, mídia legível. | |
| Fu et al. | Embodied one-shot video recognition: Learning from actions of a virtual embodied agent | |
| EP2982422A1 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
| US20160296795A1 (en) | Apparatus and method for analyzing golf motion | |
| Edwards et al. | From pose to activity: Surveying datasets and introducing CONVERSE | |
| Chung et al. | Haa500: Human-centric atomic action dataset with curated videos | |
| CN112182297A (zh) | 训练信息融合模型、生成集锦视频的方法和装置 | |
| Honari et al. | Temporal representation learning on monocular videos for 3d human pose estimation | |
| Tanaka et al. | Lol-v2t: Large-scale esports video description dataset | |
| Adistambha et al. | Motion classification using dynamic time warping | |
| Hu et al. | Beyond one-to-one: Rethinking the referring image segmentation | |
| Zhou et al. | Skeleton-based human keypoints detection and action similarity assessment for fitness assistance | |
| CN116261748A (zh) | 用于合并异步数据源的系统和方法 | |
| Essig et al. | Fully-automatic annotation of scene vidoes: Establish eye tracking effectively in various industrial applications | |
| Doughty | Skill determination from long videos | |
| JP2021026292A (ja) | スポーツ行動認識装置、方法およびプログラム | |
| CN117278801B (zh) | 一种基于ai算法的学生活动精彩瞬间拍摄与分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B06F | Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette] | ||
| B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 25/03/2013, OBSERVADAS AS CONDICOES LEGAIS. |